node crawler如何添加promise支持
网络编程 2021-07-04 15:02www.168986.cn编程入门
这篇文章主要介绍了node crawler如何添加promise支持,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们狼蚁网站SEO优化随着长沙网络推广来一起学习学习吧
背景
最近在组内做一些爬虫相关的工作,本来想自己简单造个轮子的,经网友推荐后,采用了node-crawler,用了一段时间过后,确实满足了我的绝大部分需求,其 api 却不支持 promise,而且我还需要一些同步爬取、同步处理的能力,如果不用 promise 的话,写法很不优雅,所以我就简单地给其封装了一层 promise api
现状
目前 node-crawler 的使用方式不支持 promise ,这里直接给出 npm 上的使用例子
const Crawler = require("crawler") // 实例化 const c = new Crawler({ // ... 可以传入一些配置 callback : function (error, res, done) { // 请求回调,实例化的时候传入的 callback 是作为默认 callback 的,后续每次抓取如果没有传入 callback,那么都会调用默认 callback done(); } }) // 爬取 c.queue([{ uri: 'http://parishackers./', jQuery: false, // The global callback won't be called callback: function (error, res, done) { if(error){ console.log(error); }else{ console.log('Grabbed', res.body.length, 'bytes'); } done(); } }])
这样的回调方式对于多爬虫同步爬取很不友好
改造
理想使用方式
const Crawler = require('crawler') const c = new Crawler({ // 一些默认配置 }) c .queue({ uri: 'xxx' }) .then(res => { // 抓取成功 }) .catch(err => { // 抓取失败 })
改造方案
// utils/crawler.js const Crawler = require('crawler') const defaultOptions = { jQuery: false, rateLimit: fetchRateLimit, retries: 0, timeout: fetchTimeout, } module.exports = class PromiseifyCrawler extends Crawler { // namespace 是为了后续抓取结果统一上报时候进行区分 constructor(namespace = 'unknow', options = {}) { if (typeof namespace === 'object') { options = namespace namespace = 'unknow' } options = merge({}, defaultOptions, options) const cb = options.callback options.callback = (err, res, done) => { typeof cb === 'function' && cb(err, res, noop) process.nextTick(done) // 在这里可以自定义抓取成功还是失败 // 我这里直接设置的是如果 http code 不是 200 就视为错误 // 而且在这里也可以做一些抓取成功失败的统计 if (err || res.statusCode !== 200) { if (!err) err = new Error(`${res.statusCode}-${res.statusMessage}`) err.options = res.options err.options.npolisReject(err) } else { res.options.npolisResolve(res) } } options.headers = Object.assign({}, options.headers, { 'X-Requested-With': 'XMLHttpRequest', }) super(options) } queue(options = {}) { // 每次抓取都是一个新的 promise return new Promise((resolve, reject) => { // 然后在 options 里挂载上 resolve 和 reject // 这样在全局 callback 上就可以用到了 options.npolisResolve = resolve options.npolisReject = reject const pr = options.preRequest options.preRequest = (options, done) => { typeof pr === 'function' && pr(options, noop) // 在这里也可以做一些通用的抓取前的处理 done() } super.queue(options) }) } // direct api 同理 } // 使用 const Crawler = require('./utils/crawler') const crawler = new Crawler('示例爬虫 namespace') crawler .queue({ uri: 'xxx', preRequest: options => log('开始抓取'), }) .then(res => { log('爬取成功') return res }) .catch(err => { log('爬取失败') throw err }) promise 化后,多个爬取任务同步爬取写法就友好多了 // 抓取任务1 const fetchTask1 = () => crawler.queue({/ 配置
编程语言
- 甘肃哪有关键词排名优化购买方式有哪些
- 甘肃SEO如何做网站优化
- 河南seo关键词优化怎么做电话营销
- 北京SEO优化如何做QQ群营销
- 来宾百度关键词排名:提升您网站曝光率的关键
- 卢龙关键词优化:提升您网站排名的策略与技巧
- 山东网站优化的注意事项有哪些
- 四川整站优化怎样提升在搜索引擎中的排名
- 疏附整站优化:提升网站性能与用户体验的全新
- 海南seo主要做什么工作售后服务要做到哪些
- 荣昌百度网站优化:提升您网站的搜索引擎排名
- 河北seo网站排名关键词优化如何做SEO
- 江西优化关键词排名推广售后保障一般有哪些
- 古浪SEO优化:提升你的网站可见性
- 西藏网站排名优化怎么把网站排名在百度首页
- 如何提升阳东百度快照排名:详尽指南