首页
前端开发
Nodejs
Node.js爬虫数据抓取实例解析

Node.js爬虫数据抓取实例解析

0 次浏览 0 条评论
pdf
pdf

Nodejs 的爬虫脚本写起来其实挺爽的，逻辑清晰、响应也快。用superagent配合cheerio，你就能像在浏览器里用 jQuery 那样，轻松搞定 HTML 结构解析。像抓个排行榜、提取图片链接，几行代码就能搞定。哦，对了，别忘了先装好 Node.js 环境，没装的去官网下载一下就好。

项目一开始，先在文件夹里装两个包：

npm install superagent --save-dev
npm install cheerio --save-dev

superagent的 API 设计比较直观，用起来跟写 Ajax 差不多。而cheerio就更熟悉了，几乎是 Node 里的 jQuery。你直接用$('.title')这种语法，马上就能拿到页面上的内容。

新建个crawl.js文件，把求和解析逻辑都写进去。一边调试一边用console.log()看结果，方便还直观。比如你想抓个列表页上的标题，就像这样：

superagent.get('http://xxx.com')
  .end((err, res) => {
    if (err) return console.log(err);
    const $ = cheerio.load(res.text);
    $('.post-title').each((i, el) => {
      console.log($(el).text());
    });
  });

页面加载快、数据结构稳定的网站，抓取效果会比较好。你也可以加点定时逻辑，用setInterval做个监控脚本。

如果你对 Nodejs 爬虫感兴趣，还可以看看这些：

如果你刚开始玩爬虫，用 Node 写爬虫是个还不错的选择，代码好懂，调试也方便。等需求复杂了，再转 Python 也不迟～

pdf 文件大小：56.57KB