LinkedIn Scrapping Node.js爬虫工具
LinkedIn 的搜索结果一页页翻太麻烦?linkedin-scrapping这个小工具能帮你自动搞定。用的是Node.js,跑起来还挺顺。数据库用MySQL,配置也简单,建个库、跑个 schema.sql
脚本就能用。
登录用的是你自己的账号,别忘了在 config/development.json
里加上 email
和 password
,格式文档里有。就设定一下搜索关键词和页数,比如 searchString: "nodejs"
,想抓几页就 nbPage
填几。挺灵活。
爬完之后能抓到什么?基本是个人资料页的 URL,方便你后续。执行就一句命令:node linkedin-profile-listing.js
,控制台直接跑。适合做招聘线索、行业调研啥的,自己用起来也蛮高效。
如果你平时写爬虫、做自动化比较多,可以看看这些相关文章,Node.js 自动化测试、ChromeDriver 自动化 都挺有参考价值的。
提醒一下,LinkedIn 反爬比较敏感,建议别跑太频繁,控制求频率,加个代理也更稳。
6.87KB
文件大小:
评论区