footoredoinbaidu百度爬虫辅助脚本
专门搞百度蜘蛛的 Node 脚本，真不多，这个footoredoinbaidu算一个比较实用的。项目跑在 GitHub Pages 上，用的是 Node.js，主要就是围绕百度爬虫做点事情，比如识别爬虫、生成站点地图，还有提交 URL 什么的。结构也挺清晰，index.js管主要逻辑，sitemap.js负责地图，logs还能追踪蜘蛛来没来过。
爬虫检测做得还不错，能判断是不是百度的 User-Agent，避免误判。SEO方面也有优化，比如动态生成 HTML 内容，让页面对爬虫更友好，像是给百度专门打了一份抓取书。你可以手动指定哪些页面要优先抓，实时性也做得挺到位。
另外，调用百度站长平台的 API 也是亮点之一，能直接把 URL 提交上去，这效率就高多了。配置信息放在config.js里，改起来也方便。如果你的网站挂在 GitHub Pages 上，又在意百度的收录，真的可以试试看这个项目，代码不复杂，逻辑也清晰。
建议你搭配学习下Node.js 编写爬虫指南及百度图片抓取实例，思路会更开阔；如果还不熟百度 API，也可以看看百度蜘蛛爬行痕迹记录器 PHP 版，了解下其他语言怎么蜘蛛。
如果你正好在折腾百度收录，或者就是想研究下爬虫行为，这套脚本可以作为一个蛮好的起点。记得先装好 Node 环境，调试时留意下 User-Agent 判断部分，别误拦了正常用户。
文件大小：1.13MB
评论区