Python可配置爬虫框架
可配置的爬虫架构，搭配 Python 异步能力和 MongoDB 存储，抓数据的事儿，变得又快又省事。你只用改改配置文件，就能搞定不同网站的需求，基本不用碰核心逻辑，挺省心的。
Python 的asyncio模型，用起来是真的香，响应也快，开几十个求也不卡。再配上requests或者httpx，你要抓 API，轻轻松松。
抓回来的数据，直接扔 MongoDB 里，JSON 风的 BSON 结构，跟爬下来的网页内容对得上，存查都方便。尤其是做结构化爬虫时，数据管理会轻松不少。
模块拆分也蛮讲究的，解析、抓取、存储分得挺清楚。想替换解析库，比如换成lxml、BeautifulSoup都好弄，不会牵一发而动全身。
配置文件的作用别小看了，像request_delay、allowed_domains、start_urls这些都能灵活设。你要定向抓某一栏目、做分页控制，只用在配置里调一下就 OK。
文件BigBoom估计就是主项目目录了，建议你先翻下config.json或settings.py，就能看懂怎么启用和定制爬虫行为了。
哦对了，如果你还不太熟Scrapy或者异步机制，可以看看下面的链接，都是干货：
如果你想搞一个灵活点、维护成本低、还能随时改配置的爬虫工具，这套方案还蛮值得试试的。
文件大小：16.1KB
评论区