Scrapy 1.1.2爬虫框架
Scrapy 的Scrapy-1.1.2-py2.py3-none-any.whl安装包，算是老牌爬虫工具里比较稳的版本了。跨 Python 2 和 3 兼容，适合想快速搭个抓取框架的人。安装也简单，pip install一下就能用，省心不少。
异步求加上选择器解析，网页数据还是挺高效的。比如你要抓豆瓣影评、知乎帖子，写好Spider类就能自动跑，还能加管道清洗数据，逻辑分得清楚。
结合Pandas、Matplotlib做后续和可视化也挺方便，尤其你爬的东西是结构化的数据。像电影评分、用户评论这种，一口气搞定。
对了，别忘了合理设置DOWNLOAD_DELAY，不然爬太快容易被封 IP。还有就是 User-Agent 最好加一下，模拟个浏览器，稳妥点。
如果你正好在搞数据项目，像这个电影平台就是 Scrapy+可视化结合的不错案例，可以借鉴下。
文件大小：288.94KB
评论区