以hao123为起点，滚动抓取外链并记录相关信息

22 次浏览 2024-04-22 0 条评论

zip

Python爬虫数据收集网页抓取

Python爬虫入门，支持Python3。功能简述：以hao123为起点，滚动抓取外链，收集网址，记录网页内外链数目及title等信息。在Windows 7 32位系统上测试，每24小时可收集约10万条数据。

spider-master.zip 预估大小：10个文件

spider-master 文件夹

.github 文件夹

workflows 文件夹

pythonapp.yml 1KB

src 文件夹

sqlhand.py 4KB

main.py 2KB

toolhand.py 3KB

log.txt 83KB

httphand.py 2KB

文件大小：19.16KB

相关推荐