PySipder:用于Python网络抓取的分布式框架
PySipder是一个使用Python编写的分布式网络抓取框架。它提供了一个强大的API,支持Python 2和3,以及一个功能齐全的Web用户界面和脚本编辑器。PySipder还具有任务监控和项目管理功能,并支持结果查看和JavaScript页面。此外,它还支持多种后端系统,包括MySQL、MongoDB、SQLite和Postgresql。PySipder还支持任务优先级、重试和定期抓取等功能,并提供了示例代码和详细文档。
PySipder是一个Python爬虫程序.rar
预估大小:184个文件
.coveragerc
350B
.gitignore
5B
tox.ini
305B
Dockerfile
873B
MANIFEST.in
175B
.gitignore
339B
logging.conf
763B
result.html
4KB
task.html
4KB
tasks.html
2KB
2.29MB
文件大小:
评论区