PySipder:用于Python网络抓取的分布式框架

PySipder是一个使用Python编写的分布式网络抓取框架。它提供了一个强大的API,支持Python 2和3,以及一个功能齐全的Web用户界面和脚本编辑器。PySipder还具有任务监控和项目管理功能,并支持结果查看和JavaScript页面。此外,它还支持多种后端系统,包括MySQL、MongoDB、SQLite和Postgresql。PySipder还支持任务优先级、重试和定期抓取等功能,并提供了示例代码和详细文档。

rar
PySipder是一个Python爬虫程序.rar 预估大小:184个文件
file
.coveragerc 350B
file
.gitignore 5B
file
tox.ini 305B
file
Dockerfile 873B
file
MANIFEST.in 175B
file
.gitignore 339B
file
logging.conf 763B
file
result.html 4KB
file
task.html 4KB
file
tasks.html 2KB
file
index.html 9KB
file
debug.html 6KB
file
debug.min.css 5KB
file
tasks.min.css 1KB
file
debug.min.js 24KB
file
.babelrc 28B
file
task.min.css 783B
file
result.min.css 390B
file
index.min.css 2KB
file
说明.htm 4KB
rar 文件大小:2.29MB