Python 代理 IP 爬取与存储工具
代理 IP 池及爬取脚本
此 Python 脚本套件包含:
- 代理 IP 采集器:从多个网站抓取代理 IP
- 代理 IP 验证器:检测 IP 可用性
- 代理 IP 设置器:管理代理 IP 池和 API 接口
- 代理 IP Redis 操作器:使用 Redis 存储和管理代理 IP
小说网站爬取
此脚本可用于爬取指定的小说网站,并保存为本地 TXT 文件。
依赖库
- sanic
- sanic_cors
- requests
- lxml
- redis
- fake_useragent
代理IP池+爬取某小说网站.zip
预估大小:22个文件
ip_api.py
569B
ip_verify.py
2KB
爬小说网站.py
3KB
ip_collection.py
4KB
.idea
文件夹
代理IP池.iml
291B
workspace.xml
13KB
misc.xml
299B
inspectionProfiles
文件夹
profiles_settings.xml
174B
32.04KB
文件大小:
评论区