Python 代理 IP 爬取与存储工具

代理 IP 池及爬取脚本

此 Python 脚本套件包含:

- 代理 IP 采集器:从多个网站抓取代理 IP

- 代理 IP 验证器:检测 IP 可用性

- 代理 IP 设置器:管理代理 IP 池和 API 接口

- 代理 IP Redis 操作器:使用 Redis 存储和管理代理 IP

小说网站爬取

此脚本可用于爬取指定的小说网站,并保存为本地 TXT 文件。

依赖库

  • sanic
  • sanic_cors
  • requests
  • lxml
  • redis
  • fake_useragent
zip
代理IP池+爬取某小说网站.zip 预估大小:22个文件
file
ip_api.py 569B
file
ip_verify.py 2KB
file
爬小说网站.py 3KB
file
ip_collection.py 4KB
folder
.idea 文件夹
file
代理IP池.iml 291B
file
workspace.xml 13KB
file
misc.xml 299B
folder
inspectionProfiles 文件夹
file
profiles_settings.xml 174B
file
modules.xml 281B
file
.gitignore 190B
file
ip_set.py 453B
file
uaTools.py 26KB
file
ua.json 24KB
file
settings.py 439B
folder
__pycache__ 文件夹
file
ip_api.cpython-311.pyc 1KB
file
ip_verify.cpython-311.pyc 4KB
file
proxy_redis.cpython-311.pyc 3KB
file
uaTools.cpython-311.pyc 24KB
file
settings.cpython-311.pyc 440B
file
ip_collection.cpython-311.pyc 6KB
file
ua_down.py 775B
file
proxy_redis.py 2KB
zip 文件大小:32.04KB