面向微博图像墙的爬虫框架

该实验项目基于scrapy框架,构建一个针对微博图像墙的爬虫。其主要功能包括:

  • 爬取指定微博用户的图像墙信息
  • 提取图像的URL、发布时间等元数据
  • 下载并保存图像
zip
Firstblood.zip 预估大小:15个文件
folder
Firstblood 文件夹
folder
Firstblood 文件夹
folder
__init__.py 文件夹
file
pipelines.py 646B
folder
spiders 文件夹
file
__init__.py 161B
file
first.py 1KB
folder
__pycache__ 文件夹
file
__init__.cpython-39.pyc 167B
file
first.cpython-39.pyc 1KB
file
items.py 302B
file
settings.py 4KB
folder
__pycache__ 文件夹
file
items.cpython-39.pyc 388B
file
__init__.cpython-39.pyc 159B
file
settings.cpython-39.pyc 1KB
file
pipelines.cpython-39.pyc 961B
file
weibo.html 1KB
file
middlewares.py 4KB
file
scrapy.cfg 274B
folder
img 文件夹
folder
__pycache__ 文件夹
zip 文件大小:11.08KB