Scrapy框架的Python爬虫使用方法
文档原理：[查看文档](http://www.runoob.com/w3cnote/scrapy-detail.html) 细节：[详细介绍](http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/overview.html) xpath：[学习Xpath](http://www.w3school.com.cn/xpath/index.asp)
## 制作爬虫
1. 安装scrapy环境：`pip install Scrapy`
2. 新建项目：在命令行中执行`scrapy startproject mySpider`
3. 明确目标：编辑`items.py`文件，定义需要抓取的数据结构
4. 制作爬虫：在`spiders`目录下编写爬虫文件`xxspider.py`
5. 开始爬取网页：运行爬虫获取网页数据
6. 存储内容：在`pipelines.py`中设计管道，处理并存储爬取的数据
## 制作爬虫
1. 安装scrapy环境：`pip install Scrapy`
2. 新建项目：在命令行中执行`scrapy startproject mySpider`
3. 明确目标：编辑`items.py`文件，定义需要抓取的数据结构
4. 制作爬虫：在`spiders`目录下编写爬虫文件`xxspider.py`
5. 开始爬取网页：运行爬虫获取网页数据
6. 存储内容：在`pipelines.py`中设计管道，处理并存储爬取的数据
文件大小：201.18KB
评论区