scrapy_基本使用
1.介绍
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
2.安装scrapy
第一步：pip install scrapy
安装过程中出错：如果 pip install Scrapy有错误
（1）building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual‐cpp‐build‐tools
解决方案：去这个网站 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载twisted对应版本的whl文件（如我的Twisted‐17.5.0‐cp36‐cp36m‐win_amd64.whl），cp后面是 python版本，amd64代表64位，然后运行命令：
pip install C:\Users\...\Twisted‐17.5.0‐cp36‐cp36m‐win_amd64.whl
再重新输入： pip install Scrapy
（2）如果再报错
输入 ：python ‐m pip install ‐‐upgrade pip
如果再报错 win32 解决方法：
输入：pip install pypiwin32
（3）再报错：使用anaconda
使用步骤：
- 打开anaconda
- 点击environments
- 点击not installed
- 输入scrapy
- apply
- 在pycharm中选择anaconda的环境
3.项目创建
在终端中输入 scrapy startproject 项目名称
注：项目名字不允许数字开头，也不能包含中文
4.项目组成
spiders目录下的文件：
- __init__.py 自定义的爬虫文件.py 由我们自己创建，是实现爬虫核心功能的文件
- __init__.py
- items.py 定义数据结构的地方，是一个继承自scrapy.Item的类
- middlewares.py 中间件 代理
- pipelines.py 管道文件，里面只有一个类，用于处理下载数据的后续处理，默认是300优先级，值越小优先级越高（1‐1000）
- settings.py 配置文件 比如：是否遵守robots协议，User‐Agent定义等 ，robots协议会使爬取不到数据所以，最好不开启
5.创建爬虫文件
在spiders目录中创建爬虫文件
- cd 项目名称\项目名称\spiders
- scrapy genspider 爬虫文件名 要爬取的网页
6.运行爬虫
scrapy crawl 爬虫名字
注：要在spiders文件中执行
7.爬虫文件的基本组成
class BaiduSpider(scrapy.Spider):# 爬虫的名字 用于运行爬虫使用的值name = 'baidu'#允许访问的域名allowed_domains = ['baidu.com']#起始url地址指的是第一次要访问的域名，在爬取的时候，如果不是此域名之下的
url，会被过滤掉，如果是html结尾的最后斜杠不要，不然会访问不到start_urls = ['http://baidu.com/']def parse(self, response):print('hhhhhhhhhhh')8.常用方法
| text | 响应的是字符串 |
| body | 响应的是二进制文件 |
| xpath() | 返回的值类型是selector列表 |
| extract() | 提取的是selector对象的data |
| extract_first() | 提取的是selector列表中的第一个数据 |
9.scrapy工作原理
spiders先发送url给引擎，引擎继续发送url给调度器，调度器在打出个请求，之后下载器向互联网发送请求下载数据，下载器下完数据（response）后发送给spiders通过xpath解析数据，解析结果交由引擎判断如果是数据就给管道存到文件或者数据库，如果是url就给调度器继续执行以上操作。