崔庆才老师爬虫的学习笔记。

一、框架安装

1、Scrapy安装

scrapy依赖的库比较多，至少需要依赖库有pywin32、Twisted、pyOpenSSL、lxml。而在不同平台环境又各不相同，所以安装之前最好确保依赖库安装好，尤其是windows。

2、windows

最好的安装方式是通过wheel文件来安装。首先需要安装wheel库：

pip install wheel

(1)安装lxml

进入http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml ，找到与python版本和系统版本对应的whl文件，下载后通过pip安装：

pip install C:\Users\tester\Downloads\lxml‑3.7.2‑cp36‑cp36m‑win32.whl

(2)安装OpenSSL

进入https://pypi.python.org/pypi/pyOpenSSL#downloads ，找到与python版本和系统版本对应的whl文件，下载后通过pip安装：

pip install C:\Users\tester\Downloads\pyOpenSSL-16.2.0-py2.py3-none-any.whl

(3)安装Twisted

进入http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ，找到与python版本和系统版本对应的whl文件，下载后通过pip安装：

pip install C:\Users\tester\Downloads\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl

(4)安装pywin32

进入https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ ，找到与python版本和系统版本对应的安装包，运行安装即可。

(5)安装Scrapy

最后安装Scrapy，pip安装即可：

pip install Scrapy

3、Anaconda安装

可以轻松的使用conda命令安装Scrapy：

conda install Scrapy

4、安装验证

安装完，cmd输入命令scarpy可以验证。

进一步创建一个工程：

scrapy startproject hello

cd hello

scrapy genspider baidu www.baidu.com

scrapy crawl baidu

持续更新…