如何解决python安装scrapy错误

安装 Scrapy 与安装其他 Python 包没有什么不同。它也使用以下命令安装：

pip install scrapy

如果你在命令行窗口运行这个命令，你会看到程序并没有立即下载安装Scrapy，而是不断的下载大量的第三方包。

如果在命令行窗口中提示找不到 pip 命令，则也可以通过 python 命令运行 pip 模块来安装 Scrapy，
例如 python -m pip install scrapy。

这是因为 Scrapy 需要依赖、大量第三方包。典型的，Scrapy 需要依赖如下第三方包：
pyOpenSSL：Python 用于支持 SSL（Security Socket Layer）的包。
cryptography：Python 用于加密的库。
CFFI：Python 用于调用 C 的接口库。
zope.interface：为 Python 缺少接口而提供扩展的库。
lxml：一个处理 XML、HTML 文档的库，比 Python 内置的 xml 模块更好用。
cssselect：Python 用于处理 CSS 选择器的扩展包。
Twisted：为 Python 提供的基于事件驱动的网络引擎包。
......

推荐学习

如果这些第三方包在Python环境中不可用，Python会根据依赖自动下载安装。这个过程本来就不多说，pip一般会自动完成整个过程，我们只需要等待即可。但是pip在自动下载安装Twisted的时候会提示如下错误：

error:Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual 
C++ Build Tools":http://landinghub.visualstudio.com/visual-cpp-build-tools

按照上面的错误提示，我们需要先下载并安装 Microsoft Visual C++ Build Tools，然后才能安装 Twisted。是否需要安装一个巨大的 Microsoft Visual C++ Build Tools 才能安装一个小的 Twisted 包？

答案是否定的，上面的错误只是因为pip自动下载的Twisted安装包有一些缺陷，所以可以先自己下载Twisted安装包。登录www.lfd.uci.edu/~gohlke/pythonlibs/站点，在页面中间寻找“Twisted”项目，可以看到如图1所示的下载链接。

从图1所示链接可以看出，Twisted最新版本为18.9.0，Twisted针对2.7、3.5、3.6、3.7等不同版本的Python提供了相应的安装包。由于本教程的内容主要基于 Python 3.6，因此你应该下载 Python 3.6 版本的 Twisted。带win32的文件名是32位版本，带win_amd64的文件名是64位版本。编号选择相应的版本。

下载相应的Twisted安装包后，会得到一个Twisted-18.9.0-cp36-cp36m-win_amd64.whl文件（适用于64位系统），即Twisted安装包。

运行如下命令来安装 Twisted 包。

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

在安装过程中会自动检查，如有必要，会自动下载并安装 Twisted 所依赖的第三方包，如 zope.interface、Automat、incremental 等。

在安装完成后，会提示如下安装成功的信息：

Successfully installed Twisted-18.9.0