Python3學習系列(一)：Scrapy在Python3環境下的安裝

前言

一般大家都知道，當你學習一門新技術的時候，最麻煩的往往是環境的搭建。

同時，我也挺煩搭建環境的，當我在學習Python爬蟲的時候，這個Scrapy框架的安裝真的讓我很無語，為了讓接下來學習的人脫坑。第一篇就先寫環境的搭建。

Scrapy安裝介紹

Scrapy的安裝有多種方式，它支持Python2.7版本及以上或Python3.3版本及以上。

下面說明Python3環境下的安裝過程。

Scrapy依賴的庫比較多，至少需要依賴庫有Twisted 14.0，lxml 3.4，pyOpenSSL 0.14。

而在不同平台環境又各不相同，所以在安裝之前最好確保把一些基本庫安裝好，尤其是Windows。

安裝步驟

• 設置環境變數

我的電腦->屬性->高級系統設置->環境變數

在path中追加D:python34;D:python34Scripts;(路徑為自己Python的安裝路徑)

那我們為什麼要添加環境變數呢？

因為方便。當我們在cmd中輸入python的時候，系統是識別不了這個命令的，而添加了環境變數，系統就會在這些路徑裡面去找python文件並且運行。

用戶變數和系統變數的區別：

用戶變數只對當前用戶有效，系統變數對所用用戶都有效。且優先權 系統變數>用戶變數

• 安裝lxml

最好的安裝方式是通過wheel文件來安裝，http://www.lfd.uci.edu/~gohlke/pythonlibs/，從該網站找到lxml的相關文件。

假如是Python3.5版本，WIndows 64位系統，那就找到lxml?3.7.2?cp35?cp35m?win_amd64.whl 這個文件並下載，然後通過pip安裝。

下載之後，運行如下命令安裝：

pip3 install wheel pip3install lxml?3.7.2?cp35?cp35m?win_amd64.whl

即可完成lxml的安裝，其他文件替換文件名即可。

• 安裝zope.interface

到官方網站https://pypi.python.org/pypi/zope.interface#downloads下載對應版本的wheel文件，然後pip安裝。

比如Python 3.5版本，Windows 64位系統，就下載zope.interface-4.3.3-cp35-cp35m-win_amd64.whl。

然後安裝wheel文件即可，命令如下：

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替換文件名即可。

• 安裝pyOpenSSL

官方網站下載wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，如當前最新版本名稱是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下載後安裝即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

• 安裝Twisted

同理，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下載wheel文件，利用pip安裝即可。

pip3 install Twisted?17.1.0?cp35?cp35m?win_amd64.whl

• 安裝pywin32

從官方網站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下載對應版本的安裝包安裝即可。

• 安裝Scrapy

最後安裝Scrapy即可，依然使用pip，命令如下：

pip3 install Scrapy

安裝成功。。。

個人博客：http://www.bywalks.com