如何在Windows下安裝Scrapy

上篇文章中，有讀者問到了如何在windows下安裝scrapy。由於scrapy依賴非常多的第三方庫，所以這篇介紹windows下安裝scrapy的步驟。

目前scrapy在windows下已支持Python3.

（1）安裝Visual C++ Build Tools

由於Scrapy的依賴庫文件中，pywin32和Twisted的底層是基於C語言開發的，因此需要安裝C語言的編譯環境。對於Python3.5來說，可以通過安裝Visual C++ Build Tools來安裝這個環境。Visual C++ Build Tools這個工具是微軟開發的，下載地址為：Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)

點擊【安裝】按鈕進行安裝，這個安裝器會自動下載所需文件。安裝時間一般在45~60分鐘左右。可能有些機器在安裝的過程中，出現下圖所示的界面：

這是因為系統沒有安裝.Net Framework或者安裝的版本過低。下載並安裝一個4.5.1或以上版本的.Net Framework即可。這裡給出.Net Framework 4.5.2的微軟官方下載地址：Download Microsoft .NET Framework 4.5.2 (Web Installer) for Windows Vista SP2, Windows 7 SP1, Windows 8, Windows 8.1, Windows Server 2008 SP2 Windows Server 2008 R2 SP1, Windows Server 2012 and Windows Server 2012 R2 from Official Microsoft Download Center

安裝好.Net Framework以後，Microsoft Visual C++ Build Tools應該就可以正常安裝了。

（2）安裝pywin32

在Windows系統裡面，有兩個第三方庫不能使用常規的方法安裝。第一個是lxml，第二個是pywin32，pywin32和lxml一樣，不建議使用pip來安裝，因為十個人裡面，至少有九個人都會安裝出錯，並且pywin32也不能使用安裝lxml的方式來安裝。

pywin32 必需使用exe安裝包來進行安裝，下載地址為：Python for Windows Extensions

根據電腦Python版本和位數下載並安裝最新版的pywin32，它會自動尋找Python的安裝路徑，所以不需要做任何修改，一直單擊【下一步】即可。下圖是Python 3.5版本的pywin32安裝過程的截圖：

（3）安裝Twisted

Scrapy需要依賴Twisted。Twisted是Python下面一個非常重要的基於事件驅動的IO引擎。Twisted的安裝依賴於pywin32和前面的Visual C++ Build Tools，所以必需先安裝完成這兩個東西以後才能安裝Twisted。

pip install twistedn

（4）pip 安裝Scrapy

pip install scrapyn

寫一個簡單的scrapy語句，證明爬蟲可以正常運行：

推薦閱讀：