Python3安裝scrapy相關問題(windows平台)

我的平台是windows8.1,python版本是3.5,

今天開始學習爬蟲的時候,看到scrapy這個庫,但是在安裝scrapy的時候,發現總是安裝失敗,折騰了好一會兒才搞定,特此把安裝過程寫下來,希望會對未來遇到同樣困難的人有所幫助。

首先,像常規用包管理器安裝,結果失敗

google這個錯誤的解決辦法,大部分的解決方案是

1. 安裝wheel,命令行運行:

pip install wheel

2.下載對應的.whl文件,不要改文件名

Python Extension Packages for Windows

Ctrl + F,輸入lxml,找到下面這段

Lxml, a binding for the libxml2 and libxslt libraries.

  • lxml?3.6.4?cp27?cp27m?win32.whl
  • lxml?3.6.4?cp27?cp27m?win_amd64.whl
  • lxml?3.6.4?cp34?cp34m?win32.whl
  • lxml?3.6.4?cp34?cp34m?win_amd64.whl
  • lxml?3.6.4?cp35?cp35m?win32.whl
  • lxml?3.6.4?cp35?cp35m?win_amd64.whl
  • lxml?3.6.4?cp36?cp36m?win32.whl
  • lxml?3.6.4?cp36?cp36m?win_amd64.whl
  • lxml?3.7.0?cp27?cp27m?win32.whl
  • lxml?3.7.0?cp27?cp27m?win_amd64.whl
  • lxml?3.7.0?cp34?cp34m?win32.whl
  • lxml?3.7.0?cp34?cp34m?win_amd64.whl
  • lxml?3.7.0?cp35?cp35m?win32.whl
  • lxml?3.7.0?cp35?cp35m?win_amd64.whl
  • lxml?3.7.0?cp36?cp36m?win32.whl
  • lxml?3.7.0?cp36?cp36m?win_amd64.whl

cp後面的數字代表python版本,35就是python3.5,跟據你的Python版本選擇下載。

3. 進入.whl所在的文件夾,執行命令即可完成安裝

pip install 帶後綴的完整文件名

4、安裝scrapy,命令行安裝

pip install scrapy

如果經過上面的步驟能解決你的問題,就不用往下看了。有一部分人按上面的方法搞定了,但是我把上面的步驟來一遍後,還是提示同樣的錯誤

於是我繼續又在網上找了好久,才最終解決問題,方法如下:

如果上面的步驟來一遍後沒有成功,那麼你很可能是缺一個包:Twisted

1、按上面第二步的方法下載安裝Twisted包,下載地址: Python Extension Packages for Windows

2、安裝scrapy

pip install scrapy

大功告成!


推薦閱讀:

全球值得關注的5大爬蟲專業博客網站
python爬蟲之scrapy掃盲:搜集美圖信息之多層掃描(2)
使用python爬豆瓣書單
Python爬蟲爬取知乎某一個問題下的圖片
使用爬蟲自動下載油管上我是歌手單曲視頻

TAG:Python | Python入門 | 爬蟲 |