Python3安裝scrapy相關問題(windows平台)
04-09
我的平台是windows8.1,python版本是3.5,
今天開始學習爬蟲的時候,看到scrapy這個庫,但是在安裝scrapy的時候,發現總是安裝失敗,折騰了好一會兒才搞定,特此把安裝過程寫下來,希望會對未來遇到同樣困難的人有所幫助。
首先,像常規用包管理器安裝,結果失敗
1. 安裝wheel,命令行運行:
pip install wheel
2.下載對應的.whl文件,不要改文件名
Python Extension Packages for Windows
Ctrl + F,輸入lxml,找到下面這段
Lxml, a binding for the libxml2 and libxslt libraries.- lxml?3.6.4?cp27?cp27m?win32.whl
- lxml?3.6.4?cp27?cp27m?win_amd64.whl
- lxml?3.6.4?cp34?cp34m?win32.whl
- lxml?3.6.4?cp34?cp34m?win_amd64.whl
- lxml?3.6.4?cp35?cp35m?win32.whl
- lxml?3.6.4?cp35?cp35m?win_amd64.whl
- lxml?3.6.4?cp36?cp36m?win32.whl
- lxml?3.6.4?cp36?cp36m?win_amd64.whl
- lxml?3.7.0?cp27?cp27m?win32.whl
- lxml?3.7.0?cp27?cp27m?win_amd64.whl
- lxml?3.7.0?cp34?cp34m?win32.whl
- lxml?3.7.0?cp34?cp34m?win_amd64.whl
- lxml?3.7.0?cp35?cp35m?win32.whl
- lxml?3.7.0?cp35?cp35m?win_amd64.whl
- lxml?3.7.0?cp36?cp36m?win32.whl
- lxml?3.7.0?cp36?cp36m?win_amd64.whl
cp後面的數字代表python版本,35就是python3.5,跟據你的Python版本選擇下載。
3. 進入.whl所在的文件夾,執行命令即可完成安裝
pip install 帶後綴的完整文件名4、安裝scrapy,命令行安裝
pip install scrapy
如果經過上面的步驟能解決你的問題,就不用往下看了。有一部分人按上面的方法搞定了,但是我把上面的步驟來一遍後,還是提示同樣的錯誤
於是我繼續又在網上找了好久,才最終解決問題,方法如下:
如果上面的步驟來一遍後沒有成功,那麼你很可能是缺一個包:Twisted
1、按上面第二步的方法下載安裝Twisted包,下載地址: Python Extension Packages for Windows
2、安裝scrapy
pip install scrapy
大功告成!
推薦閱讀:
※全球值得關注的5大爬蟲專業博客網站
※python爬蟲之scrapy掃盲:搜集美圖信息之多層掃描(2)
※使用python爬豆瓣書單
※Python爬蟲爬取知乎某一個問題下的圖片
※使用爬蟲自動下載油管上我是歌手單曲視頻