scrapy不支持python3嗎？有解決的辦法嗎？

02-02

沒有必要重新造輪子，可以考慮直接用阿里雲的鏡像。我做了一個鏡像， Python 3.5 + Scrapy 1.3 全都裝好了， Scrapy Bench 測試也通過了。

我這兩天在學習Scrapy爬蟲的東西。按照網路上的教程，花了2-3天時間才全部裝好。

如果有人用Aliyun平台，可以直接用這個鏡像。如果從頭開始裝的話，建議

1. 基礎鏡像 Centos 7.2 (64位）

2. 提前準備編譯環境

yum groupinstall Development Tools

yum install zlib-devel bzip2-devel openssl openssl-devel ncurese-devel (註：Twisted，安裝不成功後，發現缺少上面依賴）

yum install libffi-devel python-devel (註： cryptography安裝不成功後，發現缺少上面依賴）

3.升級Python 到3.5(系統默認是2.7）

wget https://www.python.org/ftp/python/ 3.5.3/Python-3.5.3.tgz

tar -xvf Python-3.5.3.tgz

cd ./Python-3.5.3

./configure --prefix=/usr/local/python3 --enable-loadable-sqlite-extensions

make make altinstall （make install 不能成功，Sqllite總是出問題）

4. 更換系統默認 Python 版本

mv /usr/bin/python /usr/bin/python2.7 （備份）

ln -s /usr/local/python3/bin/pip3 /usr/bin/pip

ln -s /usr/local/python3/bin/python3.5 /usr/bin/python

5.更新 yum 相關設置

因 yum 的功能依賴 Python2 更改默認 Python版本後會導致 yum無法正常工作 執行以下命令: vi /usr/bin/yum 打開文件，修改第一行為： #!/usr/bin/python2.7

此外還有一個文件也需要修改成#!/usr/bin/python2.7 （/usr/libexec/urlgrabber-ext-down)

6. 安裝Scrapy

pip install scrapy.

大致過程就是上面。考慮到Python2 系列和Python3 系列的Scrapy安裝有很多細節不太一樣。實際按照Scrapy還會遇到 Twisted, Sqlite3 版本和編譯問題。

花了2天時間，我的Scrapy總算裝好了。如果你的時間很寶貴也不想折騰，那麼你就直接用我做好的鏡像。這個鏡像只能在阿里雲上使用。需要的話可以私信，此鏡像只用於學習之用。　我自己用的鏡像按使用量計算，每小時0.21元，目前一共用了5元。不用的時候，資源釋放掉，不花錢。

此外，廣告如下：

我有幾張阿里雲幸運券分享給你，用券購買或者升級阿里雲相應產品會有特惠驚喜哦！把想要買的產品的幸運券都領走吧！快下手，馬上就要搶光了。https://promotion.aliyun.com/ntms/act/ambassador/sharetouser.html?userCode=g13xfsjcamp;amp;amp;amp;amp;amp;amp;productCode=vm

修改

支持 Python3, 我用了很久了，以下是我的安裝命令

apt -qy update apt -qy dist-upgrade apt -qy --no-install-recommends install build-essential python3 python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev libdb-dev pip3 install --upgrade pip pip3 install setuptools wheel pip3 install scrapy pip3 install bsddb3 pip3 install scrapy-deltafetch pip3 install pillow

目前已經支持，pip install scrapy 備註：另外安裝vs2010要裝pro版本的，我試過裝簡化版vs2010，安裝twisted會報錯。

現在貌似已經支持python3了

我的是python3.X的版本，裝了requests庫函數，後來覺得不夠用（或者我學的不好吧！），我就去看了看scrapy函數，準備安裝scrapy函數：

如下操作：

win10(python3.x)一開始裝了VS_community2015,但是並沒有勾選C++選項，在WIN+R——》CMD——》pip install scrapy之後屏幕出現：

後來我訪問了了Python 3 is Coming to Scrapy這個網站閱讀之後發現如下：

暫時還是不支持windows 下python3.X

#————————————————————

分割線：

暫時沒打算在VS　community2015裝C++，等我試試之後在告訴大家：

2017/3/2/20:06

更新：

剛才在windows 10(python3.x)下安裝了pyspider先試試再說如圖：

安裝成功：

同時在MAC OS(python3.X )下嘗試安裝scrapy庫函數：打開SHELL：輸入：sudo pip install Scrapy.

安裝成功。

好了我去學習一下這個

2017／3/2/20:30

scrapy已經支持python3辣~

What a time to be alive~

早就已經支持Python3了~

在官方文檔的Installation guide中明確說了：
Scrapy runs on Python 2.7 and Python 3.3 or above.

MacOS下可以直接通過PyPi安裝，非常方便：

pip3 install scrapy

有時MacOS下可能會出現安裝失敗：

error: command cc failed with exit status 1

請先安裝或更新Xcodo組件，確保有scrapy所需的C語言編譯器以及頭文件，在終端輸入：

xcode-select --install

再執行pip3 install scrapy即可~

Mac下親測可用
Ubuntu下親測可用
Python3.5

Python 3 is Coming to Scrapy

我已經在win 8 64和python 3.5環境中安裝好了scrapy，並能搭建項目:

scrapy startproject xxx

但為什麼還會有問題：輸入

scrapy fetch http://www.baidu.com

，報錯：

檢查了一下，我已經安裝了：

有點搞不懂了。哪位大牛指教一下？

好像已經支持了的

windows 10 64位，python2.7.12 64位和python3.5.2 64 位共存，實測都可以成功安裝scrapy1.2.2，方法如下：

windows10系統中安裝python3.x+scrapy教程_python scrapy 教程

pyspider

看看是否符合需求：

PySpider：一個國人編寫的強大的網路爬蟲系統並帶有強大的WebUI