【Python3網路爬蟲開發實戰】 1.1-Python3的安裝
既然要用Python 3開發爬蟲,那麼第一步一定是安裝Python 3。這裡會介紹Windows、Linux和Mac三大平台下的安裝過程。
1. 相關鏈接
- 官方網站:http://python.org
- 下載地址:https://www.python.org/downloads
- 第三方庫:https://pypi.python.org/pypi
- 官方文檔:https://docs.python.org/3
- 中文教程:http://www.runoob.com/python3/python3-tutorial.html
- Awesome Python:https://github.com/vinta/awesome-python
- Awesome Python中文版:https://github.com/jobbole/awesome-python-cn
2. Windows下的安裝
在Windows下安裝Python 3的方式有兩種。
- 一種是通過Anaconda安裝,它提供了Python的科學計算環境,裡面自帶了Python以及常用的庫。如果選用了這種方式,後面的環境配置方式會更加簡便。
- 另一種是直接下載安裝包安裝,即標準的安裝方式。
下面我們依次介紹這兩種安裝方式,任選其一即可。
(1) Anaconda安裝
Anaconda的官方下載鏈接為https://www.continuum.io/downloads,選擇Python 3版本的安裝包下載即可,如圖1-1所示。
圖1-1 Anaconda Windows下載頁面
如果下載速度過慢,可以選擇使用清華大學鏡像,下載列錶鏈接為https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/,使用說明鏈接為https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/。
下載完成之後,直接雙擊安裝包安裝即可。安裝完成之後,Python 3的環境就配置好了。
(2) 安裝包安裝
我們推薦直接下載安裝包來安裝,此時可以直接到官方網站下載Python 3的安裝包:https://www.python.org/downloads/。
寫書時,Python的最新版本1是3.6.2,其下載鏈接為https://www.python.org/downloads/release/python-362/,下載頁面如圖1-2所示。需要說明的是,實際的Python最新版本以官網為準。
圖1-2 Python下載頁面
1. 若無特別說明,書中的最新版本均為作者寫書時的情況,後面不再一一說明。
64位系統可以下載Windows x86-64 executable installer,32位系統可以下載Windows x86 executable installer。
下載完成之後,直接雙擊Python安裝包,然後通過圖形界面安裝,接著設置Python的安裝路徑,完成後將Python 3和Python 3的Scripts目錄配置到環境變數即可。
關於環境變數的配置,此處以Windows 10系統為例進行演示。
假如安裝後的Python 3路徑為C:Python36,從資源管理器中打開該路徑,如圖1-3所示。
圖1-3 Python安裝目錄
將該路徑複製下來。
隨後,右擊「計算機」,從中選擇「屬性」,此時將打開系統屬性窗口,如圖1-4所示。
圖1-4 系統屬性
點擊左側的「高級系統設置」,即可看到在彈出的對話框下方看到「環境變數」按鈕,如圖1-5所示。
圖1-5 高級系統設置
點擊「環境變數」按鈕,找到系統變數下的Path變數,隨後點擊「編輯」按鈕,如圖1-6所示。
圖1-6 環境變數
隨後點擊「新建」,新建一個條目,將剛才複製的C:Python36複製進去。這裡需要說明的是,此處的路徑就是你的Python 3安裝目錄,請自行替換。然後,再把C:Python36Scripts路徑複製進去,如圖1-7所示。
圖1-7 編輯環境變數
最後,點擊「確定」按鈕即可完成環境變數的配置。
配置好環境變數後,我們就可以在命令行中直接執行環境變數路徑下的可執行文件了,如python
、pip
等命令。
(3) 添加別名
上面這兩種安裝方式任選其一即可完成安裝,但如果之前安裝過Python 2的話,可能會導致版本衝突問題,比如在命令行下輸入python
就不知道是調用的Python 2還是Python 3了。為了解決這個問題,建議將安裝目錄中的python.exe複製一份,命名為python3.exe,這樣便可以調用python3
命令了。實際上,它和python
命令是完全一致的,這樣只是為了可以更好地區分Python版本。當然,如果沒有安裝過Python 2的話,也建議添加此別名,添加完畢之後的效果如圖1-8所示。
圖1-8 添加別名
對於pip來說,安裝包中自帶了pip3.exe可執行文件,我們也可以直接使用pip3
命令,無需額外配置。
(4) 測試驗證
安裝完成後,可以通過命令行測試一下安裝是否成功。在「開始」菜單中搜索cmd
,找到命令提示符,此時就進入命令行模式了。輸入python
,測試一下能否成功調用Python。如果添加了別名的話,可以輸入python3
測試,這裡輸入的是python3
,測試結果如圖1-9所示。
圖1-9 測試驗證頁面
輸出結果類似如下:
$ python3Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 17:54:52) [MSC v.1900 32 bit (Intel)] on win32Type "help", "copyright", "credits" or "license" for more information.>>> print(Hello World)Hello World>>> exit()$ pip3 -Vpip 9.0.1 from c:python36libsite-packages (python 3.6)
如果出現了類似上面的提示,則證明Python 3和pip 3均安裝成功;如果提示命令不存在,那麼請檢查下環境變數的配置情況。
3. Linux下的安裝
Linux下的安裝方式有多種:命令安裝、源碼安裝和Anaconda安裝。
使用源碼安裝需要自行編譯,時間較長。推薦使用系統自帶的命令或Anaconda安裝,簡單、高效。這裡分別講解這3種安裝方式。
(1) 命令行安裝
不同的Linux發行版本的安裝方式又有不同,在此分別予以介紹。
CentOS、Red Hat
如果是CentOS或Red Hat版本,則使用yum
命令安裝即可。
下面列出了Python 3.5和Python 3.4兩個版本的安裝方法,可以自行選擇。
Python 3.5版本:
sudo yum install -y https://centos7.iuscommunity.org/ius-release.rpmsudo yum updatesudo yum install -y python35u python35u-libs python35u-devel python35u-pip
執行完畢後,便可以成功安裝Python 3.5及pip 3了。
Python 3.4版本:
sudo yum groupinstall -y development toolssudo yum install -y epel-release python34-devel libxslt-devel libxml2-devel openssl-develsudo yum install -y python34sudo yum install -y python34-setuptoolssudo easy_install-3.4 pip
執行完畢後,便可以成功安裝Python 3.4及pip 3了。
Ubuntu、Debian和Deepin
首先安裝Python 3,這裡使用apt-get
安裝即可。在安裝前,還需安裝一些基礎庫,相關命令如下:
sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-devsudo apt-get install -y python3
執行完上述命令後,就可以成功安裝Python 3了。
然後還需要安裝pip 3,這裡仍然使用apt-get
安裝即可,相關命令如下:
sudo apt-get install -y python3-pip
執行完畢後,便可以成功安裝Python 3及pip 3了。
(2) 源碼安裝
如果命令行的安裝方式有問題,還可以下載Python 3源碼進行安裝。
源碼下載地址為https://www.python.org/ftp/python/,可以自行選用想要的版本進行安裝。這裡以Python 3.6.2為例進行說明,安裝路徑設置為/usr/local/python3。
首先,創建安裝目錄,相關命令如下:
sudo mkdir /usr/local/python3
隨後下載安裝包並解壓進入,相關命令如下:
wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgztar -xzvf Python-3.6.2.tgzcd Python-3.6.2
接下來,編譯安裝。所需的時間可能較長,請耐心等待,命令如下:
sudo ./configure --prefix=/usr/local/python3sudo makesudo make install
安裝完成之後,創建Python 3鏈接,相關命令如下:
sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3
隨後下載pip安裝包並安裝,命令如下:
wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gztar -xzvf 9.0.1.tar.gzcd pip-9.0.1python3 setup.py install
安裝完成後再創建pip 3鏈接,相關命令如下:
sudo ln -s /usr/local/python3/bin/pip /usr/bin/pip3
這樣就成功安裝好了Python 3及pip 3。
(3) Anaconda安裝
Anaconda同樣支持Linux,其官方下載鏈接為https://www.continuum.io/downloads,選擇Python 3版本的安裝包下載即可,如圖1-10所示。
圖1-10 Anaconda Linux下載頁面
如果下載速度過慢,同樣可以使用清華鏡像,具體可參考Windows部分的介紹,在此不再贅述。
(4) 測試驗證
在命令行界面下測試Python 3和pip 3是否安裝成功:
$ python3Python 3.5.2 (default, Nov 17 2016, 17:05:23) Type "help", "copyright", "credits" or "license" for more information.>>> exit()$ pip3 -Vpip 8.1.1 from /usr/lib/python3/dist-packages (python 3.5)
若出現類似上面的提示,則證明Python 3和pip 3安裝成功。
4. Mac下的安裝
在Mac下同樣有多種安裝方式,如Homebrew、安裝包安裝、Anaconda安裝等,這裡推薦使用Homebrew安裝。
(1) Homebrew安裝
Homebrew是Mac平台下強大的包管理工具,其官方網站是https://brew.sh/。
執行如下命令,即可安裝Homebrew:
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
安裝完成後,便可以使用brew
命令安裝Python 3和pip 3了:
brew install python3
命令執行完成後,我們發現Python 3和pip 3均已成功安裝。
(2) 安裝包安裝
可以到官方網站下載Python 3安裝包。鏈接為https://www.python.org/downloads/,頁面如圖1-2所示。
在Mac平台下,可以選擇下載Mac OS X 64-bit/32-bit installer,下載完成後,打開安裝包按照提示安裝即可。
(3) Anaconda安裝
Anaconda同樣支持Mac,其官方下載鏈接為:https://www.continuum.io/downloads,選擇Python 3版本的安裝包下載即可,如圖1-11所示。
圖1-11 Anaconda Mac下載頁面
如果下載速度過慢,同樣可以使用清華鏡像,具體可參考Windows部分的介紹,在此不再贅述。
(4) 測試驗證
打開終端,在命令行界面中測試Python 3和pip 3是否成功安裝,如圖1-12所示。
圖1-12 測試驗證頁面
若出現上面的提示,則證明Python 3和pip 3安裝成功。
本節中,我們介紹了3大平台Windows、Linux和Mac下Python 3的安裝方式。安裝完成後,我們便可以開啟Python爬蟲的征程了。
本資源首發於崔慶才的個人博客靜覓: Python3網路爬蟲開發實戰教程 | 靜覓
如想了解更多爬蟲資訊,請關注我的個人微信公眾號:進擊的Coder
http://weixin.qq.com/r/5zsjOyvEZXYarW9Y9271 (二維碼自動識別)
推薦閱讀:
※幫小白飛速掌握Python的19個學習資源
※通俗 Python 設計模式——工廠模式
※Python數據分析及可視化實例之常規存儲txt、csv、xls
※python 數據挖掘篇 一 結巴分詞
※TensorFlow初步(3)