【Python3網路爬蟲開發實戰】 1.1-Python3的安裝

既然要用Python 3開發爬蟲,那麼第一步一定是安裝Python 3。這裡會介紹Windows、Linux和Mac三大平台下的安裝過程。

1. 相關鏈接

  • 官方網站:http://python.org
  • 下載地址:python.org/downloads
  • 第三方庫:pypi.python.org/pypi
  • 官方文檔:docs.python.org/3
  • 中文教程:runoob.com/python3/pyth
  • Awesome Python:github.com/vinta/awesom
  • Awesome Python中文版:github.com/jobbole/awes

2. Windows下的安裝

在Windows下安裝Python 3的方式有兩種。

  • 一種是通過Anaconda安裝,它提供了Python的科學計算環境,裡面自帶了Python以及常用的庫。如果選用了這種方式,後面的環境配置方式會更加簡便。
  • 另一種是直接下載安裝包安裝,即標準的安裝方式。

下面我們依次介紹這兩種安裝方式,任選其一即可。

(1) Anaconda安裝

Anaconda的官方下載鏈接為continuum.io/downloads,選擇Python 3版本的安裝包下載即可,如圖1-1所示。

圖1-1 Anaconda Windows下載頁面

如果下載速度過慢,可以選擇使用清華大學鏡像,下載列錶鏈接為mirrors.tuna.tsinghua.edu.cn,使用說明鏈接為mirrors.tuna.tsinghua.edu.cn

下載完成之後,直接雙擊安裝包安裝即可。安裝完成之後,Python 3的環境就配置好了。

(2) 安裝包安裝

我們推薦直接下載安裝包來安裝,此時可以直接到官方網站下載Python 3的安裝包:python.org/downloads/

寫書時,Python的最新版本1是3.6.2,其下載鏈接為python.org/downloads/re,下載頁面如圖1-2所示。需要說明的是,實際的Python最新版本以官網為準。

圖1-2 Python下載頁面

1. 若無特別說明,書中的最新版本均為作者寫書時的情況,後面不再一一說明。

64位系統可以下載Windows x86-64 executable installer,32位系統可以下載Windows x86 executable installer。

下載完成之後,直接雙擊Python安裝包,然後通過圖形界面安裝,接著設置Python的安裝路徑,完成後將Python 3和Python 3的Scripts目錄配置到環境變數即可。

關於環境變數的配置,此處以Windows 10系統為例進行演示。

假如安裝後的Python 3路徑為C:Python36,從資源管理器中打開該路徑,如圖1-3所示。

圖1-3 Python安裝目錄

將該路徑複製下來。

隨後,右擊「計算機」,從中選擇「屬性」,此時將打開系統屬性窗口,如圖1-4所示。

圖1-4 系統屬性

點擊左側的「高級系統設置」,即可看到在彈出的對話框下方看到「環境變數」按鈕,如圖1-5所示。

圖1-5 高級系統設置

點擊「環境變數」按鈕,找到系統變數下的Path變數,隨後點擊「編輯」按鈕,如圖1-6所示。

圖1-6 環境變數

隨後點擊「新建」,新建一個條目,將剛才複製的C:Python36複製進去。這裡需要說明的是,此處的路徑就是你的Python 3安裝目錄,請自行替換。然後,再把C:Python36Scripts路徑複製進去,如圖1-7所示。

圖1-7 編輯環境變數

最後,點擊「確定」按鈕即可完成環境變數的配置。

配置好環境變數後,我們就可以在命令行中直接執行環境變數路徑下的可執行文件了,如pythonpip等命令。

(3) 添加別名

上面這兩種安裝方式任選其一即可完成安裝,但如果之前安裝過Python 2的話,可能會導致版本衝突問題,比如在命令行下輸入python就不知道是調用的Python 2還是Python 3了。為了解決這個問題,建議將安裝目錄中的python.exe複製一份,命名為python3.exe,這樣便可以調用python3命令了。實際上,它和python命令是完全一致的,這樣只是為了可以更好地區分Python版本。當然,如果沒有安裝過Python 2的話,也建議添加此別名,添加完畢之後的效果如圖1-8所示。

圖1-8 添加別名

對於pip來說,安裝包中自帶了pip3.exe可執行文件,我們也可以直接使用pip3命令,無需額外配置。

(4) 測試驗證

安裝完成後,可以通過命令行測試一下安裝是否成功。在「開始」菜單中搜索cmd,找到命令提示符,此時就進入命令行模式了。輸入python,測試一下能否成功調用Python。如果添加了別名的話,可以輸入python3測試,這裡輸入的是python3,測試結果如圖1-9所示。

圖1-9 測試驗證頁面

輸出結果類似如下:

$ python3Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 17:54:52) [MSC v.1900 32 bit (Intel)] on win32Type "help", "copyright", "credits" or "license" for more information.>>> print(Hello World)Hello World>>> exit()$ pip3 -Vpip 9.0.1 from c:python36libsite-packages (python 3.6)

如果出現了類似上面的提示,則證明Python 3和pip 3均安裝成功;如果提示命令不存在,那麼請檢查下環境變數的配置情況。

3. Linux下的安裝

Linux下的安裝方式有多種:命令安裝、源碼安裝和Anaconda安裝。

使用源碼安裝需要自行編譯,時間較長。推薦使用系統自帶的命令或Anaconda安裝,簡單、高效。這裡分別講解這3種安裝方式。

(1) 命令行安裝

不同的Linux發行版本的安裝方式又有不同,在此分別予以介紹。

CentOS、Red Hat

如果是CentOS或Red Hat版本,則使用yum命令安裝即可。

下面列出了Python 3.5和Python 3.4兩個版本的安裝方法,可以自行選擇。

Python 3.5版本:

sudo yum install -y https://centos7.iuscommunity.org/ius-release.rpmsudo yum updatesudo yum install -y python35u python35u-libs python35u-devel python35u-pip

執行完畢後,便可以成功安裝Python 3.5及pip 3了。

Python 3.4版本:

sudo yum groupinstall -y development toolssudo yum install -y epel-release python34-devel libxslt-devel libxml2-devel openssl-develsudo yum install -y python34sudo yum install -y python34-setuptoolssudo easy_install-3.4 pip

執行完畢後,便可以成功安裝Python 3.4及pip 3了。

Ubuntu、Debian和Deepin

首先安裝Python 3,這裡使用apt-get安裝即可。在安裝前,還需安裝一些基礎庫,相關命令如下:

sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-devsudo apt-get install -y python3

執行完上述命令後,就可以成功安裝Python 3了。

然後還需要安裝pip 3,這裡仍然使用apt-get安裝即可,相關命令如下:

sudo apt-get install -y python3-pip

執行完畢後,便可以成功安裝Python 3及pip 3了。

(2) 源碼安裝

如果命令行的安裝方式有問題,還可以下載Python 3源碼進行安裝。

源碼下載地址為python.org/ftp/python/,可以自行選用想要的版本進行安裝。這裡以Python 3.6.2為例進行說明,安裝路徑設置為/usr/local/python3。

首先,創建安裝目錄,相關命令如下:

sudo mkdir /usr/local/python3

隨後下載安裝包並解壓進入,相關命令如下:

wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgztar -xzvf Python-3.6.2.tgzcd Python-3.6.2

接下來,編譯安裝。所需的時間可能較長,請耐心等待,命令如下:

sudo ./configure --prefix=/usr/local/python3sudo makesudo make install

安裝完成之後,創建Python 3鏈接,相關命令如下:

sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3

隨後下載pip安裝包並安裝,命令如下:

wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gztar -xzvf 9.0.1.tar.gzcd pip-9.0.1python3 setup.py install

安裝完成後再創建pip 3鏈接,相關命令如下:

sudo ln -s /usr/local/python3/bin/pip /usr/bin/pip3

這樣就成功安裝好了Python 3及pip 3。

(3) Anaconda安裝

Anaconda同樣支持Linux,其官方下載鏈接為https://www.continuum.io/downloads,選擇Python 3版本的安裝包下載即可,如圖1-10所示。

圖1-10 Anaconda Linux下載頁面

如果下載速度過慢,同樣可以使用清華鏡像,具體可參考Windows部分的介紹,在此不再贅述。

(4) 測試驗證

在命令行界面下測試Python 3和pip 3是否安裝成功:

$ python3Python 3.5.2 (default, Nov 17 2016, 17:05:23) Type "help", "copyright", "credits" or "license" for more information.>>> exit()$ pip3 -Vpip 8.1.1 from /usr/lib/python3/dist-packages (python 3.5)

若出現類似上面的提示,則證明Python 3和pip 3安裝成功。

4. Mac下的安裝

在Mac下同樣有多種安裝方式,如Homebrew、安裝包安裝、Anaconda安裝等,這裡推薦使用Homebrew安裝。

(1) Homebrew安裝

Homebrew是Mac平台下強大的包管理工具,其官方網站是brew.sh/

執行如下命令,即可安裝Homebrew:

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安裝完成後,便可以使用brew命令安裝Python 3和pip 3了:

brew install python3

命令執行完成後,我們發現Python 3和pip 3均已成功安裝。

(2) 安裝包安裝

可以到官方網站下載Python 3安裝包。鏈接為python.org/downloads/,頁面如圖1-2所示。

在Mac平台下,可以選擇下載Mac OS X 64-bit/32-bit installer,下載完成後,打開安裝包按照提示安裝即可。

(3) Anaconda安裝

Anaconda同樣支持Mac,其官方下載鏈接為:https://www.continuum.io/downloads,選擇Python 3版本的安裝包下載即可,如圖1-11所示。

圖1-11 Anaconda Mac下載頁面

如果下載速度過慢,同樣可以使用清華鏡像,具體可參考Windows部分的介紹,在此不再贅述。

(4) 測試驗證

打開終端,在命令行界面中測試Python 3和pip 3是否成功安裝,如圖1-12所示。

圖1-12 測試驗證頁面

若出現上面的提示,則證明Python 3和pip 3安裝成功。

本節中,我們介紹了3大平台Windows、Linux和Mac下Python 3的安裝方式。安裝完成後,我們便可以開啟Python爬蟲的征程了。


本資源首發於崔慶才的個人博客靜覓: Python3網路爬蟲開發實戰教程 | 靜覓

如想了解更多爬蟲資訊,請關注我的個人微信公眾號:進擊的Coder

weixin.qq.com/r/5zsjOyv (二維碼自動識別)


推薦閱讀:

幫小白飛速掌握Python的19個學習資源
通俗 Python 設計模式——工廠模式
Python數據分析及可視化實例之常規存儲txt、csv、xls
python 數據挖掘篇 一 結巴分詞
TensorFlow初步(3)

TAG:Python | 爬蟲計算機網路 |