Python網路爬蟲2：迷你爬蟲架構
來自專欄 Python程序員
6 人贊了文章
摘要：從零開始寫爬蟲，初學者的速成指南！
封面：
評論+轉發此文然後我私信回復「架構」即可領取框架的完整程序（隨意寫的，僅供參考哈），也歡迎大家和我一起交流學習Python，共同成長
介紹
大家好！回顧上一期，我們在介紹了爬蟲的基本概念之後，就利用各種工具橫衝直撞的完成了一個小爬蟲，目的就是猛、糙、快，方便初學者上手，建立信心。對於有一定基礎的讀者，請不要著急，以後我們會學習主流的開源框架，打造出一個強大專業的爬蟲系統！不過在此之前，要繼續打好基礎，本期我們先介紹爬蟲的種類，然後選取最典型的通用網路爬蟲，為其設計一個迷你框架。有了自己對框架的思考後，再學習複雜的開源框架就有頭緒了。
今天我們會把更多的時間用在思考上，而不是一根筋的coding。用80%的時間思考，20%的時間敲鍵盤，這樣更有利於進步。
語言&環境
語言：帶足彈藥，繼續用Python開路！
threading：threading庫可以在單獨的線程中執行任何的在Python中可以調用的對象。Python 2.x中的thread模塊已被廢棄，用戶可以使用threading模塊代替。在Python 3中不能再使用thread模塊。為了兼容性，Python 3將thread重命名為_thread。
queue：queue模塊中提供了同步的、線程安全的隊列類，包括FIFO（先入先出)隊列Queue，LIFO（後入先出）隊列LifoQueue，和優先順序隊列PriorityQueue。這些隊列都實現了鎖原語，能夠在多線程中直接使用。可以使用隊列來實現線程間的同步。
re：Python 自1.5版本起增加了re模塊，它提供Perl風格的正則表達式模式。re模塊使 Python語言擁有全部的正則表達式功能。
argparse：Python用於解析命令行參數和選項的標準模塊，用於代替已經過時的optparse模塊。argparse模塊的作用是用於解析命令行參數。
configparser：讀取配置文件的模塊。
爬蟲的種類
網路爬蟲按照系統結構和實現技術，大致可以分為以下幾種類型：通用網路爬蟲（General Purpose Web Crawler）、聚焦網路爬蟲（Focused Web Crawler）、增量式網路爬蟲（Incremental Web Crawler）、深層網路爬蟲（Deep Web Crawler）。實際的網路爬蟲系統通常是幾種爬蟲技術相結合實現的。
通用網路爬蟲
通用網路爬蟲又稱全網爬蟲（Scalable Web Crawler），爬取對象從一些種子 URL 擴充到整個 Web。主要為門戶站點搜索引擎和大型 Web 服務提供商採集數據。
通用網路爬蟲的結構大致可以分為頁面爬取模塊 、頁面分析模塊、鏈接過濾模塊、頁面存儲模塊、URL 隊列、初始 URL 集合幾個部分。為提高工作效率，通用網路爬蟲會採取一定的爬取策略。 常用的爬取策略有：深度優先策略、廣度優先策略。
1) 深度優先策略（DFS）：其基本方法是按照深度由低到高的順序，依次訪問下一級網頁鏈接，直到不能再深入為止。
2) 廣度優先策略（BFS）：此策略按照網頁內容目錄層次深淺來爬取頁面，處於較淺目錄層次的頁面首先被爬取。 當同一層次中的頁面爬取完畢後，爬蟲再深入下一層繼續爬取。
聚焦網路爬蟲
聚焦網路爬蟲（Focused Crawler），又稱主題網路爬蟲（Topical Crawler），是指選擇性地爬取那些與預先定義好的主題相關頁面的網路爬蟲。 和通用網路爬蟲相比，聚焦爬蟲只需要爬取與主題相關的頁面，極大地節省了硬體和網路資源，保存的頁面也由於數量少而更新快，還可以很好地滿足一些特定人群對特定領域信息的需求。我們之前爬的歌單就屬於這一種。
增量式網路爬蟲
增量式網路爬蟲（Incremental Web Crawler）是 指 對 已 下 載 網 頁 采 取 增 量式更新和只爬取新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬取的頁面是儘可能新的頁面。 和周期性爬取和刷新頁面的網路爬蟲相比，增量式爬蟲只會在需要的時候爬取新產生或發生更新的頁面 ，並不重新下載沒有發生變化的頁面，可有效減少數據下載量，及時更新已爬取的網頁，減小時間和空間上的耗費，但是增加了爬取演算法的複雜度和實現難度。現在比較火的輿情爬蟲一般都是增量式網路爬蟲。
深網爬蟲
Web 頁面按存在方式可以分為表層網頁（Surface Web）和深層網頁（Deep Web，也稱 Invisible Web Pages 或 Hidden Web）。 表層網頁是指傳統搜索引擎可以索引的頁面，以超鏈接可以到達的靜態網頁為主構成的 Web 頁面。Deep Web 是那些大部分內容不能通過靜態鏈接獲取的、隱藏在搜索表單後的，只有用戶提交一些關鍵詞才能獲得的 Web 頁面。例如那些用戶註冊後內容才可見的網頁就屬於 Deep Web。
一個迷你框架
下面以比較典型的通用爬蟲為例，分析其工程要點，設計並實現一個迷你框架。架構圖如下：
代碼結構：
config_load.py 配置文件載入
crawl_thread.py 爬取線程
mini_spider.py 主線程
spider.conf 配置文件
url_table.py url隊列、url表
urls.txt 種子url集合
webpage_parse.py 網頁分析
webpage_save.py 網頁存儲
看看配置文件里有什麼內容：
spider.conf
Step 1.採用BFS還是DFS？
理論上，這兩個演算法都能夠在大致相同的時間裡爬取整個互聯網上的內容。但顯然各個網站最重要的網頁應該是它的首頁。在極端情況下，如果只能下載非常有限的網頁，那麼應該下載的所有網站的首頁，如果把爬蟲再擴大些，應該爬取從首頁直接鏈接的網頁，因為這些網頁是網站設計者自己認為相當重要的網頁。在這個前提下，顯然BFS明顯優於DFS。事實上在搜索引擎的爬蟲里，主要採用的就是BFS。我們的框架採取這種策略。
抓取深度可以通過配置文件中的max_depth設置，只要沒到達指定深度，程序就會不停的將解析出的url放入隊列中：
Step 2.初始URL集合、URL隊列
我們來看看通用爬蟲如何下載整個互聯網。假設從一家門戶網站的首頁出發，先下載這個網頁（深度=0），然後通過分析這個網頁，可以找到頁面里的所有超鏈接，也就等於知道了這家門戶網站首頁所直接連接的全部網頁，諸如京東理財、京東白條，京東眾籌等（深度=1）。接下來訪問、下載並分析京東理財等網頁，又能找到其他相連的網頁（深度=2）。讓計算機不停的做下去，就能下載整個網站。
在這個過程中，我們需要一個「初始URL集合」保存門戶的首頁，還需要一個「URL隊列」保存分析網頁得到的超鏈接。
mini_spider.py
url_table.py
Step 3.記錄哪些網頁已經下載過的小本本——URL表。
在互聯網上，一個網頁可能被多個網頁中的超鏈接所指向。這樣在遍歷互聯網這張圖的時候，這個網頁可能被多次訪問到。為了防止一個網頁被下載和解析多次，需要一個URL表記錄哪些網頁已經下載過。再遇到這個網頁的時候，我們就可以跳過它。
crawl_thread.py
Step 4.多個抓取線程
為了提升爬蟲性能，需要多個抓取線程，從URL隊列獲取鏈接進行處理。多線程並沒什麼毛病，但Python的多線程可能會引起很多人的質疑，這源於Python設計之初的考慮：GIL。GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，某個線程想要執行，必須先拿到GIL，並且在一個Python進程中，GIL只有一個。結果就是Python里一個進程永遠只能同時執行一個線程，這就是為什麼在多核CPU上，Python的多線程效率並不高。那麼我們為什麼還要用Python多線程呢？
CPU密集型代碼(各種循環處理、編解碼等等)，在這種情況下，由於計算工作多，ticks計數很快就會達到閾值，然後觸發GIL的釋放與再競爭（多個線程來回切換當然是需要消耗資源的），Python下的多線程對CPU密集型代碼並不友好。
IO密集型代碼(文件處理、網路爬蟲等)，多線程能夠有效提升效率(單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執行效率)。Python的多線程對IO密集型代碼比較友好。
所以，對於IO密集的爬蟲程序，使用Python多線程是沒問題的。
crawl_thread.py
Step 5.頁面分析模塊
從網頁中解析出URLs或者其他有用的數據。這個是上期重點介紹的，可以參考之前的代碼。
Step 6.頁面存儲模塊
保存頁面的模塊，目前將文件保存為文件，以後可以擴展出多種存儲方式，如mysql，mongodb，hbase等等。
webpage_save.py
寫到這裡，整個框架已經清晰的呈現在大家眼前了，千萬不要小看它，不管多麼複雜的框架都是在這些基本要素上擴展出來的。
下一步
基礎知識的學習暫時告一段落，希望能夠幫助大家打下一定的基礎。下期開始為大家介紹強大成熟的爬蟲框架Scrapy，它提供了很多強大的特性來使得爬取更為簡單高效，更多精彩，敬請期待！
推薦閱讀：