爬蟲界又出神器｜一款比selenium更高效的利器

02.安裝與使用

1).極簡安裝

使用pip install pyppeteer命令就能完成pyppeteer庫的安裝，至於chromium瀏覽器，只需要一條pyppeteer-install命令就會自動下載對應的最新版本chromium瀏覽器到pyppeteer的默認位置。

如果不運行pyppeteer-install命令，在第一次使用pyppeteer的時候也會自動下載並安裝chromium瀏覽器，效果是一樣的。總的來說，pyppeteer比起selenium省去了driver配置的環節。

當然，出於某種原因，也可能會出現chromium自動安裝無法順利完成的情況，這時可以考慮手動安裝：首先，從下列網址中找到自己系統的對應版本，下載chromium壓縮包；

linux: https://storage.googleapis.com/chromium-browser-snapshots/Linux_x64/575458/chrome-linux.zip
mac: https://storage.googleapis.com/chromium-browser-snapshots/Mac/575458/chrome-mac.zip
win32: https://storage.googleapis.com/chromium-browser-snapshots/Win/575458/chrome-win32.zip
win64: https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip


(左右滑動查看)

然後，將壓縮包放到pyppeteer的指定目錄下解壓縮，windows系統的默認目錄。其他系統下的默認目錄可以參照下面這幅圖：

2).使用

安裝完後就來試試效果。一起來看下面這段代碼，在main函數中，先是建立一個瀏覽器對象，然後打開新的標籤頁，訪問百度主頁，對當前頁面截圖並保存為「example.png」，最後關閉瀏覽器。前文也提到過，pyppeteer是基於asyncio構建的，所以在使用的時候需要用到async/await結構。

運行上面這段代碼會發現並沒有瀏覽器彈出運行，這是因為Pyppeteer默認使用的是無頭瀏覽器，如果想要瀏覽器顯示，需要在launch函數中設置參數「headless =False」，程序運行結束後在同一目錄下會出現截取到的網頁圖片：

03.實戰非同步基金爬取

我們前面一直在說Pyppeteer是一款非常高效的web自動化測試工具，其本質原因是由於Pyppeteer是基於asyncio構建的，它的所有屬性和方法幾乎都是coroutine對象，因此在構建非同步程序的時候非常方便，天生就支持非同步運行。

下面就來對比順序執行和非同步運行的效率究竟如何:

1).基金爬取

我們把天天基金網中的開放式基金凈值數據爬取作為本次的實驗任務，下面這張圖是一支基金的歷史凈值數據，這個頁面是js載入的，沒辦法通過requests直接獲取內容信息，因此可以考慮使用模擬瀏覽器操作的方式進行數據抓取。（事實上基金凈值數據的獲取是有API介面的，本次任務只是為了演示，不具備實用價值）

為了使效果更加明顯，我們此次爬取基金列表頁（下圖）前50支基金的近20個交易日的凈值數據。

2).順序執行

程序構建的基本思路是新建一個browser瀏覽器和一個頁面page，依次訪問每個基金的凈值數據頁面並爬取數據。核心代碼如下：

代碼中的get_data()函數用於凈值數據頁面解析和數據的轉化，get_all_codes()函數用於獲取全部開放式基金的基金代碼（共6000餘個）。雖然程序也使用了async/await的結構，但是對多個基金的凈值數據獲取都是在callurl_and_getdata()函數中順序執行的，之所以這樣寫是因為pyppeteer中的方法都是coroutine對象，必須以這種形式構建程序。

為了排除打開瀏覽器的耗時干擾，我們僅統計訪問頁面和數據抓取的用時，其結果為：12.08秒。

3).非同步執行

下面我們把程序改造一下，功能函數都不變，主要是把對fundlist的循環運行改裝成async的task對象。核心代碼如下：

耗時的統計區間仍然從瀏覽器打開後開始計算，其運行用時為：2.18秒，相比順序執行要快了6倍。可以想像，如果需要爬取的工作量比較大，順序執行需要10個小時的話，非同步執行可能只需要不到2個小時，優化效果可謂非常明顯了。

推薦閱讀：