爬蟲數據採集技術趨勢－智能化解析

之前寫在自己博客上，感覺寫得還行。轉載至這裡存檔。

---------------------------------------------------------------------------------------

用一句話概括爬蟲工程師的工作內容，就是We Structure the Worlds Knowledge。

爬蟲工作內容

互聯網作為人類歷史最大的知識倉庫，是沒有充分結構化的。目前互聯網僅僅是一些文本等多媒體數據的聚合，內容雖然非常有價值，但是程序是無法使用那些沒有結構化的數據。

在2006年左右，有專家提出的web3.0，語義互聯網，知識共享。雖然現在開放API，SOA概念越來越普及，真正語義上的互聯網的時代似乎還非常遙遠。因此爬蟲依然是最重要的手段，一端不斷解析，聚合互聯網上的數據，另外一端向各種各樣的的應用輸送數據。

現有爬蟲開發技術存在問題

從招聘市場崗位需求可以看出，近年來對爬蟲工程師需求越來越強烈。

個人判斷原因有兩個：

1. 信息聚合是互聯網公司的基本需求。
2. 數據時代到來，對數據更強烈的需求。

下面是我整理的部分靠爬蟲聚合信息的創業公司，按照時間順序排序：

• 搜索引擎聚合了網頁：百度,google,
• 機票比價網站：去哪兒，聚合各大航空公司票價
• 團購平台：團800 聚合了團購網站信息。
• 比價網站聚合了各大電商平台的商品價格：美麗說，蘑菇街，一淘
• 記賬理財產品聚合和消費者，信用卡，銀行卡信息：挖財和銅板街。
• 新聞聚合平台：今日頭條
• p2p平台聚合各大p2p借貸公司的信息：網貸之家，融360
• 風控公司需要收集企業公司，財務司法等信息：鵬元
• 徵信數據會收集了貸款者司法，社交，財務，大量和徵信相關信息：聚信立，量化派，zestfinace

最後5種類型，幾乎2014年都是開始。很多金融場景相關應用開始出現，這就對準確度和可靠性提出了更高的要求。但現有的爬蟲開發技術能否滿足高可靠，大規模，高效率開發需求呢？

從軟體工程角度來看，一件事情如果無法評估，那就無法管理。爬蟲開發經常是被吐槽的原因之一，就是工作量常常無法評估。一般的軟體項目的開發過程隨著時間推進，工作量會逐漸減少，也是大家經常說的燃盡效果。

而爬蟲開發生命周期如下圖：

爬蟲開發主要有兩個方面內容：下載網頁，解析網頁。解析網頁大概佔據開發工作的80%左右。

下載網頁功能的開發工作，會涉及IP限制，驗證碼等問題，這樣問題都是可以預期的。同時，隨著現在優秀的爬蟲框架和雲伺服器的普及，問題解決起來會更輕鬆。

編寫解析代碼，雖然有一些基本工具chrome，firecdebug可以使用，但始終需要人工分析，編寫解析規則。無論是使用xpath，正則表達式，css selector，都不能減少這一部分的工作量。

大量重複性工作會導致以下兩個問題：

1. 即使同類型的網頁看起來99%是一樣，也需要編寫獨立的爬蟲。這就會給人這樣一種感覺——爬蟲開發大部分的工作內容是重複的。
2. 數據源網頁改版，幾乎整個爬蟲項目需要重做。重做的工作量幾乎是100%，爬蟲工程師心中往往是一萬隻羊駝跑過。現在很多徵信數據採集公司的合作夥伴，當數據源網站改版，常常需要一至兩天才能修復爬蟲，很明顯這種可靠性是無法滿足金融場景需要。

智能化解析

這是一張新浪新聞的圖片。

可以發現，視覺上很容易了解到，新聞所報道的事件的標題，發表時間和正文。自然也會想到，能否通過一些機器學習的演算法達到自動解析的目的？這樣就不用人工編寫解析額，減少重複勞動。在2008年開始，就要研究機構發表了相關論文。

http://www.cs.cmu.edu/~deepay/mywww/papers/www08-segments.pdf

http://research.microsoft.com/en-us/um/people/znie/p048.special.nie.pdf

也就是在2008有一家相關的創業公司，在斯坦福大學孵化。

DiffBot智能化數據採集公司

總部位於加州的Diffbot成立於2008年，創始人Mike Tung，是斯坦福畢業研究生。Diffbot是通過人工智慧技術，讓「機器」識別網頁內容，抓取關鍵內容，並輸出軟體可以直接識別的結構化數據。其創始人兼首席執行官Mike Tung表示，「Diffbot現在做的，相當於人類在瀏覽網頁文章時所做的事情，找出頁面中最核心的相關信息。」目前Diffbot已經發布了頭版API和文章API，還有產品API。服務的客戶包括三星、eBay、思科、美國在線等。

Diffbot的理念就是通過「視覺機器人」來掃描和識別不同的網頁類型（主要是非結構化的數據），再將這些豐富的數據源用於其他應用。Mike Tung表示：「我們在獲取頁面之後會對其進行分析，然後通過成熟先進的技術進行結構化處理。」之前我提到的we structure the worlds knowledge，就是該公司提出的理念。

Diffbot在基於智能採集的基礎上，又開發出很多數據產品，比如知識圖譜，智能商業BI。在2016騰訊與矽谷風投機構Felicis Ventures領投了人工智慧創業公司Diffbot 1000萬美元的A輪融資，很多互聯網巨頭開始發現這家公司的價值。

演算法實踐

通過智能方式來解析網頁需要兩個步驟：

1. 基於視覺上的網頁分割，將網頁分割幾個視覺塊。
2. 通過機器學習訓練的方式來判斷各個視覺塊的類型，是標題，還是正文。其中主要流程和一般機器需要流程沒什麼區別。這就不詳細解釋。使用到使用的開源框架有：scikit-learn,phantomjs

Scikit-Learn機器學習庫已經非常成熟，很容易上手。

phantomjs，是一個headless webkit渲染引擎。做爬蟲開發的同學應該非常需要。

1. 網頁分割演算法

從Diffbot早期發布的文章來看，是通過圖像處理的方式來切割視覺塊。使用到的演算法有，邊界檢查，文字識別等演算法。但這種方式計算量偏大，複雜度很高。

另外一種實現方式是基於Dom樹結構，導出所需的視覺特徵。

聚合時候需用的特徵變數。主要考慮視覺相關的因素有元素在頁面上的位置，寬度和高度，Dom的層次。

有一點需要注意的是，現在網頁很多是動態生成。需要藉助phantomjs工具來進行動態網頁渲染。

聚類演算法可以選用的DBSCAN，DBSCAN演算法優點是更加密度來劃分，比起K-mean演算法的優點，是處理任意形狀的聚合。

具體的實現方式可以參考下面博文：http://blog.mapado.com/web-page-segmentation-by-visual-clustering/

1. 分類演算法

在第一步處理後，網頁上的標籤，會被劃分分若干類，需要判斷標籤的類型，是否是標題，正文，廣告，導航之類。需要整理出類似下面的，訓練矩陣。

整個學習過程與一般的機器學習訓練過程沒有區別。由於數據樣本規模不大，分類演算法基本演算法採取。分類演算法可以選用樸素貝葉斯，或者SVM。

總結和展望

本文介紹的方式比較粗略，一般來說解析模型只能針對特定的網路訓練解析模型，比如新聞，電商產品頁。所以不同類型的網頁，所需要的特徵變數有較大差別。針對不同特點類型數據，需要大家自己花時間去探索和實踐。

隨著數據時代和智能化時代到來，爬蟲作為重要的數據來源，自身需要一些技術提升來適應時代的要求，這也就對爬蟲工程師提出更高的要求。成文粗陋，權且當做拋磚引玉，歡迎大家留言討論。

----------