爬蟲軟體|爬蟲軟體的簡單介紹

今明兩天，由我和@David Qian來給大家介紹一下簡單的爬蟲軟體。適合我們廣大的，唔，非專業小白。

註：非商業轉載註明作者即可，商業轉載請聯繫作者授權並支付稿費。本人已授權「維權騎士」網站(http://rightknights.com)對我在知乎發布文章的版權侵權行為進行追究與維權。

------------------------萌萌噠的分割線------------------------

如果不想寫代碼，而且方便快捷的完成數據採集任務，爬蟲軟體是個不錯的選擇呢。（對於我們這些小白。。。）現在市面上爬蟲軟體層出不窮。我們會根據自己的使用經歷，簡單的介紹幾款流行的爬蟲軟體。（記得剛上手的時候就是出於完全懵逼的狀態，大概需要的就是這種介紹啦）下一期我們將具體介紹如何操作。：）

一、八爪魚

八爪魚是這幾款爬蟲軟體中最好上手的，這是他的最大優點，完全適合對爬蟲不了解的小白們，30分鐘就可以學會實現基本的步驟。（最關鍵是簡單啊！！！）免費的情況下，對於基本的採集功能可以勝任，比如說天貓的價格，網頁新聞等。但是數據的下載是需要裡面的積分的（我會告訴你，任務小的話，送的就會夠用）。小任務的話，這是個很好的選擇。輸入要爬的網頁，點擊要爬的內容，設置好爬取的規則，就可以開始了。但存在的缺點是速度比較慢。（這其實是通病，相對於自己寫的代碼來講。還記得剛開始用它爬天貓一個連衣裙的價格，100頁愣是爬了1h，後來自己寫的爬蟲放到伺服器上，幾百件商品是1h。。。）^_^

二、集搜客GooSeeker

gooseeker是小編最常用的爬蟲軟體。相對於其他的爬蟲，gooseeker在免費的情況下，可以實現基本上所有的爬蟲任務。難度的話，剛開始可能沒有那麼容易上手，需要大家多看視頻教程。（其實是操作比較多，很容易就懵逼了）gooseeker可以實現的爬蟲任務包括，層級抓取，翻頁，動態網頁的抓取這些基本的採集方法。同時支持爬蟲群，即在同一時間執行多個爬蟲，提高速率。O(∩_∩)O~而且有非常完善的社區裡面有詳細的視頻教程，也可以上去就自己的問題進行提問。（其實最關鍵的是免費的情況下，實現的功能很多，這對於我們項目組來說，簡直是天大的福音）（http://www.gooseeker.com/doc/forum-54-1.html）O(∩_∩)O~

需要使用的話首先請到官網上下載（http://www.gooseeker.com/）。使用gooseeker必須使用firefox瀏覽器（這應該算受限制的一點），初次下載的時候請選擇方案一。

三、火車頭

火車頭是這幾款軟體裡面功能最強大的一款，畢竟是行業里的老大。火車頭是這幾款中最難上手的，因為有些要直接寫正則匹配。（這個著實有難度啊！）但是官網上的視頻教程非常的全，初上手的話，學習可能需要一段時間。（這個時間在5天左右<(￣3￣)> ）火車頭的主體功能基本都是收費的。如果有大量的任務和爬蟲要求的話，可以選擇火車頭。個人覺得火車頭應該是最貼近爬蟲程序的。使用的話要制定網址採集規則，內容採集規則，也就是說要看網頁源碼，根據源碼找爬取內容。（上面兩款基本是直接點擊要爬的地方就可以了，這個要源碼！突然想到剛看源碼的時候，一臉懵逼的樣子/(ㄒoㄒ)/~~）

火車頭的官網下載（http://www.locoy.com/download）。

同時附贈論壇（http://bbs.locoy.com/plugin.php?id=comeing_guide）。

四、前嗅ForeSpider

這一款沒有前三個使用的頻率高，但其實是非常好上手的一款爬蟲軟體，僅次於八爪魚，而且功能比八爪魚強大許多。當然也是一款需要付費的軟體。（其實歸根到底，都要money啊）跟之前使用過的其他爬蟲軟體對比發現，ForeSpider爬蟲有自己的內置資料庫，當然也支持MySQL等主流數據存儲系統。

我是下載的官網~(≧▽≦)/~（http://forenose.com/pannel/prod/crawler_cen.html）。

上面如果有什麼錯誤，歡迎指正。

明天我們會推送部分爬蟲軟體的使用教程，希望大家繼續關注。O(∩_∩)O~

------------------------萌萌噠的分割線------------------------

更多項目介紹，請關注我們的項目專欄：Chinas Prices Project - 知乎專欄

項目聯繫方式：

• 項目郵箱（我的工作郵箱）：zhangguocpp@163.com

• 知乎：@iGuo@Suri（項目負責人） @林行健@Dementia （技術負責人）@張土不 （財務負責人）@好大一棵樹（運維負責人）

推薦閱讀：