全球值得關注的5大爬蟲專業博客網站

03-06

近幾年，國內的採集產品發展得如火如荼，比如八爪魚、發源地，像八爪魚也已經做到A輪融資階段，做為一款互聯網產品兩年內就超越眾多老牌採集產品，做到用戶數，雲伺服器數量第一的位置。很多人用採集軟體實現互聯網公開數據的採集，社交網路輿情分析，電商網站商品詳情採集競價分析等。但國內在大數據採集行業比國外要晚兩三年，特別是矽谷的幾家競品實力還是挺強的。因此，下面將介紹五個採集相關的國外專業博客網站給大家，我們可以看下國外這塊的內容資料。

1.Scraping.pro

Scraping.pro是一個專業的採集軟體測評網站，上面有各種國外比較頂尖的採集軟體測評文，比如scrapy、octoparse等，從操作界面、功能點（登陸採集、翻頁、搜索查詢採集、驗證碼採集等）、價格到客服等，都有很詳細的介紹。一旦這些軟體有更新，scraping.pro也會馬上更新。此外，該網站也會有不同軟體的對比文，可以讓用戶對這些軟體有更直觀的印象，更好挑選一款最適合的軟體。

2.Kdnuggets

相比scraping.pro，Kdnuggets涵蓋範圍更廣，包括商業分析、大數據、數據挖掘、數據科學等。它有幾大欄目：Kdnuggets新聞、軟體、工作、課程、數據和教育，有關於數據挖掘、網站採集的最新新聞以及從1993年以來關於數據挖掘的知識。它有時還會組織一些交流會供專家和讀者們交流。

3.Octoparse

Octoparse是一款功能強大的免費採集軟體，它的博客提供的內容比較廣，從網站採集的具體應用到人工智慧、語義分析、大數據行業都有涉及，內容比較淺顯易懂，比較適合初步的網站採集用戶。該平台最大的亮點是它有各種比較專業的對比文和盤點文，將上下游企業的軟體都囊括了進來，不用再費心找其它的軟體，比如Top 30 Big Data Tools for Data Analysis。

4.Big Data News

Big data news和Kdnuggets類似，涵蓋的範圍主要是在大數據行業方面，網站採集是其下面的一個子欄目。Big data news嚴格來說有點像社區，上面的內容都是用戶自己上傳的，編輯只負責審核，因此內容也會比較多樣。如果你想成為一個數據專家，或者想跟這些專家多交流，這個網站是一個不錯的選擇，只要註冊一個賬號就可以了。

5.Analytics Vidhya

跟Big data news類似，Analytics Vidhya是一個更專業的數據採集網站，內容涵蓋數據科學、機器學習、網站採集等。除了日常訂閱上面的內容外，你還可以在它的論壇上問問題，是一個很好的學習和交流平台。

以上簡單的介紹了五個博客網站的特點，想要了解更多國外的採集產品，順著這五個網站摸過去，也就能從產品到應用到分析，全部都有了。

八爪魚，雖然有很多用戶吐槽說慢，但卻是用戶量，採集能力最好的。Octoparse，其實是八爪魚的英文版，即使跟國外眾多競品對比，也絲毫不比別人差。好吧，我承認，這只是一篇推廣Octoparse的半軟文，還望理解。