C# 都有哪些爬蟲框架?
12-28
C# 都有哪些開源的爬蟲框架?
爬到的網頁該如何做保存？是存資料庫還是存文檔？如何解決大數據的url是否已經抓取或是避免重複
我只會用正則匹配，沒深研究過o(╯□╰)o
- Html Agility Pack：感覺比較好的東東。
- http://htmlagilitypack.codeplex.com/
- Arachnode：暫無說明
- http://arachnode.net/
- NCrawler：暫無說明
- http://ncrawler.codeplex.com/
- HttpHelper：國人的，貌似是個小團隊，專門寫寫幫助類框架，有開源的，也有功能更加強大的收費版。
- http://httphelper.sufeinet.com/
【補充】【2017年1月4日12:41:00】
- CSQuery：不錯
- http://www.nuget.org/packages/CsQuery/
- AngleSharp：強烈推薦
- https://anglesharp.github.io/
HtmlAgilityPack
推薦閱讀：