是否有智能爬蟲,即不需要會寫代碼,只要定義後就可以開始爬蟲了?
12-28
不懂代碼,但是又需要數據,是否有那種爬蟲平台,只要定義你需要搜索的東西,以及在什麼網站上搜索,就可以自動爬蟲了?
咦……
這不是說我們最近在做的項目嘛。
我們16年以來發現一個問題,首先爬蟲的需求越來越多,同時爬蟲需要的代碼基礎造成的專業性門檻讓我們覺得,是時候節省大家的時間集中在數據本身上了。
{悄悄說一句:歡迎來造數:造數 - 最好用的雲爬蟲工具
關於使用步驟,我在這裡寫了步驟:有免費的網路爬蟲軟體使用嗎? - 造小數的回答 - 知乎
易用到爆炸的使用體驗,就在造數 - 最好用的雲爬蟲工具。}目前的步驟還是相對簡單的,我們對列表的分析支持的很好,但是還需要更多大家的使用意見來完善我們對爬蟲應用場景的理解。
期待大家的酷想法。
有的,谷歌插件webscraper,不用寫代碼,可以抓取互聯網上大部分的信息。
可以看看下面這個評論。
想寫代碼,特別是爬蟲代碼,腫么辦? - 明白的回答 - https://www.zhihu.com/question/52037863/answer/281524191
應該看爬取的目標源吧 如還有就是成本問題。
有的,前嗅大數據公司的ForeSpider數據採集系統就是你所說的智能爬蟲,對於大多數網站來說都不需要寫代碼,可視化操作設定規則模板就可以採集。對於很複雜的網站,有內置的腳本語言系統,簡單幾行代碼就可以採集。同時還有智能的數據挖掘和文本識別功能。
http://import.io
沒有智能,智能也是預先定義好的。
可以看下 Http://www.NewCrawler.com 的視頻演示
發源地採集引擎就是標準化的爬蟲,無需寫代碼。http://www.finndy.com
推薦閱讀:
※哪個開發軟體可以寫python啊,VS可以么?
※想寫代碼,特別是爬蟲代碼,腫么辦?
※Python中用BeautifulSoup解析中文網頁里的中文都是亂碼,怎麼回事?
※python爬蟲模擬登入知乎後,獲取不到首頁內容?
※python中selenium下如何獲取網頁中對應標籤的文本信息?
TAG:爬蟲計算機網路 |