新浪微博數據抓取方法有哪些？
就個人所了解的，抓取新浪微博的數據有兩種方法。一是通過解析微博頁面獲得新浪微博的數據。二是通過創建一個應用，獲取APP Key和APP Secret，獲得用戶授權的access token，利用新浪微博官方API獲取數據。第二種方法需要回調地址，需要應用有實際的伺服器支持。這對個人想抓取數據並不簡單。我想問一下除了這兩種方法以外有沒有其他抓取新浪微博數據的方法。另外，ROST 微博數據抓取工具(Rost Data Snag Tool 0.91版) 這個軟體是通過哪一種方法獲取的，它只需要你登陸到微博就可以抓取數據。該軟體來自武大瀋陽的團隊。
很多爬蟲容易被ban，分享一個我們自用的
不懂技術也可以使用，非常容易上手
下載地址http://d.shop123.io/tongyong/caijiqi.zip
第二種是可以的，拿R可以實現，這個回調地址寫127.0.0.1 就可以。 你可以搜索下，有成功的例子你可以看看。
直接用爬蟲軟體採集就好，可以去集搜客官網看看，官網資源就有微博的數據抓取規則，基本上包含了所有可採的微博數據。
最近集搜客推出了微博抓取小工具，登錄微博，輸入微博鏈接，調用爬蟲就可以直接抓取微博上的數據了，真的特別簡單，感興趣的可以試試，微博數據採集工具
軟文啊
分享下我之前抓取的微博數據吧：
- 抓取了2億的微博用戶數據
- 抓取了微博頭部用戶（大v）的粉絲（不限於展示的前5頁數據）
- 微博內容，因為實在太多，以及質量考慮，就抓取了幾十W大V的微博內容
當然，這麼大數據量，肯定是要通過寫代碼抓取，另外+IP資源。
一般用戶的話，建議使用我開發的爬山虎採集器來抓取。通過一鍵採集、自動分析分頁的智能演算法，0基礎技術的用戶也都可以輕鬆上手。
首頁有演示視頻可以看到採集效果
身為技術 如果排除掉作者所說的那兩種方式，外加上各種工具之類的，那就只能另闢蹊徑了。不知道你們有沒有在使用百度搜索的時候 會發現微博的信息，這個時候給你一個提示了。如果你有用過新浪新聞APP的話 有沒有發現裡面也有微博的內容信息 這個時候是第二個提示了。最後如果不想這麼麻煩 找我唄就。哈哈。補充下 這兩種方式全部都是以搜索詞來進行抓取的 抓取一篇文章 然後分詞 繼續抓取 從而 無終結。
推薦一個免費的數據採集器，爬一爬，http://www.pa1pa.com 簡單易用，是一個chrome的插件，支持跨平台使用。支持js非同步載入，翻頁等操作，數據可以直接通過excel下載。
可以去看看蜘了，很專業的數據抓取團隊，數據保證質量，保證實時性。而且他們是提供專業的定製化服務而不是賣抓取軟體。可以去看看，總沒錯的，他們的網址是http://w1.zmatrix.cn
我們公司有豐富的微博數據採集經驗，可以提供微博各種採集介面，有需求的可以聯繫我微信fmxslywp
全是廣告啊~
如果需要採集全量的微博數據的話,可以聯繫我們. 日採集幾千萬條. QQ 1382452
有在線系統可以做數據測試
怎麼沒人說八爪魚，不是也可以爬微博數據嗎，規則簡單，就算是小白學兩天就會了吧
我用的是集搜客現成的微博採集工具 不過因為微博的限制 熱門微博的評論不能全部查看 所以就不能全部都採下來
既然滿滿都是廣告..我只能說點乾貨了，微博抓取最好是自己寫代碼，或者找成熟的公司定製，靠現成的軟體夠嗆。基本分為登錄，訪問抓取，存儲分析這三步。除此之外，多線程，防爬蟲，漢字亂碼處理都他么是坑..最後硬廣，淘寶店鋪 數據大爆炸。靠譜！
新浪微博的數據抓取，我研究過，需要定製化數據的可以聯繫我
xchaoinfo@qq.com
神箭手提供專業的微博內容批量採集方案，可自動切換代理ip和識別驗證碼，同時可以選擇根據關鍵字、昵稱或用戶ID來爬取相關微博，爬取速度很快：http://www.shenjianshou.cn/index.php?r=market/productproduct_id=500032
找了很久了，gooseek非常好
集搜客很好用啊 簡單粗暴 小白也不怕
技術派啊
有做社交數據分析的嘛 一起創業啦
我用的是gooskeer 感覺還可以吧 可以下載規則
火狐自帶的集搜客
第二種方法可行。關於回調地址，那個是URL跳轉，並不一定非得有伺服器支持，只要其回調地址你本地可解析即可。你設置回調地址為http://127.0.0.1也是可以的。
推薦閱讀：