python寫爬蟲軟體能不能爬flash(.swf)?
12-29
這個網站http://www.semc.com.cn/aqi/flexline/chart_station01.swf?V=1的信息對我們非常有用,但是該網站上的數據只能實時看,不能下載,能不能用Python寫一個爬蟲軟體將該網站上的實時數據定時下載下來,以便以後分析利用
Flash裡面顯示的數據都是從其他地址介面抓的,你打開Firebug,再開Flash的網頁,就會看到有來自Flash的HTTP請求,然後抓那個
瀉藥,沒爬過flash,推測跟圖片一樣吧,找對應鏈接獲取content然後保存為二進位相應格式的文件
首頁和發布出來的數據是常規的發布數據,可以些爬蟲抓取解析保存到本地。
你給的那個頁面,裡頭的數據圖表是用 Flash 來展示的,這塊沒弄過,不知道在爬取的時候應該怎麼解析數據。
抓包觀察flash的http請求
如果flash是通過http和後端通信的話,就可以,如果不是http而是TCP的話,就不好抓了。同意靈劍的說法,不過我習慣用chrome瀏覽器抓HTTP請求,你可以先學習下怎麼用chrome的「開發者工具」,很方便
此為Flash文件,如需swf中數據 需要反編譯該Flash進行協議分析 或者抓包 對協議進行交互數據 與爬蟲無太大相關性吧。
能,這個就是正常的爬蟲的範圍吧。
沒有什麼特殊的。
推薦閱讀:
※怎樣區分百兆網線和千兆網線?
※入戶光纖放上PoE供電交換機,下端再放上不支持PoE供電的交換機,可以供電嗎?
※VLAN 劃分與子網劃分聯繫與區別?
※如何看待 10 月 21 日 美國遭到大規模 DDoS 攻擊並導致美國部分地區暫時「斷網」的事件?
※烏雲裡面的大神們用的都有哪些工具?
TAG:Python | 黑客Hacker | 計算機網路 | AdobeFlash | Flash開發 |