怎麼免費從網上獲取需要的數據?
我最常用的從網上獲取數據的方法有兩種,一是下載公開數據,可以從政府、企業、統計局等機構去下載公開數據。二是通過Python編寫網頁爬蟲,收集互聯網的數據。比如我就抓取過:知乎粉絲過萬所有用戶,咪蒙的211 萬的新浪微博粉絲信息,豆瓣8分以上的書籍以及網易雲音樂歌單排行榜等等。
雖然我平常撰寫數據分析報告大部分都是自己寫代碼抓取的,但我也有在網上下載過公開數據。這裡我分享幾個免費可獲取數據來源。當然,如果是程序員的話,也可以學習怎麼自己抓取數據,畢竟這樣獲取數據更靈活。
1.國家數據
這個資料庫信息內容涵蓋範圍全面、詳實,並且有些數據已經做好了可視化,所以具有很高的實用性;基本只要和國情相關的信息都會在裡邊發布;比如地區房價、工業、能源、居民消費總額、房地產投資甚至食品的平均價格。
國家統計資料庫包括歷年月、季、年度數據,可通過資料庫「搜索」、選擇「指標」等方式,方便快捷地查詢到歷年、分地區、分專業的數據。是公眾快速查閱統計指標及系列數據的最便捷方法。
2.中華人民共和國國家統計局
這個網站的信息是比較宏觀的,國家統計局一般只發布全國和分省的宏觀統計數據。但如果想獲取市級、地級信息,也可以底部的友情鏈接中獲取。
3.艾瑞諮詢
是比較權威的互聯網數據諮詢集團,主要針對互聯網市場。數據更新比較及時,也很清晰,並且根據數據發表研究報告。
4.CEIC
主要涉及和經濟相關信息,最大的優點就是不止可以查中國國內數據,還涉及許多其他國家,缺點就是部分免費。
仁兄,有幫助就留個讚唄~~~
如果你會爬蟲等數據處理技術,那可以通過該項技術從網站下載到一手大數據,如各類app用戶的部分信息數據及其對產品的評論等等。一般經濟環境類數據可以通過如下渠道下載:
第一,知網統計年鑒。其中包含了全國各類統計年鑒和地區統計年鑒,年份都比較長。http://tongji.cnki.net/kns55/Navi/NaviDefault.aspx?uid=WEEvREcwSlJHSldRa1FhcEE0NXh1TENEUTIwejRqcnVWMldyQVVSaGFJZz0=$9A4hF_YAuvQ5obgVAqNKPCYcEjKensW4ggI8Fm4gTkoUKaID8j8gFw!! 不過有的學校沒有購買知網使用權,可能不能下載。這種情況可以到淘寶買賬號。
第二,國家和地區統計局官網。這裡面的數據往往都是免費的。以國家統計局為例,官網為http://www.stats.gov.cn/,只需要註冊賬號就可以免費下載數據。
第三,人大經濟論壇,http://bbs.pinggu.org/。這個平台有很多人共享他們已經整理好的各類數據。不過有些好的數據資源都要論壇幣才能下載。如果缺少幣的話可以諮詢共享人是否可以免費共享或者按照平台所說的方法賺取論壇幣。
第四,數據圈,http://www.shujuquan.com/。這個平台類似於人大經濟論壇。
第五,最近比較火的環境污染數據可以從網站:http://beijingair.sinaapp.com/下載,能下載到各個監測站點的小時數據。
第六,氣候數據可以從網站:http://data.cma.cn/data/index/6d1b5efbdcbf9a58.html下載,需要申請並通過審核。
第七,各個國家的經濟社會發展等數據可以從世界銀行的官方網站https://data.worldbank.org.cn/和UNCTAD的官方網站http://unctad.org/en/Pages/Statistics.aspx和UN Comtrade的官方網站https://comtrade.un.org/等等下載到。
第八,中國互聯網數據平台:http://www.cnidp.cn/,將提供一些互聯網發展數據,需要申請並通過審核。
第九,中國健康與養老追蹤調查(China Health and Retirement Longitudinal Study, CHARLS),http://charls.pku.edu.cn/zh-CN,將提供中國45歲及以上中老年人家庭和個人的高質量微觀數據,需要申請並通過審核。
第十,部分博士和碩士論文中會提供一些數據。
希望對大家有用~
推薦閱讀:
※「諾獎風向標」拉斯克獎揭曉,4位科學家獲獎
※呵呵,為什麼表情包里的微笑如此瘮人?
※是純粹的藝術,還是偉大的科學?西方繪畫史上的那些秘密
※就在今晚7:30線上講座:科學規範的跑前熱身究竟如何做?
※科學家建立一種新的離子通道藥物篩選方法