數據資源獲取方式匯總一下?在哪找數據/數據交易平台/數據api介面?
找數據的方法/數據交易平台/數據api介面
最近寫了篇文章,正好回答你的問題
補充兩句放在這裡和大家交流,也歡迎引用首先說一下,大數據這個概念不出意外的話會逐漸落地,找數據也應該會越來越容易,我匯總一下目前常用的手段,有更新之後抽空再補充。
總體來說英文數據(西方世界為主)還是更容易找,一方面是幾個世界性組織提供大量的公開源數據,下面會提到,另一方面大數據這個領域還是要比國內領先幾年,相對也更開放一點。但就目前來看,不管國內國外,大量獲取數據還是沒有特別理想的渠道。否則也用不著總結了。
下面說說,以國內為主,關注國外的可以quora和google再找找
統計數據
1.國家統計局(主要在「國家數據」網站上)
數據範圍涵蓋各行各業,時間跨度也較大,可下載為各種常見格式 csv,xls,xml,pdf等等以統計數據為主,但在國內極具說服力,是根紅苗正的官方數據2.政府各部門
政府網站通常有統計數據,但不同部門數據量有多有少,目前為止數據並不算深入,但隨著數據開放政策的深入,相信政府網站會成為很好的數據源。部門列表可以在中國政府網找3.諮詢公司諮詢公司其實和大數據血緣很近,一直以來積累的可觀的數據。諮詢、金融、市場調研公司,尤其是業內頂尖的,通常有自己的資料庫,部分數據可直接聯繫對方購買
4.行業協會行業協會擁有大量的數據,但一般不公開,需要申請或購買5.年鑒大部分主要行業都有自己的年鑒,數據比較寶貴,只是給機器用之前還需要處理;價值高的年鑒通常需要付費獲取;這裡推薦一下人大經濟論壇,氛圍較好各行業數據
* 由於工作需要到處搜羅數據,總結了以下的渠道,但畢竟個人精力有限,不能深入每一個領域,希望其他同志補充和批評* 行業數據均可以在相應的政府主管部門網站上找,大多有統計數據,量大量少不一定【財經數據】
1.經濟資料庫:CEIC、國泰安、銳思、資訊行(均需付費,部分數據提供下載)2.監管部門網站:證監會、銀監會、上交所、深交所、巨潮、股轉系統、大商所、鄭商所(有免費數據)3.金融市場網站:中國貨幣網、中國債券信息網、上海期貨交易所、上海黃金交易所4.財經終端:不少免費版的財經/股票終端都可以導出數據,屬優質數據源;這類企業都有優質數據,但是否出售不一定,且價格不菲5.門戶網站:如新浪財經可以下載大量的證券數據(免費)6.通聯:提供大量財經api介面,覆蓋面較廣7.量化交易平台:近幾年新興的技術產品,可以在這類平台上獲取大量歷史數據8.投融資:IT桔子、清科資料庫9.國外資源:WITS,WORLD BANK,IMF,YAHOO,Quandl(大量財經api介面,可導出各種格式)等,這類國際性機構(除最後兩個)數據免費公開【第一第二產業】
1.農業數據:目前以統計數據為主,行業門戶網站和細分領域網站的數據通常無法直接調用,只能在線瀏覽(其中,中華糧網較有代表性)2.農業數據提供商:如艾格農業、布瑞克,但目前數據的總體質量達不到預期(至少表面是這樣,由於沒有購買過人家的數據,不敢妄下定論)3.工業數據:類似農業數據,也只有少數數據商,典型如鋼聯、煤炭資源網等* 總而言之,傳統領域的數據,隨著物聯網技術的發展,獲取難度會降低、應用價值將提高,預計在未來會有不錯的上升空間,採集和獲取都會更容易【貿易數據】
1.海關總署以及相關/下屬網站(包括但不限於:海關統計資訊網、海關信息網)都有不少數據,部分免費、部分可下載(商務部網站的大量數據目前不能下載,有點可惜,但估計也快鬆口了)2.綜合性網站:慧聰、卓創資訊,免費瀏覽,付費沒試過,但以他們的資訊量來說數據也少不了
3.數據商:可以在百度和上面提到的數據平台上找到不少這類的數據撮合商(經驗是,高質量的數據需要付費獲取)
4.國外數據:WTO,UN COMTRADE有大量高質量的數據可免費使用(英文)【其他傳統行業】
1.地產數據:CRIC、中指是主要信息商,有少數的門戶網站有可下載的地產數據2.物流運輸:快遞行業得益於電商的帶動,有不少API介面,百度上一搜一片,但大部分屬於業務性質的應用,並非典型的數據資源;不過目前包括交通運輸部、海事局在內的網站,都找不到太有價值的交通、物流數據3.地圖/地理數據:網上可以找到很多地圖api介面(知名的如百度、高德、騰訊),但地圖信息商並不多(典型如四維圖新、中科宇圖等)4.吃穿住行:此類數據主要出現在上面提到的api介面平台(旅遊、天氣、交通、住宿等);UGC數據是其中的亮點,但出於商業原因此類數據很難直接購買(爬蟲另說)【互聯網企業】
由於行業的天然屬性,IT企業都較重視自身的數據,因此在公開源很難找到相關的數據源,大部分知名企業選擇以api介面的形式(或營銷行業的DMP)供外部合作夥伴調用自身的數據,例如淘寶api、攜程api、豆瓣api等【科研數據】
這部分內容會在未來再單寫一篇;目前相對活躍的數據有:遙感數據(已經有中國資源衛星應用中心、遙感集市、地理空間數據云等平台撮合交易)、地理數據(上面提到過),其他的科研數據筆者關注過的並不多,沒有見到相關的數據集散地(作者的水平還夠不著科學圈,勿噴)數據交易平台
這部分內容參考了「北京秋」的文章「走馬觀花:國內各路大數據交易平台現狀,已和作者聯繫,在此鳴謝,內容上不做過多發揮【政府牽頭】
1.地區性數據交易平台:貴州、上海、北京、江蘇、武漢、哈爾濱、海南等2.模式:部分採用會員制,提供交易的場所以及必要的技術支持,收取交易費;部分僅提供在線交易平台3.特點:享有龐大的政府數據資源,並且聯合各行業的龍頭企業【API平台】
1.列表:apistore、京東萬象、聚合、阿凡達、showapi、haoservice、極速數據、apix、通聯數據商城2.模式:按調用量收費3.特點:即時性很好,質量相對有保障,並且可以更大程度保護數據所有者的權益
【淘寶模式】
1.列表:數糧、數據寶2.模式:數據商入駐,創造良好的交易環境、鼓勵交易3.特點:數據範圍較廣、態度開放,比起到處搜羅數據方便很多,有潛力進一步發展【數據包定製/下載】
1.列表:數多多、大海洋、發源地2.模式:以數據下載和定製為主3.特點:有一定的固定用戶不斷提供新鮮數據,可以定製採集【其他】1.列表:數據堂、優易數據、數據淘
2.特點:目前的數據平台(包括未列舉的和不斷出現的新興平台)都比較有自己的特點,希望這些平台能夠共同推動數據市場的成熟說幾個國外的:
- 大名鼎鼎的Data.gov,可以找到米國的大量公開數據,能下載為各種格式,國內很多地方都在仿
- Knoema 世界和地區統計資料,各國數據,地圖,排名,一個用著很有趣的網站,全球宏觀數據的可視化展示,主題非常豐富,很有價值
- Amazon AWS AWS公用數據集,有一些數據集,並不算豐富,不符合亞馬遜的身份,但需要數據的時候也可以看看
- Quandl Quandl Financial and Economic Data,全球的金融類數據,大部分都有api介面直接調用,但收費
- Factual Factual
|
Home,「The best location data for Mobile Advertising, Developers, and Enterprise solutions」
樓上的回答都挺好的,我再添把火補充一下~
1.阿里雲 雲市場
阿里的數據平台本質就是電子商務服務,再加上和阿里雲掛靠,所以優勢挺大的。看這個年終大促,很有阿里的風格。截至2016年底有400的數據資源,api佔大多數,主要是由一些api介面的售賣商提供,應該說質量相對有保證,給了開發者一個不錯的介面平台,精品路線。
2.數糧
現在市面上有不少數據資源平台,單提出這個是因為特點鮮明。這個demo站在數據資源的收集上能看出下了不少功夫,基本覆蓋了常見的行業,除了api介面之外還包含可下載的數據包,對於找數據資源的人是個福利,目測有3000的數據。亮點是有不少免費資源,缺點是demo版技術不細膩。
3.貴陽大數據交易所
搞數據的同志這個平台也繞不開,雖然未必會直接參与進去,但或早或晚肯定會聽說。先不論實際操作中的效果,政府牽頭做這種旗幟性動作對於整個行業是個利好,值得表揚。披露的交易數據比較好看(可信度未知),但由於並沒有掌握直接的一手資料,這裡也不便評論。
國際航運市場,船舶買賣租賃拆裝行情,船東信息船廠信息,都在Clarkson Research Shipping intelligence network。
最近使用的錢塘數據也不錯,比較看好數據商城和數據定製模塊。支持支付寶購買和懸賞定製,模式比較靈活。希望能幫到你
天元數據網,目前國內最大的數據交易網站,國內還有很多不錯的網站在慢慢發展了
推薦一個老牌的數據服務商,https://www.nowapi.com/api 有手機號碼歸屬 、ip地址歸屬、天氣預報、股票指數、股票行情等等;總的來說提供的數據介面種類不多,但都很穩定,幾乎全部都有免費版本(並且可以免費續約),值得一試。
天元數據網,擁有國家大數據流通與交易技術實驗室,一部分已經在發布,國內做的比較實的
API介面平台有很多的,比如:
1. 阿里雲數據市場:API_API介面平台_API數據【最新】_API介面大全_API認證 - 阿里雲
2. 百度的API Store_為開發者提供最全面的API服務
3. 聚合數據 API數據介面_開發者數據定製_免費數據調用-聚合數據
4. 極速數據 API介面_數據介面平台_免費數據大全 - 極速數據
另外,如果你只是需要快遞查詢的API介面,可以用這個API 調用說明 - TrackingMore介面文檔,支持4百多家快遞,挺全的。
推薦一個自己用過的感覺很不錯,API數據介面_免費數據調用介面-haoservice數據
你好,我們是做api數據介面的數據公司,介面全面靈活,數據穩定,價格合理,請問有需要嗎?
你可以看看中國數據寶 資源齊全 價格優惠 還有政府背景
我倒是可以提供許多類的API介面,不知道樓主現在有沒有這個需求
推薦幾個渠道:1.文庫:百度文庫、豆丁網,找好了關鍵詞還是能搜出不少料2.學術搜索:百度學術、谷歌學術,文獻和學術資源的強大信息資源庫,最好的圖書館3.合作:企業巨頭在國內擁有巨大的數據金礦,尤其是BAT、電信運營商、金融機構,不少數據需求方委身下嫁,求得了不錯的數據資源,百度大數據+就比較典型4.政府部門:政府網站一般都有個叫做「依申請公開」的板塊,可以在線申請,但是沒有親測過效果,不好評價5.數據交易平台:新興的事物,預計未來會發展成為數據流通的主要渠道,上面的答案已經提到,不多說了
推薦閱讀:
※如何讓excel的多個文件里的數據自動篩選對比形成一個固定格式的報表?
※年輕家庭適合去南京、上海還是蘇州打拚生活?
※1mb(毫比特)的數據有多大?
※在處理時間序列數據的時候有哪些大幅提高效率的方法或技術?
※有哪些比較好的做異常值檢測的方法?
TAG:數據 |