數據資源獲取方式匯總一下？在哪找數據/數據交易平台/數據api介面？

01-01

找數據的方法/數據交易平台/數據api介面

最近寫了篇文章，正好回答你的問題

補充兩句放在這裡和大家交流，也歡迎引用

首先說一下，大數據這個概念不出意外的話會逐漸落地，找數據也應該會越來越容易，我匯總一下目前常用的手段，有更新之後抽空再補充。

總體來說英文數據（西方世界為主）還是更容易找，一方面是幾個世界性組織提供大量的公開源數據，下面會提到，另一方面大數據這個領域還是要比國內領先幾年，相對也更開放一點。但就目前來看，不管國內國外，大量獲取數據還是沒有特別理想的渠道。否則也用不著總結了。

下面說說，以國內為主，關注國外的可以quora和google再找找

統計數據

1.國家統計局（主要在「國家數據」網站上）

數據範圍涵蓋各行各業，時間跨度也較大，可下載為各種常見格式 csv,xls,xml,pdf等等

以統計數據為主，但在國內極具說服力，是根紅苗正的官方數據

2.政府各部門

政府網站通常有統計數據，但不同部門數據量有多有少，目前為止數據並不算深入，但隨著數據開放政策的深入，相信政府網站會成為很好的數據源。部門列表可以在中國政府網找

3.諮詢公司

諮詢公司其實和大數據血緣很近，一直以來積累的可觀的數據。諮詢、金融、市場調研公司，尤其是業內頂尖的，通常有自己的資料庫，部分數據可直接聯繫對方購買

4.行業協會

行業協會擁有大量的數據，但一般不公開，需要申請或購買

5.年鑒

大部分主要行業都有自己的年鑒，數據比較寶貴，只是給機器用之前還需要處理；價值高的年鑒通常需要付費獲取；這裡推薦一下人大經濟論壇，氛圍較好

各行業數據

* 由於工作需要到處搜羅數據，總結了以下的渠道，但畢竟個人精力有限，不能深入每一個領域，希望其他同志補充和批評
* 行業數據均可以在相應的政府主管部門網站上找，大多有統計數據，量大量少不一定

【財經數據】

1.經濟資料庫：CEIC、國泰安、銳思、資訊行（均需付費，部分數據提供下載）

2.監管部門網站：證監會、銀監會、上交所、深交所、巨潮、股轉系統、大商所、鄭商所（有免費數據）

3.金融市場網站：中國貨幣網、中國債券信息網、上海期貨交易所、上海黃金交易所

4.財經終端：不少免費版的財經/股票終端都可以導出數據，屬優質數據源；這類企業都有優質數據，但是否出售不一定，且價格不菲

5.門戶網站：如新浪財經可以下載大量的證券數據（免費）

6.通聯：提供大量財經api介面，覆蓋面較廣

7.量化交易平台：近幾年新興的技術產品，可以在這類平台上獲取大量歷史數據

8.投融資：IT桔子、清科資料庫

9.國外資源：WITS,WORLD BANK,IMF,YAHOO,Quandl（大量財經api介面，可導出各種格式）等，這類國際性機構（除最後兩個）數據免費公開

【第一第二產業】

1.農業數據：目前以統計數據為主，行業門戶網站和細分領域網站的數據通常無法直接調用，只能在線瀏覽（其中，中華糧網較有代表性）

2.農業數據提供商：如艾格農業、布瑞克，但目前數據的總體質量達不到預期（至少表面是這樣，由於沒有購買過人家的數據，不敢妄下定論）

3.工業數據：類似農業數據，也只有少數數據商，典型如鋼聯、煤炭資源網等

* 總而言之，傳統領域的數據，隨著物聯網技術的發展，獲取難度會降低、應用價值將提高，預計在未來會有不錯的上升空間，採集和獲取都會更容易

【貿易數據】

1.海關總署以及相關/下屬網站（包括但不限於：海關統計資訊網、海關信息網）都有不少數據，部分免費、部分可下載（商務部網站的大量數據目前不能下載，有點可惜，但估計也快鬆口了）

2.綜合性網站：慧聰、卓創資訊，免費瀏覽，付費沒試過，但以他們的資訊量來說數據也少不了

3.數據商：可以在百度和上面提到的數據平台上找到不少這類的數據撮合商（經驗是，高質量的數據需要付費獲取）

4.國外數據：WTO,UN COMTRADE有大量高質量的數據可免費使用（英文）

【其他傳統行業】

1.地產數據：CRIC、中指是主要信息商，有少數的門戶網站有可下載的地產數據

2.物流運輸：快遞行業得益於電商的帶動，有不少API介面，百度上一搜一片，但大部分屬於業務性質的應用，並非典型的數據資源；不過目前包括交通運輸部、海事局在內的網站，都找不到太有價值的交通、物流數據

3.地圖/地理數據：網上可以找到很多地圖api介面（知名的如百度、高德、騰訊），但地圖信息商並不多（典型如四維圖新、中科宇圖等）

4.吃穿住行：此類數據主要出現在上面提到的api介面平台（旅遊、天氣、交通、住宿等）；UGC數據是其中的亮點，但出於商業原因此類數據很難直接購買（爬蟲另說）

【互聯網企業】

由於行業的天然屬性，IT企業都較重視自身的數據，因此在公開源很難找到相關的數據源，大部分知名企業選擇以api介面的形式（或營銷行業的DMP）供外部合作夥伴調用自身的數據，例如淘寶api、攜程api、豆瓣api等

【科研數據】

這部分內容會在未來再單寫一篇；目前相對活躍的數據有：遙感數據（已經有中國資源衛星應用中心、遙感集市、地理空間數據云等平台撮合交易）、地理數據（上面提到過），其他的科研數據筆者關注過的並不多，沒有見到相關的數據集散地（作者的水平還夠不著科學圈，勿噴）

數據交易平台

這部分內容參考了「北京秋」的文章「走馬觀花：國內各路大數據交易平台現狀，已和作者聯繫，在此鳴謝，內容上不做過多發揮

【政府牽頭】

1.地區性數據交易平台：貴州、上海、北京、江蘇、武漢、哈爾濱、海南等

2.模式：部分採用會員制，提供交易的場所以及必要的技術支持，收取交易費；部分僅提供在線交易平台

3.特點：享有龐大的政府數據資源，並且聯合各行業的龍頭企業

【API平台】

1.列表：apistore、京東萬象、聚合、阿凡達、showapi、haoservice、極速數據、apix、通聯數據商城

2.模式：按調用量收費

3.特點：即時性很好，質量相對有保障，並且可以更大程度保護數據所有者的權益

【淘寶模式】

1.列表：數糧、數據寶

2.模式：數據商入駐，創造良好的交易環境、鼓勵交易

3.特點：數據範圍較廣、態度開放，比起到處搜羅數據方便很多，有潛力進一步發展

【數據包定製/下載】

1.列表：數多多、大海洋、發源地

2.模式：以數據下載和定製為主

3.特點：有一定的固定用戶不斷提供新鮮數據，可以定製採集

【其他】

1.列表：數據堂、優易數據、數據淘

2.特點：目前的數據平台（包括未列舉的和不斷出現的新興平台）都比較有自己的特點，希望這些平台能夠共同推動數據市場的成熟

說幾個國外的：

大名鼎鼎的Data.gov，可以找到米國的大量公開數據，能下載為各種格式，國內很多地方都在仿

Knoema 世界和地區統計資料，各國數據，地圖，排名，一個用著很有趣的網站，全球宏觀數據的可視化展示，主題非常豐富，很有價值
Amazon AWS AWS公用數據集，有一些數據集，並不算豐富，不符合亞馬遜的身份，但需要數據的時候也可以看看
Quandl Quandl Financial and Economic Data，全球的金融類數據，大部分都有api介面直接調用，但收費
Factual Factual
|
Home，「The best location data for Mobile Advertising, Developers, and Enterprise solutions」