標籤：

入門 | 從文本處理到自動駕駛：機器學習最常用的50大免費數據集

08-04
入門 | 從文本處理到自動駕駛：機器學習最常用的50大免費數據集

來自專欄 FMI飛馬網5 人贊了文章

機器學習領域裡有哪些開放數據集？Gengo 近日發布了一份高質量免費數據集列表，其搜索範圍不僅包含內容廣泛（如 Kaggle），也包括高度特化的（如自動駕駛汽車專用數據集）數據集種類。

首先，在選擇數據集時要記住幾個重要標準：

  • 數據集不能是混亂的，因為你不希望花費大量時間整理數據。
  • 數據集不應該有過多的行或者列，這樣才能容易處理。
  • 數據越乾淨越好——清理大型數據集可能會非常耗時。
  • 該數據集可以用於回答一些有趣的問題。

這樣的話，讓我們看看能找到點什麼？

查找數據集

Kaggle：一個數據科學競賽網站，其中包含大量外部貢獻的有趣數據集。你可以在它長長的列表中（kaggle.com/datasets）找到各種小眾數據集，從拉麵的評分、籃球數據，到西雅圖的寵物牌照。

UCI Machine Learning Repository：它是網路中最古老的數據集源之一，是尋找各種有趣數據集的第一選擇。在這裡，儘管數據集都是用戶自行貢獻的，但清潔程度仍然很高。此外，你可以直接從 UCI Machine Learning Repository 上下載數據，無需註冊。

通用數據集

公共政府數據集

Data.gov：這個網站可以從多個美國政府機構下載數據，從政府預算到學校成績。不過要注意：其中的大部分數據需要進一步研究。

鏈接：data.gov/

Food Environment Atlas：包含有關本地食物選擇如何影響美國飲食習慣的數據。

鏈接：

catalog.data.gov/datase

School system finances：美國學校系統財務狀況調查。

鏈接：

catalog.data.gov/datase

Chronic disease data：美國各地慢性病指標數據。

鏈接：

catalog.data.gov/datase

The US National Center for Education Statistics：美國和世界各地教育機構和教育人口統計數據。

鏈接：nces.ed.gov/

The UK Data Centre：英國最大的社會、經濟和人口數據收集。

鏈接：ukdataservice.ac.uk/

Data USA：美國公共數據的全面可視化。

鏈接：datausa.io/

金融類

Quandl：很好的財經數據來源——有助於建立預測經濟指標或股票價格的模型。

鏈接：quandl.com/

World Bank Open Data：涵蓋人口統計和世界各地大量經濟和發展指標的數據集。

鏈接：data.worldbank.org/

IMF Data：國際貨幣基金組織公布有關國際金融、債務利率、外匯儲備、商品價格和投資的數據。

鏈接：imf.org/en/Data

Financial Times Market Data：世界金融市場的最新信息，包括股票價格指數、商品和外匯。

鏈接：markets.ft.com/data/

Google Trends：觀察和分析有關互聯網搜索活動和世界各地新聞故事趨勢的數據。

鏈接：

google.com/trends?

AmericanEconomic Association (AEA)：尋找美國宏觀經濟數據的來源。

鏈接：aeaweb.org/resources/da

機器學習數據集

圖像

Labelme：注釋圖像的大數據集。

鏈接：

labelme.csail.mit.edu/R

ImageNet：著名的 ImageNet，由斯坦福大學教授李飛飛等人發起，它是面向新演算法的真實圖像數據集。根據 WordNet 層次結構來組織，其中層次結構的每個節點都由成百上千個圖像來描述。

鏈接：image-net.org/

LSUN：場景理解和許多輔助任務（房間布局估計、顯著性預測等）。

鏈接：lsun.cs.princeton.edu/2

MS COCO：ImageNet 之外另一個常用的圖像數據集，包含通用圖像理解和注釋。

鏈接：cocodataset.org/

COIL100：100 個不同的物體在 360°旋轉中以每個角度成像。

鏈接：

www1.cs.columbia.edu/CA

Visual Genome：非常詳細的視覺知識庫，配有約 100K 個圖像的注釋。

鏈接：visualgenome.org/

Googles Open Images：Creative Commons 下的 900 萬個圖片的網址集合，「已經標註了跨越 6000 多個類別的標籤」。

鏈接：

research.googleblog.com

Labelled Faces in the Wild：13000 張貼有標籤的人臉圖像，用於開發涉及人臉識別的應用。

鏈接：vis-www.cs.umass.edu/lf

Stanford Dogs Dataset：包含 20580 個圖像和 120 個不同品種的狗類別。

鏈接：

vision.stanford.edu/adi

Indoor Scene Recognition：非常具體的數據集，適用於大多數場景識別模型，因為後者在「外部」表現更好。包含 67 個室內類別，總共 15620 個圖像。

鏈接：

web.mit.edu/torralba/ww

情感分析

Multidomain Sentiment analysis dataset：有點舊的一個數據集，以亞馬遜的產品評論為特色。

鏈接：

cs.jhu.edu/~mdredze/dat

IMDB reviews：用於二進位情感分類的較舊的、相對較小的數據集，具有 25000 個電影評論。

鏈接：

ai.stanford.edu/~amaas/

Stanford Sentiment Treebank：帶有情感注釋的標準情感數據集。

鏈接：

nlp.stanford.edu/sentim

Sentiment140：一個流行的數據集，使用 16 萬條預先刪除表情符號的推文

鏈接：help.sentiment140.com/f

Twitter US Airline Sentiment：2015 年 2 月以來美國航空公司的推特數據，分為正面、負面和中性。

鏈接：

kaggle.com/crowdflower/

自然語言處理

Enron Dataset：Enron 公司高層管理人員的電子郵件數據，整理成文件夾。

鏈接：cs.cmu.edu/~./enron/

Amazon Reviews：包含來自亞馬遜長達 18 年的約 3500 萬條評論。數據包括產品和用戶信息、評級和明文審查。

鏈接：snap.stanford.edu/data/

Google Books Ngrams：Google 書籍中的辭彙集合。

鏈接：

aws.amazon.com/cn/datas

Blogger Corpus：從 blogger . com 收集的 681288 篇博客文章。每個博客至少包含 200 個常用英語單詞。

鏈接：

u.cs.biu.ac.il/~koppel/

Wikipedia Links data：維基百科全文。數據集包含 400 多萬篇文章中的近 19 億字。你可以根據單詞、短語或段落本身的一部分進行搜索。

鏈接：code.google.com/p/wiki-

Gutenberg eBooks List：古騰堡計劃電子書注釋清單。

鏈接：

gutenberg.org/wiki/Gute

Hansards text chunks of Canadian Parliament：加拿大第 36 屆國會記錄 130 萬對文本。

鏈接：isi.edu/natural-languag

Jeopardy：機智問答節目 Jeopardy 中存檔的 20 多萬個問題。

鏈接：

reddit.com/r/datasets/c

SMS Spam Collection in English：由 5574 條英文簡訊垃圾郵件組成的數據集

鏈接：

dt.fee.unicamp.br/~tiag

Yelp Reviews：Yelp 發布的開放數據集包含 500 多萬條評論。

鏈接：yelp.com/dataset

UCIs Spambase：大型垃圾郵件數據集，可用於垃圾郵件過濾。

鏈接：

archive.ics.uci.edu/ml/

自動駕駛

Berkeley DeepDrive BDD100k：目前最大的自動駕駛人工智慧數據集。包含 100000 多段視頻，內容涉及一天中不同時間和天氣條件下 1100 多小時的駕駛體驗。注釋圖像來自紐約和舊金山地區。

鏈接：bdd-data.berkeley.edu/

Baidu Apolloscapes：百度 Apollo 計劃開放的大規模自動駕駛數據集。它定義了 26 個不同語義項目，如汽車、自行車、行人、建築物、路燈等。

鏈接：apolloscape.auto/

Comma.ai：7 小時以上的公路行駛體驗。詳細信息包括車速、加速度、轉向角和 GPS 坐標。

鏈接：archive.org/details/com

Oxfords Robotic Car：一年內在英國牛津同一條路線重複 100 多次的行駛。數據集捕捉天氣、交通和行人的不同組合，以及建築和道路工程等長期變化。

鏈接：robotcar-dataset.robots.ox.ac.uk

Cityscape Dataset：記錄 50 個不同城市街道場景的大型數據集。

鏈接：cityscapes-dataset.com/

CSSAD Dataset：該數據集可用於自主車輛的感知和導航。數據集在發達國家的道路上出現嚴重偏差。

鏈接：

aplicaciones.cimat.mx/P

KUL Belgium Traffic Sign Dataset：比利時佛蘭德區數以千計截然不同的超過 10000 個的交通標誌標註。

鏈接：

vision.ee.ethz.ch/~timo

MIT AGE Lab：在 AgeLab 收集的 1000 多個小時的多感測器驅動數據集樣本。

鏈接：lexfridman.com/carsync/

LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets：此數據集包括交通標誌、車輛檢測、交通燈和軌跡模式。

關注公眾賬號

【飛馬會】

▼

往期福利關注飛馬會公眾號，回復對應關鍵詞打包下載學習資料；回復「入群」，加入飛馬網AI、大數據、項目經理學習群，和優秀的人一起成長！

微軟大牛人工智慧系列課

（掃碼試聽或訂閱）

m.qlchat.com/live/chann (二維碼自動識別)

回復 數字「2」機器學習 & 數據科學必讀的經典書籍，內附資料包！

回復 數字「3」走進AI & ML：從基本的統計學到機器學習書單（附PDF下載）

回復 數字「12」小白| Python+Matlab+機器學習+深度神經網路+理論+實踐+視頻+課件+源碼，附下載！

回復 數字「13」大數據技術教程+書籍+Hadoop視頻+大數據研報+科普類書籍

回復 數字「14」小白| 機器學習和深度學習必讀書籍+機器學習實戰視頻/PPT+大數據分析書籍推薦！

回復 數字「16」100G Python從入門到精通！自學必備全套視頻教程+python經典書籍！

回復 數字「18」526份行業報告+白皮書：AI人工智慧、機器人、智能出行、智能家居、物聯網、VR/AR、 區塊鏈等（附下載）

回復 數字「19」800G人工智慧學習資料:AI電子書+Python語言入門+教程+機器學習等限時免費領取！

回復 數字「20」17張思維導圖，一網打盡機器學習統計基礎（附下載）

回復 數字「22」吳恩達新書，教你構建機器學習項目：《Machine Learning Yearning》

回復 數字「23」機器學習：怎樣才能做到從入門到不放棄？（內含福利）

回復 數字「24」限時下載 | 132G編程資料：Python、JAVA、C，C++、機器人編程、PLC，入門到精通~

回復 數字「25」限資源 | 177G Python/機器學習/深度學習/演算法/TensorFlow等視頻，涵蓋入門/中級/項目各階段！

回復 數字「27」資源 | 吳恩達斯坦福CS230深度學習課程全套資料放出（附下載）

回復 人工智慧下載《FMI人工智慧與大數據峰會嘉賓演講PPT》

回復 AI 江湖下載《十大AI江湖領域》

回復 ML實踐下載《機器學習實踐經驗指導（英文版）》

回復 DL論文下載《深度學習100篇以上論文資料》

回復 演算法 下載《數據挖掘十大經典演算法》

回復 6.10 下載《6.10餓了么&飛馬網項目管理實踐PPT》


推薦閱讀：

TAG:機器學習 | 數據挖掘 | 深度學習DeepLearning |