標籤：

機器視覺、機器學習及相關從業人員每天必看的站點有哪些？

01-25

比如arXiv的https://arxiv.org/list/cs.CV/pastweek?skip=0show=100

arXiv、圈裡人的Twitter/Facebook、相關Feed精選……

有興趣不妨看看我的微博 愛可可-愛生活 http://weibo.com/fly51fly ，聚焦機器學習與數據科學，內容包括論文選薦、網文推薦和開源發現等…… 無他，興趣所致，為大家提供一小塊墊腳磚而已

給親推薦下各類機器學習問題的最優結果合集！附論文及實現地址索引！

該 GitHub 庫提供了所有機器學習問題的當前最優結果，並盡最大努力保證該庫是最新的。如果你發現某個問題的當前最優結果已過時或丟失，請作為問題提出來（附帶：論文名稱、數據集、指標、源代碼、年份），我們會立即更正。

這是為所有類型的機器學習問題尋找當前最優結果的一次嘗試。我們都無法獨自完成，因此希望每一位讀者參與進來。如果你發現了一個數據集的當前最優結果，請提交並更新該 GitHub 項目。

監督學習

一、NLP

1、語言建模

以下展示了語言建模方面當前頂尖的研究成果及它們在不同數據集上的性能。

論文：DYNAMIC EVALUATION OF NEURAL SEQUENCE MODELS

論文地址：https://arxiv.org/pdf/1709.07432.pdf

實現地址：https://github.com/benkrause/dynamic-evaluation

論文：Regularizing and Optimizing LSTM Language Models

論文地址：https://arxiv.org/pdf/1708.02182.pdf

實現地址：https://github.com/salesforce/awd-lstm-lm

論文：FRATERNAL DROPOUT

論文地址：https://arxiv.org/pdf/1711.00066.pdf

實現地址：https://github.com/kondiz/fraternal-dropout

論文：Factorization tricks for LSTM networks

論文地址：https://arxiv.org/pdf/1703.10722.pdf

實現地址：https://github.com/okuchaiev/f-lm

在語言建模（Language Modelling）的四個頂尖研究成果中，我們看到 Yoshua Bengio 等人的研究 FRATERNAL DROPOUT 在 PTB 和 WikiText-2 數據集上都實現了當前最好的結果。在該篇論文中，Bengio 等人提出了一項叫做 fraternal dropout 的技術，他們首先用不同的 dropout mask 對兩個一樣的 RNN（參數共享）進行訓練，並最小化它們 (pre-softmax) 預測的差異。這樣正則項會促進 RNN 的表徵對 dropout mask 具有不變性。Bengio 等人證明了他們的正則項上界為線性期望的 droupout 目標，即可以解決 droupout 因訓練和推斷階段上出現的差異而導致的 Gap。

此外，Ben Krause 等人提出使用動態評估來提升神經序列模型的性能。Salesforce 的 Stephen Merity 等人提交的論文 LSTM 語言模型中的正則化和最優化從詞層面的語言建模和調查基於 LSTM 模型中的正則化和最優化等具體問題出發研究更高效的語言建模方法。英偉達的 Oleksii Kuchaiev 等人提出了兩個帶映射的 LSTM 修正單元（LSTMP），並藉此減少參數的數量和提升訓練的速度。

2、機器翻譯

論文地址：https://arxiv.org/abs/1706.03762

實現地址：https://github.com/jadore801120/attention-is-all-you-need-pytorch、https://github.com/tensorflow/tensor2tensor

論文：NON-AUTOREGRESSIVE NEURAL MACHINE TRANSLATION

論文地址：https://einstein.ai/static/images/pages/research/non-autoregressive-neural-mt.pdf

實現地址：未公布

在機器翻譯上，我們比較熟悉的就是谷歌大腦 Ashish Vaswani 等人關於注意力機制的研究，該模型在 WMT 2014 英法和英德數據集上都有十分不錯的表現。該研究表明在編碼器-解碼器配置中，顯性序列顯性轉導模型（dominant sequence transduction model）基於複雜的 RNN 或 CNN。表現最佳的模型也需通過注意力機制（attention mechanism）連接編碼器和解碼器。因此谷歌在該篇論文中提出了一種新型的簡單網路架構——Transformer，它完全基於注意力機制，徹底放棄了循環和卷積。上圖兩項機器翻譯任務的實驗也表明這些模型的翻譯質量不僅十分優秀，同時它們更能並行處理，因此這種模型所需的訓練時間也能大大減少。這篇論文表明 Transformer 在其他任務上也泛化很好，能成功應用到有大量訓練數據和有限訓練數據的英語組別分析任務上。

除了這篇論文，Salesforce 和香港大學等研究者提出了能避免自回歸（autoregressive）屬性和並行產生輸出的模型，這種模型在推斷時能減少數個量級的延遲。該論文通過三個層面的訓練策略展示了在 IWSLT 2016 英語-德語數據集上產生的大量性能提升，並且在 WMT2016 英語-羅馬尼亞語上獲得了當前頂尖的效果。

3、文本分類

論文：Learning Structured Text Representations

論文地址：https://arxiv.org/abs/1705.09207

實現地址：未公布

論文：Attentive Convolution

論文地址：https://arxiv.org/pdf/1710.00519.pdf

實現地址：未公布

愛丁堡大學的 Yang Liu 等人提出了學習結構化的文本表徵，在這篇論文中，他們關注於在沒有語篇解析或額外的標註資源下從數據中學習結構化的文本表徵。雖然目前暫時還沒有相應的實現代碼，不過他們在 Yelp 數據集上準確度能達到 68.6。而另一篇帶注意力的卷積提出了了一種 AttentiveConvNet，它通過卷積操作擴展了文本處理的視野。

4、自然語言推理

論文：DiSAN: Directional Self-Attention Network for RNN/CNN-free Language Understanding

論文地址：https://arxiv.org/pdf/1709.04696.pdf

實現地址：未公布

悉尼科技大學和華盛頓大學的研究者提出了 DiSAN，即一種為 RNN/CNN-free 語言理解的定向自注意力網路。該研究提出了一種新穎的注意力機制，即輸入序列中每個元素之間的注意力是定向和多維的，這是一種對應特徵相連接的注意力。該研究在斯坦福自然語言推理（SNLI）數據集上獲得了 51.72% 的準確度。

5、問答

論文：Interactive AoA Reader+ (ensemble)

數據集地址：https://rajpurkar.github.io/SQuAD-explorer/

實現地址：未公布

斯坦福問答數據集（SQuAD）是一個新型閱讀理解數據集，該數據集中的問答是基於維基百科並由眾包的方式完成的。小編並沒有找到該論文，如下 GitHub 地址給出的是該數據集和評估該數據集的模型。

6、命名實體識別

論文：Named Entity Recognition in Twitter using Images and Text

論文地址：https://arxiv.org/pdf/1710.11027.pdf

實現地址：未公布

波恩大學 Diego Esteves 等研究者在推特上使用圖像和文本進行命名實體識別，在該論文中，他們提出了一種新穎的多層級架構，該架構並不依賴於任何具體語言學的資源或解碼規則。他們的新型模型在 Ritter 數據集上 F-measure 實現了 0.59 的優秀表現。

二、計算機視覺

  • 分類

論文地址：https://arxiv.org/pdf/1710.09829.pdf

實現地址：https://github.com/gram-ai/capsule-networks、https://github.com/naturomics/CapsNet-Tensorflow、https://github.com/XifengGuo/CapsNet-Keras、https://github.com/soskek/dynamic_routing_between_capsules

論文：High-Performance Neural Networks for Visual Object Classification

論文地址：https://arxiv.org/pdf/1102.0183.pdf

實現地址：未公布

在計算機視覺領域中，最近比較流行的論文就是 Geoffrey Hinton 等人提出的 Capsule 動態路由方法，。在論文中，Geoffrey Hinton 介紹 Capsule 為：「Capsule 是一組神經元，其輸入輸出向量表示特定實體類型的實例化參數（即特定物體、概念實體等出現的概率與某些屬性）。我們使用輸入輸出向量的長度表徵實體存在的概率，向量的方向表示實例化參數（即實體的某些圖形屬性）。同一層級的 capsule 通過變換矩陣對更高級別的 capsule 的實例化參數進行預測。當多個預測一致時（本論文使用動態路由使預測一致），更高級別的 capsule 將變得活躍。」

此外，Jurgen Schmidhuber 等人提出了一種視覺目標分類的高性能神經網路，在該論文中他們提出了一種卷積神經網路變體的快速全可參數化的 GPU 實現。雖然該論文是在 2011 年提出的，不過它在 NORB 數據集上還是有非常不錯的效果。

三、語音

  • ASR

論文：THE MICROSOFT 2017 CONVERSATIONAL SPEECH RECOGNITION SYSTEM

論文地址：https://arxiv.org/pdf/1708.06073.pdf

實現地址：未公布

本文介紹了微軟對話語音識別系統的 2017 版本。它在原有的模型架構設置中添加了一個 CNN-BLSTM 聲學模型，並且在系統結合之後還添加了一個混合網路再打分的步驟。結果這一系統在數據集 Switchboard Hub5"00 上取得了 5.1% 的詞錯率。

半監督學習

計算機視覺

論文：DISTRIBUTIONAL SMOOTHING WITH VIRTUAL ADVERSARIAL TRAINING

論文地址：https://arxiv.org/pdf/1507.00677.pdf

實現地址：https://github.com/takerum/vat

論文：Virtual Adversarial Training: a Regularization Method for Supervised and Semi-supervised Learning

論文地址：https://arxiv.org/pdf/1704.03976.pdf

實現地址：未公布

第一篇論文中，日本京都大學提出了局部分散式平滑度（LDS），一個關於統計模型平滑度的新理念。它可被用作正則化從而提升模型分布的平滑度。該方法不僅在 MNIST 數據集上解決有監督和半監督學習任務時表現優異，而且在 SVHN 和 NORB 數據上，Test Error 分別取得了 24.63 和 9.88 的分值。以上證明了該方法在半監督學習任務上的表現明顯優於當前最佳結果。

第二篇論文提出了一種基於虛擬對抗損失的新正則化方法：輸出分布的局部平滑度的新測量手段。由於平滑度模型的指示是虛擬對抗的，所以這一方法又被稱為虛擬對抗訓練（VAT）。VAT 的計算成本相對較低。本文實驗在多個基準數據集上把 VAT 應用到監督和半監督學習，並在 MNIST 數據上取得了 Test Error 1.27 的優異表現。

無監督學習

計算機視覺

生成模型

論文：PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION

論文地址：http://research.nvidia.com/sites/default/files/publications/karras2017gan-paper-v2.pdf

實現地址：https://github.com/tkarras/progressive_growing_of_gans

英偉達在本文中描述了一種新的 GAN 訓練方法，其核心思想是同時逐漸地增加生成器與鑒別器的能力：從低解析度開始，添加持續建模精細細節的新層作為訓練過程。這不僅加速了訓練，而且更加穩定，獲得質量超出預想的圖像。本文同時提出了一種增加生成圖像變體的簡便方法，並在 CIFAR10 上取得了 8.80 的得分。另外的一個額外貢獻是創建 CELEBA 數據集的更高質量版本。

https://github.com//RedditSota/state-of-the-art-result-for-machine-learning-problems

作者：王璇

該內容來自雲棲社區合作夥伴「數據派THU」。

更多技術乾貨敬請關注云棲社區知乎機構號：阿里云云棲社區 - 知乎

NLP小菜鳥一枚，常去的站點分成以下幾類（本人精選，絕非簡單羅列）：

  1. AI資訊:
    1. 公眾號: 機器之心、新智元、將門創投、AI科技評論
    2. 網易新聞科技頻道
  2. 工業界/學術界前沿:
    1. 公眾號: PaperWeekly、哈工大SCIR、ResysChina
    2. 知乎專欄: 西土城的搬磚日常、自然語言居酒屋、無痛的機器學習、AI帶路黨
    3. 微博: ML/NLP/DM領域幾位學術界工業界大佬(包括本回答中的 @愛可可-愛生活 )
  3. 工程實現:
    1. Github相關repo
    2. Pytorch Forum
    3. 公眾號: Python開發者(但這貨最近軟文有點多)
  4. 其他:
    1. 脈脈匿名區的各類業界八卦
    2. 公眾號: 經濟學人、君臨、計算廣告
    3. 知乎專欄: 王者榮耀英雄學堂

PS. 因為身處工業界，不太有時間(也不建議)完整瀏覽arxiv及各大頂會論文集，所以大多是用碎片化時間閱讀二手內容(公眾號、微博等)，然後選一些論文原文精讀，再選一些靠譜論文擼代碼，因此要感謝持續輸出相關博客、公眾號文章的同行們。

http://arxiv.org其實每天也就看下題目。

幾乎每天都要用到github，有些論文給出來了代碼，會經常看看。

還有些框架的framework的文檔，需要閱讀。

google scholar不是那麼頻繁

收藏了一些網站，希望對大家有幫助。

國內最好的人工智慧媒體（網站）

公眾號@智能玩咖

【擁有國內最大的人工智慧圖書館，海量聚合資料】

http://t.cn/RY73362

中國人工智慧學會

http://www.caai.cn/

語音識別網

http://www.yuyinshibie.com

神經網路在線

http://www.2nsoft.cn

智能中國網

http://www.5iai.com

中文自然語言處理開放平台

http://www.nlp.org.cn

21世紀人工智慧論壇

http://www.21ai.com

最人工智慧網

http://www.mostai.com

人工智慧實驗室

http://www.ailab.org

中國人工智慧網

http://www.chinaai.org

雷鋒網

https://www.leiphone.com/category/ai

人工智慧學習網

http://www.aihot.net/

CSDN

http://www.csdn.net/

機器人網

http://robot.ofweek.com/

大數據產業觀察

http://www.cbdio.com/node_3928.htm

網易智能

http://tech.163.com/smart/

集智社區

https://jizhi.im/index

機器之心

https://www.jiqizhixin.com/

新智元

http://t.cn/RY71NA1

北大AI實驗室

http://ai.pku.edu.cn/

西安交通大學AI研究所

http://www.aiar.xjtu.edu.cn/

國外最好的人工智慧網站

人工智慧熱門博客列表

http://t.cn/RY7gnJU

斯坦福大學AI實驗室

Home

AI weekly

http://aiweekly.co/

The Visionary

http://t.cn/RY7rwt3

Machine Learning

http://subscribe.machinelearnings.co/

Chris Olah的博客

http://colah.github.io

Andrei Karpathy的博客

http://karpathy.github.io

牛津大學博士Trask的博客

http://iamtrask.github.io/

@hardmaru的博客

http://blog.otoro.net/

一個有大量樣例的博客

http://fastml.com/

講Keras框架深度學習的博客

http://blog.keras.io

Top Bots博客

Delight & Engage Your Customers With Conversational Artificial Intelligence

Denny Britz的技術博客

http://www.wildml.com/

Distill期刊博客

http://distill.pub/

FastML博客

http://fastml.com/

Jason Brownlee博士的博客

https://joanna-bryson.blogspot.de/

Sebastian Ruder博士的博客

http://sebastianruder.com/

Robbie Allen博士的博客

http://unsupervisedmethods.com/

Explosion AI工作室博客

https://explosion.ai/blog/

Tim Dettwers碩士博客

http://timdettmers.com/

Shawn Tan教授的博客

http://blog.wtf.sg/

加州大學學生運營的博客

https://ml.berkeley.edu/blog/

國外人工智慧界牛人主頁

http://t.cn/RY7eqF3

_______________________

更多人工智慧資料！

掃一掃右邊二維碼，

或者 微信搜索公眾號@智能玩咖，

上千份人工智慧資料等著你！

草榴算嗎……

arxiv

arxiv-sanity

reddit下面machine learning版塊

領域內相關教授的微博、twitter、知乎等賬號

還可以關注一些微信公眾號，比如微軟研究院AI頭條

gitxiv 精選arxiv上的文章，並給源碼實現，下面還能評論。

真是看不過眼，目前最高贊那個阿里什麼什麼的答案就是把Github上一個開源項目整個抄了一遍?原項目鏈接掛得不明不白(評論里就有小夥伴找不到，不仔細看完全發現不了)，本文重點內容「作者」「出處」倒是杵得清清楚楚。開源項目就該這樣被你們隨便抄嗎？哪裡來的臉！

distill.pub

google推出的文獻平台，專註深度學習的解釋性問題。

推薦Reddit，當然還有愛可可的微博啦，每天都要刷一刷，手動為我郵打call！

是不是知乎和微博[捂臉]

推薦Andrej Karpathy開發的Arxiv Sanity Preserver。這是一個基於SVM+TFIDF的論文推薦引擎，方便你及時跟進arxiv上感興趣領域的文章。

Netscope...

谷歌學術和知乎。。。

推薦閱讀：

※科普一下：到底啥是人工智慧？
※XVC胡博予: 從進化論的角度思考人工智慧
※今天，全國首個AI加持的無人警局，已經在武漢成為了現實。

TAG:人工智慧 | 機器學習 | 模式識別 | 機器視覺 | 深度學習DeepLearning |