ICML 2016上哪些論文值得關注？

01-05

ICML 2016的錄用論文列表已經發布，Accepted Papers，我們可以一起交流下這個會議上哪些論文特別值得關注，代表未來的研究熱點和重點？

@劉知遠老師此題好比crowdsourcing：ICML涉及領域眾多，欲精通所有不太現實，但博採眾長即可去偽存真、沙裡淘金。在此僅拋磚引玉，提幾篇個人比較感興趣的paper。

近期一直關注深度學習的研究和發展，因此下面八篇文章均涉及DL：

Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units (http://jmlr.org/proceedings/papers/v48/shang16.pdf)：這篇文章出自U. Michigan，以及著名的NEC和Oculus VR。作者受到自己對CNN可視化發現的啟發，設計了一種新的激活函數，即concatenated ReLU (CReLU)，在ImageNet等數據上不僅能取得更好結果，同時所需參數也可大幅縮減。
Noisy Activation Functions (http://jmlr.org/proceedings/papers/v48/gulcehre16.pdf)：Bengio作品。為解決傳統激活函數的「飽和效應」（也稱「梯度彌散」現象），作者提出在梯度飽和部分加入合適的雜訊以解決先前的優化難題。如此「反人類」的做法卻取得了較好的泛化效果。
Learning End-to-end Video Classification with Rank-Pooling (http://jmlr.org/proceedings/papers/v48/fernando16.pdf)：先前在CNN中對video特徵進行pooling的方法無異於max和average，該文提出了一種新的rank-pooling方法作為內嵌優化來學習如何更有效的將時序信息encode到最終特徵中去。
Large-Margin Softmax Loss for Convolutional Neural Networks (http://jmlr.org/proceedings/papers/v48/liud16.pdf)提出了一種新型基於「大間隔」的softmax loss。
Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification (http://jmlr.org/proceedings/papers/v48/zhangc16.pdf)：通過構建CNN網路的「鏡像網路」來「無監督」的重建圖像，進而增強「監督」網路的判別能力。
Unsupervised Deep Embedding for Clustering Analysis (http://jmlr.org/proceedings/papers/v48/xieb16.pdf)：RBG作品。DL版本的聚類。
Learning Convolutional Neural Networks for Graphs (http://jmlr.org/proceedings/papers/v48/niepert16.pdf)：圖結構在機器學習中舉足輕重，本文提出可以利用CNN來學習任意圖結構。（不知會不會在graph based learning或mining領域引起軒然大波。）
Deep Speech 2 : End-to-End Speech Recognition in English and Mandarin (http://jmlr.org/proceedings/papers/v48/amodei16.pdf)：來自Baidu的一篇系統論文。工業界朋友可以重點參考，其中介紹了很多語音系統實現方法和技巧。

可以很容易發現，ICML"16中涉及DL/NN的文章，要麼解決了DL中非常fundamental的問題，如提出新的activation function或pooling layer；要麼就是用DL解決了很fundamental的任務，如clustering，graph learning和unsupervised learning；要麼就是很具實踐指導性的Deep Speech 2。鮮有非常CV口味的應用文章，也許這就是不同background對DL不同的喜好吧。

benchmarking deep rl http://arxiv.org/abs/1604.06778那篇，算是對RL在連續控制領域做了一個不錯的overview，並且有code:https://github.com/rllab/rllab 放出。重點關注一下（以及論文的作者）

reinforce http://www-anw.cs.umass.edu/~barto/courses/cs687/williams92simple.pdf
tnpg
trpo http://arxiv.org/abs/1502.05477

估計求解方法。值得去debug一下。可以結合 OpenAI Gym 來simulation。

我們提出了一個基於Bernoulli mixture的新穎的multi-label classification方法，歡迎關注和討論。論文在 http://www.chengli.io/publications/li2016conditional.pdf

hopefully 成為題主所說的未來熱點 : )

======

更新:

我們剛剛發布了CBM論文對應的代碼: https://github.com/cheng-li/pyramid

代碼的說明請見: https://github.com/cheng-li/pyramid/wiki/CBM