深度學習&自然語言處理領域的牛人、貢獻及關係網

04-30

深度學習

圖1 深度學習大牛關係圖

Geoffrey E. Hinton

開闢機器學習子領域「深度學習」的「神經網路之父」, 多倫多大學榮譽教授、Google Fellow等身份，2013年，Hinton加入谷歌AI團隊，將神經網路帶入應用一線。神經網路領域三巨頭（Bengio，LeCun）之一。

主要貢獻：

1. 成功將Back Propagation（反向傳播）演算法應用到神經網路與深度學習。

2. 桃李滿天下

個人主頁：http://www.cs.toronto.edu/~hinton/

Michael Jordan

人工智慧泰斗人物之一，美國三院院士，機器學習奠基者。機器學習領域的Michael Jordan。從業經歷包括，自1988年到1998年，在麻省理工學院（MIT）任教授，也是美國加州大學伯克利分校 Pehong Chen 特聘教授，擔任大數據實驗室（AMPLab）共同主任、統計人工智慧實驗室（SAIL）主任、統計系系主任。Michael Jordon也是一手開創統計ML, 涵蓋的領域包括： Bayesian nonparametric analysis, probabilistic graphical models, spectral methods, kernel machines and signal processing, statistical genetics, computational biology, information retrieval and Natural Language Processing。另外Jordan還是伯克利計算機系教授樂隊的首席架子鼓手以及阿里巴巴達摩院諮詢委員為成員。

主要貢獻：

1. Judea Pearl發明了概率圖模型後，很長一段時間並沒有火起來，Michael Jordan在概率圖模型方面做了很多工作，使得概率圖模型火起來了，算是概率圖模型第二人。Jordan是當世概率圖模型的集大成者，Variational Inference方面的貢獻很大。貝葉斯網路發展到高級階段，概率圖模型使得計算成為問題，從而發展處了變分貝葉斯領域。變分貝葉斯有三個發展階段。第一階段，吉布斯等人把物理學中的能量搬到的機器學習里。第二階段，是Hinton將變分貝葉斯和EM演算法聯繫起來。第三階段，就是Jordan提出的evidence lower bound（ELBO），重建了變分貝葉斯的基礎框架。

2. 當然也是桃李滿天下呀。

個人主頁：https://people.eecs.berkeley.edu/~jordan/

Yann LeCun(中文名：楊立昆)

現任Facebook AI（FAIR）研究院的院長，同時他也是美國紐約大學的終身教授。他的研究興趣包括機器學習、計算機視覺、移動機器人以及計算神經學等。他因著名且影響深遠的卷積神經網路（CNN）相關的工作而被人稱為「CNN之父」。雖說LeCun不是CNN的發明人，但是他是第一個把BP演算法用在CNN上並且完善CNN使得它可以在業界上work的人，也是自98年之後近20年的CNN第一推動者。

個人主頁：http://yann.lecun.com/

Yoshua Bengio

Yoshua Bengio連同Geoff Hinton老先生以及 Yann LeCun教授一起造就了2006年始的深度學習復興。他的研究工作主要聚焦在高級機器學習方面，致力於用其解決人工智慧問題。目前他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一（蒙特利爾大學）。深度學習權威教材「花書」《Deep Learning》的作者（電子書下載鏈接：https://pan.baidu.com/s/1qYc1PkK），其餘作者Aaron Courville和Ian Goodfellow（GAN之父）。

主要貢獻：

1. 他對RNN的一系列推動包括經典的Neural Language Model，Gradient Vanishing 的細緻討論，word2vec的雛形，以及現在的machine translation & chatbot；

2. 他是神經網路復興的主要的三個發起人之一,包括了pretraining的問題，如何initialize參數的問題，以de-noising auto-encoder為代表的各種各樣的auto-encoder結構，Generative model等等。

3. Symbolic Computional Graph思想的theano。Theano也是Bengio所負責的MILA實驗室的產物，這個庫啟發了後來的多個庫的開發（直接基於它的庫就不提了,比如keras），包括國內很火的MXnet，Google的TensorFlow等，可以說這個工具以及所涵蓋的思想可以算同類型庫的鼻祖。

4. GAN/LSTM等其他paper。

個人主頁：http://www.iro.umontreal.ca/~bengioy/yoshua_en/index.html

Jürgen Schmidhuber

說到除了Bengio之外的人，不得不提的一個名字是：Jürgen Schmidhuber。他是LSTM的共同發明人之一，gradient vanishing的貢獻人，遞歸神經網路（RNN）之父、瑞士人工智慧實驗室科學事務主管，手下得意門生比如Alex Grave(《Supervised Sequence Labelling

with Recurrent Neural Networks》是一本很好的RNN/LSTM入門讀物，自己正在翻譯這本書)等。Schmidhuber本人由於地處歐洲，和北美學術圈交流較少，而他本人脾氣稍顯不羈，喜歡自己搞。

個人主頁：http://www.idsia.ch/~juergenx

Ian Goodfellow

師從Bengio,「GAN之父」及深度學習權威教材《Deep Learning》作者。現在在GoogleBrain研究院。

個人主頁：https://github.com/goodfeli

Andrew Ng（中文名：吳恩達）

吳恩達在中國很火，機器學習者應該比較熟悉。Andrew Ng是Jordan的弟子，LDA的第二作者。在線教育平台Coursera的的聯合創始人，在推動機器學習的教育上作出很大貢獻，Coursera上最受歡迎的課程之一《機器學習》，GPU在機器學習上的推動者。之前加入Google Brain，後來加入Baidu Brain，再後來自己創業去了。最早Google的Distblief用了1000台機器、16000核處理的網路規模大概是10億個神經元，而後Ng回了Stanford之後，用了16台CPU Server，每個Server插4個GPU，總共是64個GPU(但是用了一個超牛逼的交換機叫做InfiniBand)，可訓練的網路規模是112億的神經元。

個人主頁：http://www.andrewng.org/

Hugo Larochelle

谷歌大腦的研究科學家、機器學習專家，他專攻計算機視覺和自然語言處理領域的深度神經網路。Hugo Larochelle是Hinton的博士後。

個人主頁：http://www.dmi.usherb.ca/~larocheh/index_en.html

Tomas Mikolov

Word2Vec的作者Tomas Mikolov是一位產出多篇高質量paper的學者，從RNNLM、Word2Vec再到最近流行的FastText都與他息息相關。現在應該在Facebook。

個人主頁：https://research.fb.com/people/mikolov-tomas/

MarcAurzlio Ranzato

MarcAurzlio Ranzato讀的Yann LeCun的博士，讀的 Hinton 的博士後，GoogleBrain早期成員，現在在Facebook AI Research實驗室。

個人主頁：https://ranzato.github.io

Alex krizhevsky

師從Bengio ，著名AlexNet 網路結構作者。

個人主頁：http://www.cs.toronto.edu/~kriz/index.html

Li FeiFei

ImageNet比賽推廣者，現為斯坦福大學計算機系終身教授，人工智慧實驗室與視覺實驗室主任，李飛飛2016年加入谷歌，成為谷歌雲首席科學家。今年12月開始領導谷歌AI中國中心

個人主頁：http://vision.stanford.edu/

Dzmitry Bahdanau

師從Bengio，著名的機器翻譯Attention模型的論文作者。

個人主頁：https://github.com/bartvm/blocks

自然語言處理

圖2 NLP界關係網（來源網路）

Michael Collins

哥倫比亞大學教授，開發了著名的句法分析器Collins parser，獲EMNLP 2002, EMNLP 2004, UAI 2004, UAI 2005,CoNLL 2008, EMNLP 2010最佳論文獎。吳軍在《數學之美》中對他的評價：「有些學者將一個問題研究到極致，執著追求完善甚至可以說達到完美的程度。他們的工作對同行有很大的參考價值，因此在科研中很需要這樣的學者。在自然語言處理方面新一代的頂級人物邁克爾·柯林斯就是這樣的人。」

個人主頁：http://www.cs.columbia.edu/~mcollins/

Mitchell Marcus

賓夕法尼亞大學教授，Penn Treebank作者，NLP大師Michael Collins (Columbia), Jason

Eisner (JHU), David Yarowsky (JHU)都曾是他的博士生。Christopher Manning斯坦福大學自然語言處理組教授，《統計自然語言處理基礎》作者，《Natural language Processing with Deep Learning》主講者。

個人主頁：http://www.cis.upenn.edu/~mitch/

Dan Jurafsky

斯坦福大學計算機系教授，自然語言處理領域大牛，《自然語言處理綜論》作者之一。

個人主頁： http://web.stanford.edu/~jurafsky/

Dan Klein

UCBerkeley的Dan Klein，早些年在無指導學習領域建樹頗多。Percy Liang（另一NLP領域大牛，斯坦福）也是他的學生。

個人主頁：Dan Kleins Home Page

Percy Liang

Percy Liang是自然語言處理界的一位全才，是機器學習大咖Jordan的高徒，在Semantic Parsing, QA,Optimization等多個領域都有重要貢獻，斯坦福大學計算機系助理教授、斯坦福人工智慧實驗室成員。

個人主頁：https://cs.stanford.edu/~pliang/

補充其他大牛

Jeff Dean

人稱互聯網戰神，Google Senior Fellow(Google工程師最高級別，這個級別就是為Jeff Dean設立的)，締造了谷歌的很多系統和框架，極大的影響了當今互聯網、大數據的技術深度和演進。其貢獻包括：MapReduce BigTable的發明人(谷歌老三架馬車是GFS Mapreduce Bigtable)那2篇牛paper作者，Google Adsense & Adwords第一個版本作者，Five generation谷歌網頁檢索系統作者、Protocal buffer作者，分散式操作系統創始人，Google News作者，Spanner作者，DistBelief作者, Google Translate創始人。大規模深度學習網路的第一個系統算是DistBelief, 當然對外的項目名稱叫做「Google Brain」。DistBelief當時用了1000台機器、16000個核做了一個深度神經網路(paper: large scale distributed deep networks)，算是在工業界率先開啟超大規模深度學習網路的先河。

歡迎各位繼續補充。。。

參考文獻：

https://www.zhihu.com/question/53757555

https://blog.csdn.net/zylxadz/article/details/50512842