NLP(自然語言處理)界有哪些神級人物?
包括基本生平、主要理論貢獻、主要作品、八卦新聞~
可以的話請理一下這些大神的師承關係~
喵~
首先想到的不應該是Michael Collins嗎……
Michael Collins (Columbia), Jason Eisner (JHU), David Yarowsky (JHU)三位師兄弟(David &> Michael &> Jason)均師承於Upenn的Mitchell Marcus教授,也就是著名的Penn Treebank的作者。這三位是NLP界公認的大神,研究領域各有側重。collins/eisner對NLP結構學習領域貢獻極大,yarowsky早年研究詞義消歧,是著名的yarowsky algorithm的作者,後來做了很多跨語言學習的開創性工作。
Michael Collins的學生中著名的有Terry Koo (Google), Percy Liang (Stanford), Luke Zettlemoyer (UW);Jason Eisner的得意弟子當首推Noah Smith (CMU-&>UW);David Yarowsky似乎沒有什麼特別傑出的學生。
Stanford NLP掌門Chris Manning,以《統計自然語言處理基礎》一書以及Stanford NLP (toolkit) 而聞名。Dan Jurafsky,著有《語音與語言處理》一書,具有深厚的語言學背景。稍微提一下Manning的學生Richard Socher,近幾年聲名鵲起,在dl4nlp領域風頭一時無兩,屬年輕一代翹楚。
UCBerkeley的Dan Klein,早些年在無指導學習領域建樹頗多。Percy Liang也是他的學生。
UIUC的Dan Roth,Chengxiang Zhai (偏IR);MIT的Regina Barzilay;哦,當然還有Brown大學的Eugene Charniak大神(Charniak parser),Brown大學也可算是沒落的貴族了,和UPenn有點兒相似。
歐洲方面,Joakim Nivre (Uppsala University),代表工作是基於轉移的依存句法分析。Philipp Koehn,著名機器翻譯開源系統Moses作者,14年加入JHU。
當然,在工業界也是NLP群星璀璨。Google有Fernando Pereira坐鎮,此外還有Ryan McDonald,Slav Petrov等句法分析領域繞不開的名字;而最近Michael Collins也加入了Google;IBM則有Kenneth Church;提一嘴Tomas Mikolov (Facebook)吧,word2vec作者,雖然他嚴格意義上並不屬於NLP核心圈子,但是不得不說,近兩年acl/emnlp近半數文章都給他貢獻了citation,能做到這種程度的人極少。
以上我提到的人都是對NLP領域有重要基礎性貢獻並經過時間考驗的(citation超過或者接近1W),除了以上提到的,還有很多非常優秀的學者,比如Kevin Knight,Daniel Marcu, Mark Johnson,Eduard Hovy,Chris Callison-Burch,年輕一代的David Chiang,Hal Daume III等。
暫時想到的就這些人,水平有限,拋磚引玉。相對而言,雖然華人學者近幾年在ACL/EMNLP等頂級會議上佔據越來越重要的地位,但是對NLP領域具有重要基礎性貢獻的學者相對還是很少的。謝邀。遠的不太清楚,倒是知道這麼幾位:
Christopher Manning, Stanford NLP
他的學生:Dan Klein"s Home Page
然後這位的學生:Percy Liang
然後Stanford另一位NLP大神:Dan Jurafsky
這位在JHU的「親戚」(誤:兩位都是俄羅斯/蘇聯後裔,據說俄語的last name幾乎是一樣的,現在的不同拼寫多半是當年是美國邊境官員的傑作):David Yarowsky
(很巧兩位都是語言學的大拿)
另一位JHU公認的大神:Jason Eisner
另一位叫Dan的大神:Dan Roth - Main Page
(有空接著更……)
Michael Collins
出生英國的紳♂士一枚。前些年從MIT到窩校來。雖然我不是學這個方向的。。不過大多學生都覺得他課也講得很好。他的NLP課和Shree Nayar的CV課每學期都是被各種迅速報滿。。還有很多人來audit
這是Coursera上面他的NLP課:Coursera - Free Online Courses From Top Universities
現在他homepage上也有lecture notes了。
感覺本科生去找他套磁做research還是蠻不容易的,因為他實在太忙了,一般要持之以恆地騷擾他,表現出誠意,然後向他證明你的實力。如果說進到他組裡去的話他還是比較nice。
以下摘自wikipedia:
Michael J. Collins (born 4 March 1970) is a researcher in the field of computational linguistics.
His research interests are in natural language processing as well as machine learning and he has made important contributions in statistical parsing and in statistical machine learning. One notable contribution is a state-of-the-art parser for the Penn Wall Street Journal corpus.
His research covers a wide range of topics such as parse re-ranking, tree kernels, semi-supervised learning, machine translation and exponentiated gradient algorithms with a general focus on discriminative models and structured prediction.
Collins worked as a researcher at ATT Labs between January 1999 and November 2002, and later held the positions of assistant and associate professor at M.I.T. Since January 2011, he has been a professor at Columbia University.
我來換個畫風。
nlp不一定要跟fancy的模型/architecture/神經網路扯上關係。
基礎理論研究也是很重要的,以及拓展nlp的應用和對其他領域的影響。
我要說的是,女性科學家:Julia Hirschberg.
據wiki上寫,她今年入選美國國家工程院院士。目前職位是哥大cs chair(這中文應該咋翻譯?系頭?)。而且她還是"among the first to combine Natural Language Processing (NLP) approaches to discourse and dialogue with speech research."
方向更偏computational linguistics/ pragmatics. 她的contribution主要在研究語言現象(code switching, hedge and cues, deception, multi-linguistics, prosody, etc.),很多工作都是基於搭建corpus,純pragmatic研究而非dl/ml模型。她也是最早開始關注discourse 和speech analysis的那批學者。如果有同學做對話要投interspeech,應該很熟悉她的名字。
她在國內影響力沒有其他人那麼大的原因,我猜是因為語言現象的差異。很少聽說國內有人關注pragmatics,或者用中文來做pragmatics.
我覺得相較於其他nlp的大牛們,Julia的影響在於讓nlp的研究cover更多語言現象,使natural language understanding可以在真正「linguistic」意義上被計算。(感覺這是個病句....我已經不會寫中文了... :/ )
對於某一種語言現象,提出猜想並且用cs的方法而非語言學理論來驗證/建模,再觀察結果並且應用到nlp其他方面,這就是Julia大部分的研究內容。
最早接觸她時我還沒進nlp, 在跟商學院的教授一起做項目。很多商院discourse analysis的研究都會看Julia的paper。除了商院,education, language study,neuroscience, cognitive science, etc都會在Julia的paper里找靈感和新方法。
看了上面的答案,如果說所有大牛都有什麼共同點的話,應該是非常靜心於自己的領域吧。
老闆跟她關係超好,今年請她來給talk,開心!! 馬上要見到真人了!!!!
Reference:
wiki page: Julia Hirschberg
google scholar: https://scholar.google.com/citations?hl=zh-CNuser=Qrd7FCoAAAAJview_op=list_works
勃勃(逃)。
說正經的。uiuc做NLP的有三位傑出教授。Chengxiang Zhai,目前NLP領域據說排名世界第六。什麼排名不太清楚。但老翟公認是uiuc cs對學生最好的教授。Mark Hasegawa-Johnson,ECE的大佬,成功人士,長得非常男神,精通漢語和中文,還有一個日本老婆。最後一個是一個德國的女教授。曾經在南京大學留學。
不過頂尖人物,恐怕就是老翟和Hasegawa了。。。
國際計算語言學學會僅有的4位華人ACL Fellow之一,林德康教授對自然語言解析和辭彙語義做出重要貢獻。
林德康(Dekang Lin):國際計算語言學學會會士(ACL Fellow)。前Google研究院高級管理科學家(senior staff research scientist),在加入Google之前擔任加拿大阿爾伯塔大學計算機教授。他在自然語言處理及理解領域總共發表過90餘篇論文,其研究總計被引用超過14000次。1985年畢業於清華大學計算機科學與技術專業,後赴英國求學,又轉入加拿大阿爾伯塔大學讀取計算機博士。先後任職阿爾伯塔大學副教授、正教授,任教期間主要從事自然語言理解研究.研究成果包括一款基於最簡原則的英文語法分析器Minipar和一種用非監督學習同義片語的方法。後在美國Google研究院擔任高級管理科學家,是Google搜索問答系統的創始人和技術負責人,領導了一個由科學家及工程師組成的團隊,將Google搜索問答系統從一個基礎研究項目逐步發展推廣成為一個每天回答兩千萬問題的產品。
林德康教授還多次擔任計算語言最高學術機構國際計算語言學學會ACL(Association for Computational Linguistics)的領導職務, 包括:ACL 2002程序委員會聯合主席、ACL2011大會主席、ACL 2007北美分會執行委員等。2016年初回國,創辦一家研發手機智能助手的公司——奇點機智,2017年4月發布的樂視AI手機宣布搭載奇點機智研發的語音助手——「小不點」。
聽說其公司目前正在招聘NLP方面的人才,有意的大神可以投簡歷至hr@naturali.io,不過面試題有一定難度,不懼挑戰的牛人可以嘗試一下,反正我有個南大的同學沒有通過(老鐵,真心不是黑你TT),但還是祝各位好運~
好像沒有人提 Chris Dyer 。自然語言處理界不太清楚,機器翻譯界那完全是。。
翻譯之神說,Percy Liang 寫的 Brown Clustering 還不夠快。於是 cdyer 用 C++ 又重新實現了一遍。
翻譯之神說,詞要對齊。於是 cdyer 寫了 fast_align。
翻譯之神說,MERT 太難懂。於是 cdyer 用凸包半環證明了一遍。
翻譯之神說,中文要分詞。於是 cdyer 寫了 zhseg。
翻譯之神說,要有 decoder。於是 cdyer 寫了 cdec。
翻譯之神說,要有(靈活的)神經網路訓練框架。於是 cdyer 寫了 cnn (現在的 dynet)。
國際計算語言學會ACL Fellow的名單應該就是最高的認可吧?ACL Fellows - ACL Wiki
名單里有35個會士,前面答案里提到的Michael Collins、Christopher Manning也在名單之列。看名字其中有3個是華人/華裔(其中一個是香港人)。
- Dekai Wu,如果沒有搞錯應該是香港科技大學吳德凱教授,成就是「較早將中文分詞方法用於英文片語的分割,並且將英文片語和中文詞在機器翻譯時對應起來」;
- Hwee Tou Ng,(這個不知道是哪位大神)
- Dekang Lin,林德康老師,前Google高級管理科學家(senior staff research scientist),在加入Google之前是加拿大Alberta大學計算機教授,發表過逾90篇論文、被引用超過12000次,目前做了一家NLP相關的創業公司奇點機智。
非常喜歡 Michael Collins, 認為他寫的paper看得最舒服最爽,猶如沐浴於櫻花之中。Jason Eisner確實是厲害,不過看他paper實在太難看懂,寫的語言非常抽象,我等屌絲實在難以深入理解。 經過Collins大俠的一些paper才能對Eisner的paper妙語進行理解。
總之,就是超級喜歡Michael Collins. 期待能見到他或者follow 他工作。
此外Ryan Mcdonald也是我十分喜歡的一個NLP researcher. 寫的paper雖然木有collins那樣妙筆生花,但是也是通俗易懂。華人,有一位林德康老師,Dekang LIN. 從Google回國了,竟然沒選擇去清華教書也沒接受BAT的邀請,做了一個小小的startup,奇點機智
對機器翻譯比較感興趣,記得比較牛逼的有Koehn,Och,Hermann Ney這三個德國人,第一個是寫了Machine Translation,算是把這個系統化教程化的一個人,也是Moses翻譯系統的主力,Och, Ney都是德國Aachen的,對Discriminative model以及phrase based translation貢獻巨大,當然還有Language Model的詞頻smoothing演算法,然後現在比較牛的應該有Bengio,Mikolov,Bengio是加拿大montreal的,從很多年前就一直搞神經網路,解決了很多overfitting以及dimension exploding,lare vocabulary的問題,後來提出的Neural Network Machine 算是業界新標準了,Mikolov的word embedding也是架構的新突破
Robert Mercer
https://en.m.wikipedia.org/wiki/Robert_Mercer_(businessman)
推動了statistical machine translation的發展。
獲得ACL 2014年的終身成就獎。
可以在google scholar里搜一下citations.
後來不幹學術了,當了文藝復興基金的co-CEO.
去年大選的時候給川普貢獻了很多競選經費。同時也為Brexit捐錢了。
James H. Martin,Speech and Language Processing 一書的作者之一,CU Boulder 的 CS Professor。。。
做 NLP 的應該基本都看過這本書,甚至就是這本入門的吧。。。我在 CU 的那兩年好像還是系裡的 dean,當年上他的 NLP 的課,final project 在數據集巧合的情況下刷了個比他的 PhD 給出的 benchmark 還要高的 f-score,自我感覺爆棚了交上去,然並卵最後還是沒給 A。。。
推薦閱讀:
※微軟的 Cortana 語音助手說話語調極為逼真像人,這是怎麼做到的?
※如果你是圖靈測試者,你會問機器什麼問題?
※機器學習、深度學習等人工智慧技術在工業界的應用狀況是怎樣的?人力供需狀況如何?
※CVPR 2017 有什麼值得關注的亮點?
※你們家的人工智障掃地機器人出現過哪些讓人啼笑皆非的事情?