CCL2016

一. 會議概要

本屆CCL2016會議可謂國內NLP領域的饕餮盛宴，雲集了若干領域專家，進行了為期兩天的深度研討，對NLP領域去年以來的發展做出了回望並對未來發展進行了富有洞見的展望，下面總結下本次會議特點：

1. 本屆會議不設分會場而只有一個主會場，只挑選20篇候選最佳論文進行報告，參會人員對各論文打分以評選最佳論文。值得一提的是，參與打分的參會人員在會議最後環節可以參與抽獎環節，這也提高了大家的參與積極性和熱情。

2. 本屆會議的重中之重當屬主旨報告和特邀報告了。主講人可謂群星璀璨，個個都是學術界內大牛甚至泰斗級人物，包括中國人工智慧研究的先驅張鈸院士、微軟亞洲研究院常務副院長馬維英、微軟人工智慧首席科學家鄧力、谷歌前資深研究員吳軍、前谷歌高級管理科學家林德康和華為諾亞方舟實驗室主任李航，內容涵蓋對後深度學習時代計算語言學的展望、微軟小冰背後的技術揭秘、深度學習十年歷史的總結和對未來的展望、數據驅動方法背後的哲學理念、QA系統到Bot的進化和如何邁向自然語言理解。

3. 本屆會議在會前一天安排了6大講習班，內容涵蓋若干NLP領域，包括詞法句法分析、知識圖譜、社會計算、機器翻譯、智能問答、情感分析，主講老師都是國內頂尖學者，如車萬翔、萬小軍、劉知遠、劉洋和劉康等大牛，講習班內容詳實，幾乎都是從本領域概覽講起，漫談各種主流技術，並對學術界最新進展和未來工作進行深度展望，可惜本人未能到現場學習。

4. 值得慶幸的是，會議最後安排了一個NLP國際前沿動態綜述，短短2個小時，之前講習班的老師們輪番上台，進行本領域內前沿研究的簡短介紹，也彌補了我的遺憾。

二. 會議內容

下面是本人關於會議主旨報告和特邀報告的感受與總結：

張鈸院士報告

張院士的報告高屋建瓴，深入淺出，從符號主義講到連接主義，從知識驅動講到數據驅動，把NLP領域的歷史娓娓道來，系統地講了NLP領域目前做了什麼。

當然最令我感興趣的還是報告後半部分，即NLP領域未來做什麼。張院士首先列舉了若干挑戰，主要分為概率統計方法的局限性，生數據帶來的困難以及推廣和遷移能力。讓我深受啟發的是對概率統計方法局限性的討論，報告指出：當前概率統計模型都基於一個假設，即相似的語義詞出現在相似上下文中，正是因為這個假設才有了詞嵌入的工作，並引出了之後深度學習在NLP上的一系列工作，但是該方法也有其固有局限性，比如映射函數不平滑，黑箱學習等問題。

報告最後張院士總結了幾個潛在的解決思路，包括知識驅動與數據驅動的結合，計算機科學與腦科學的結合等，讓我感到有興趣的是張院士最後在問答環節指出的如何將知識驅動和數據驅動相結合的方法，他指出一個可行方法是向神經網路中融入記憶機制來架起符號主義和連接主義之間的橋樑，而這正是當前神經圖靈機等工作嘗試努力的方向。

馬維英老師報告

聊天機器人在今年火的一塌糊塗，各大公司都在研發商用聊天機器人搶佔未來市場，Bot的前景一片廣闊，被看做是下一個Game Change的機會，有望重新定義搜索，人機交互方式等。

馬維英老師的報告介紹了微軟小冰背後所用的技術，從框架到技術細節都有所透露，可以窺一斑而見全豹。另外老師還介紹了微軟亞洲研究院的最新研究成果，發表在NIPS2016會議上，將深度強化學習和seq2seq模型以及dual task相結合，非常新穎。馬老師非常富有激情，手舞足蹈，中英混雜，報告很有感染力。

聽完報告後專門註冊了小冰體驗了下，感覺現在小冰只做到了第1層閑聊，而且閑聊的效果也不好，主要體現在不能理解聊天內容或我的意圖，而只是返回一個概率上最高的統計結果，這也看出了張鈸院士報告中指出的深度學習背後的概率統計方法的局限性。

另外目前小冰在報告中後兩層功能都還沒部署，可能還處於學術階段吧，但可以預見一旦後兩層功能融入小冰後，會帶來怎樣的改變，也許就接近於馬維英老師報告中所說的Conversation as a Platform了吧。

總的來說，當前聊天機器人處於剛剛起步階段，前方是星辰大海，等待著我們去探索。我相信在未來一個通用的聊天機器人一定能實現，而這讓我想起一部電影《她》，片中主人公愛上了他的人工智慧助手，而主人公和助手的交互也就僅限於一部手機，而要達到這個目標前方路漫漫兮。

鄧力老師報告

鄧力老師學術造詣深厚，報告內容非常有啟發性，報告首先簡要回顧了深度學習這十年的發展軌跡，並介紹了深度學習是如何一步步地在語音識別領域帶來了突破性的進展。

接著報告指出了現有深度學習技術的局限性，鄧老師的洞見和張鈸老師的觀點高度一致，即深度學習存在黑箱學習問題，需要大量帶標籤數據問題，很難結合常識並增長知識，並且深度學習雖然能很好的模式識別，但是卻不能推理等問題。

報告最後對未來工作進行了總結，鄧老師的觀點和張鈸老師的觀點同樣不謀而合，即我們需要將神經學習和符號邏輯相結合，以賦予神經網路更強的邏輯推理能力。

• Paul Smolensky, Moontae Lee, Xiaodong He, Wen-tau Yih, Jianfeng Gao, Li Deng. 2016. Basic reasoning with tensor product representation. arXiv: 1601.02745, 2016.

吳軍老師報告

吳軍老師的報告形象生動，報告的題目就非常fancy，叫機器智能的空氣動力學，意思是機器獲得智能的方式不必要模仿人，這就如同要讓飛機飛行並不必模仿鳥類一樣，而需要搞清楚空氣動力學原理。而對於機器智能，數據驅動的哲學和深度學習技術就是它的空氣動力學原理。

吳軍老師在報告中介紹了一個具體的事例，即如何將問答問題轉換為數據問題，並使用深度學習來解決。接下來報告介紹了自動駕駛，癌症治療，手術機器人和模式識別專用晶元等新興技術。另外吳軍老師的新書《智能時代》已經出版，有時間一定要拜讀一下。

林德康老師報告

林德康老師的報告主要分兩部分，第一部分介紹了早期問答系統，主要講了他本人在谷歌期間開發的一款基於谷歌搜索結果的自動問答系統，使得搜索引擎進化為了回答引擎，報告指出在回答引擎的基礎上，動作引擎更進一步，它通過執行一系列操作幫助用戶完成任務，比如預訂機票等，我個人理解動作引擎的概念就是現在大火的Bot。

報告第二部分介紹了林老師自谷歌離職後的創業項目，即一個區別於市面上現有Bot如Siri，谷歌助手，微軟小冰的產品，該產品是一個第三方App，用戶通過發出語音指令，使得該App自動啟動其他App來完成任務，林老師介紹了幾個應用場景，比如打開網易雲聽歌，打開微信給李克強發消息(演示到這時全場爆笑)，打開攜程訂機票等。

李航老師報告

李航老師的報告作為大會壓軸報告，內容非常豐富，首先報告介紹了為什麼自然語言理解非常難，這主要是因為人類語言的5大特點，即語言規律性和多變性的結合，語言具有遞歸性，語言具有比喻性，語言需聯繫實際的知識，語言具有互動性。這因為這5大特點，使得使用數學模型來形式化表示自然語言非常困難。

李航老師指出，儘管令計算機徹底理解人類語言困難重重，但是我們依然探索出一些有效的策略，比如使用Task-driven的方法，圍繞具體問題來建模；或是使用Hybird策略，將基於規則，基於統計和基於深度學習的方法進行融合。

報告最後介紹了華為諾亞方舟實驗室在NMT上的具體成果，包括ACL16上的Coverage Vector和尚未發表的Context Gate方法，並簡要提出下一步機器翻譯的研究點應該聚焦於NMT和SMT的結合。

• Tu Z, Lu Z, Liu Y, et al.Modeling coverage for neural machine translation[J]. ArXiv eprints, January, 2016.

• Tu Z, Liu Y, Lu Z, et al. Context Gates for Neural Machine Translation[J]. arXiv preprint arXiv:1608.06043, 2016.