在NLP領域，現階段最有希望突破深度學習牢籠的研究/思路有哪些？

01-15

深度學習對複雜模式有強大的記憶性。端到端的深度學習框架在感知層次的人工智慧問題如視覺、語音上表現驚艷，然而這種方式在自然語言處理領域卻要遜色的多，甚至在一些基礎NLP任務中難以打敗SVM和CRF，在複雜任務上的表現和提升也遠不如感知類任務。
加之現階段學術界對深度學習的局限性的批判愈發嚴重，它給NLP領域帶來的驚喜越來越少，那麼最有希望在NLP領域突破這個框架的研究工作或者思路有哪些呢？

謝邀。先佔個坑，說說現在的想法，之後進步了再來補充~

雖然是大數據時代，標註數據還是很貴的，所以我看好下面幾個點

1. 無監督學習，已經起步但有很長的路走，一個例子是 18 年的論文 Word Translation Without Parallel Data，無監督方法 pk 過了以往的監督方法，關鍵想法是單語數據上分別訓練詞向量，然後學習它們之間的 mapping，使得公共空間的翻譯更相近，用的是 GAN 方法。

2. 小數據 + cross-domain/domain adaptation：和遷移學習很像，finetune 模型，把一個已經訓練好的模型，再用小量的數據做調整和優化，使得它適應這些小數據所代表的應用場景。不過放到 NLP 中最重要的應該是怎樣高效利用其他領域的數據來訓練詞向量模型（Yang et al.在這方面做了有意思的工作），還有很大進步空間，有各種論文的實驗結果驗證~

3. 小數據 + 多模態：NLP數據不夠，那就用多模態的數據唄，來實現跨模態的比對和融合利用；

當然最後要實現的是真正意義上的多模態。大牛說過好多遍啦，自然語言一定是人工智慧的最後一環，機器只有在各個感知系統完備之後才能真正的理解語言(NLU)~

上面一些是我覺得最有希望突破/應用也會很廣的研究。下面也扯扯其他的，最近在做聊天機器人，覺得機器人一是要有人格/風格（對不同的用戶有不同的套路，結合用戶畫像，適應用戶風格，做好了用來做推薦做銷售哇，一定棒棒噠），二是要懂情感。在這方面做研究的朋友求聯繫~

嗷還有一個非常 hard，目測目前不會有多大突破的東西，語義理解和推理相關。deep parsing + common sense(eg., knowledge graph) ，兩者結合才能更好的理解語義，不過不管是哪個 component，都不是一時半會兒能搞定的。

1，memory network，這方面研究現在雖說已經很多了，但從技術原理等來看才處於剛剛起步的水平。

2，基於nlp以外的推理，目前已經能夠實現圖像描述，視頻描述，那麼在能否利用圖像推理作為中間過程呢？畢竟這樣才算真正的理解。

改進一下詞向量？現在越來越覺得詞向量能表達的語義很有限…

更多的，最近在想養孩子的問題，教孩子說話的時候，比如蘋果這個詞，會讓孩子摸一摸蘋果，聞一聞蘋果，嘗一嘗蘋果，然後學著說蘋果這個發音，如果正好家裡沒有蘋果也至少是讓孩子看著圖畫書來認識蘋果這個詞。慢慢地孩子就建立了蘋果這樣一個概念。然後孩子又認識了梨桃子橘子等更多的水果，才在概念空間把這些詞設定為較高的相似度。其實人類在建立概念的時候是多感官綜合的。

（真的要把人工智障當成孩子來養了）

壓個題，自然語言處理與計算機視覺相結合。

圖像中蘊含著很多文字無法表達出來的信息，應該可以作為一個突破口吧。

推薦一篇ACL2017的最佳論文。

http://yoavartzi.com/pub/slya-acl.2017.pdf

深度學習有效性已經暴漏無疑，主要適用於視覺聽覺此類的感知問題。想搞定思維和語義？省省吧，必須從根上推倒從來才行。

符號學派被DL和ML擠的都快沒有生存空間了，通用人工智慧以及AGI的概念也被這群人給借用了。結果，你們告訴我，除了識別問題，其他有啥實質性的突破？別說大腦就是專做識別的就成，如果真這麼想，拜託看點心理學的正規教材再來炫耀您那不可一世解決萬難的神經網路吧。

多說一句，人腦內部不是以語言為單位進行的加工。別依舊認為人們只要有想法，滿腦子裡運行的都是語言了！

深度學習說簡單點，就是不斷試錯，說low點，就是暴力求解。最希望突破的是何時能擺脫深度學習

深度學習的框架沒有問題，不需要突破，可以在框架之內，完善模型。

多多學習，思考。