為何DL在NLP效果並不是特別好但是Stanford卻開設cs224d這門課?

01-21

＃＃＃＃＃＃＃＃＃2016年2月29日更新＃＃＃＃＃＃＃＃＃＃＃＃＃＃我把cs224d的代碼和 cs231n 的代碼上傳到了github上，有需要的可以參考下。不過代碼沒有注釋也沒有說明，大家看看就好。 https://github.com/PDFangeltop1 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

個人感覺DL現在在NLP界越來越成為不可或缺的方法。尤其在NLP領域應用比較多的模型， Recurrent Neural Network，LSTM（應用在語言模型，句子生成，機器翻譯） Recursive Neural Network（應用在parsing，情感分析，QA system）, word2vec。。。甚至在cv領域很火的CNN在NLP中也用應用，比如計算句子向量。說句極端的話，原來NLP中的幾乎所有經典問題（分詞，詞性標註，SRL，機器翻譯。。）都可以用DL的手法來實現，並且都能達到甚至超過原來的benchmark甚至達到新的 state of the art。具體可以看看NLP from scratch 這篇論文。其實感覺說DL的手法有些不專業，在NLP領域應該叫 representation learning 或者 embedding。

而且現在NLP領域有一個方向就是在NLP和CV結合的地方做文章，比如給一幅圖生成描述這幅圖的句子什麼的。。。個人對這個領域很感興趣！。

另外本人強烈推薦把這門課過一遍，不僅僅是video和slide，請一定要把三個assignments 都寫完請一定要把三個assignments 都寫完請一定要把三個assignments 都寫完。這三個assignments 其實就是讓你把Word2vec，簡單Neural Network，Recurrent NN， Recursive NN，都實現一遍（不用怕，裡面有很多提示，你只要一步步跟著做就好）。都做完，你對現階段DL在NLP的應用應該會有一個不錯的認識了。本人從今年八月份開始做，到現在基本都完成了，感覺受益匪淺。

謝邀！

題主說的DL4NLP效果不是特別好是不是跟DL在圖像和語音上的效果相比？如果是這個意思的話，確實是這樣。造成這種情況的主要原因是圖像和語音都是真實世界的映射，特徵都比較弱，非常難以提取，我記得圖像的SIFT特徵好像是2004年的論文提出來的，之後就沒有大的飛躍了，只有像SURF這種改進；但是，在NLP上，語言已經經過人類思維的凝鍊，特徵是非常強的，而且都比較好提取，像NGram、TFIDF等特徵往往就能夠做出非常不錯的效果了，甚至一個TextRank做出來的結果就相當不錯了。

即便如此，DL4NLP也取得非常不錯成果，對比傳統方法那輕鬆甩開兩條街是完全沒有問題的。原因是說，人提取的特徵還是局限在人能夠想像得到的組合範疇，而NN卻能夠根據真實數據之間的關係學習到一個比人肉特徵更優秀的模型。曾經跟百度機器翻譯的一個大牛交流過，DL在機器翻譯上其實已經達到了在圖像和語音上的進步了。這方面做出比較好進展的公司國內還有猿題庫和出門問問等。不過NLP對於DL的局限在於，語言雖然特徵強，但是特徵相對較少，學到最優的特徵組合還是挑戰。

我覺得DL4NLP取得像下圖所顯示的在圖像上的突破（2011-&>2012)的日子已經不遠了，因為我所認識的不少學術界和工業界的聰明人都轉到這個方向上來了，既可以發paper又有實際用處，我們拭目以待吧。

orzorzorz...... 題主沒看今年的ACL和EMNLP已經被各種NN佔領了么，去年也很多。

再說到為什麼Stanford為什麼要開這門課，如果你搞NLP你不可能沒聽說過Mikolov...這位大神就是在Google的時候發的word2vec，在之前呢，是Stanford的Richard，他博士論文就是提出了詞袋模型Recursive Neural Network.....然後之後又發了一系列的RNN....今天看了下主講人就是他。好吧感謝題主，之前沒發現有這門課。題主說Deep learning效果不好，顯然大家都不贊同的，從ACL上看，我看了幾乎所有的情感分析的文章，對比實驗都是DL比較好。感覺就是什麼都用DL搞一下，發現誒，效果不錯。

請問並不是特別好的結論是怎麼得出的呢？

知乎慣例：先問是不是，再問為什麼。

我說一點來支持lz

最近剛看到一篇文章《中文分詞十年回顧》(2007-2017)注意是2017新版本的

有這麼一句話：事實上，歷經5年，深度學習方法在最終的模型表現方面，無論是分詞精度還是計算效率上和傳統方法相比並不具有顯著優勢

不過最近也在跟cs224n這門課，看到intro介紹了2014年開始的機器翻譯的巨大飛躍，就是得益於DL ，也說明DL可能之前效果不是特別好，但是之後效果可能會很好

貼一個鏈接，可以對比應用NN和基於統計的兩種翻譯的效果，差異真的是非常大

Try and Compare - Microsoft Translator

誰說不好的？？能不能看點論文再下結論？

誰說效果不好，誰說的，站出來。

樓主不是特別好是跟什麼對比呢？

題主怎麼得出來在nlp效果不好的結論？

當然熱門啊，很有前途。效果也還可以吧