2017年神經機器翻譯（NMT）的一些重要資源匯總？

01-21

2017年神經機器翻譯（NMT）的一些重要資源匯總

關於神經機器翻譯比較全的一套資料匯總，分享給大家。

教程：

· 由Thang Luong編寫的NMT教程 -這是一個簡短的教程，循序漸進的介紹神經機器翻譯的原理。但稍微令人感到失望的是，沒有詳細記錄基礎實驗的運行和評估情況。當然，解決這些問題很簡單，但這確實需要花一點時間。

· 原始的Tensorflow seq2seq教程 -第一個Seq2Seq實驗。現在我們討論的是WMT15 set。

· tf-seq2seq （博客地址：這裡）

· Graham Neubig的教程

· Nematus

· OpenNMT

· NeuralMonkey（基於Tensorflow）

有一點很特別：Tensor2Tensor採用新穎的架構，而原始基於RNN / CNN解碼/編碼架構。它的提出，產生了驚人的收益。因此，使得NNMT有可能成為未來翻譯技術發展的趨勢。

重要的論文：

· Learning Phrase Representations using RNN

Encoder–Decoder for Statistical Machine Translation by Cho Et al. (link) - Kyunghyun Cho發表的，非常創新和非常有智慧的一篇論文，還引入了GRU。

· Sequence to Sequence Learning with Neural

Networks by Ilya Sutskever (link) - 由谷歌的研究人員提出，首次顯示NMT系統可以獲得與傳統的技術相似的效果。

· Google』s Neural Machine Translation System:

Bridging the Gap between Human and Machine Translation (link)

· Neural Machine Translation by Joint Learning to Align and

Translate by Dzmitry Bahdanau (link) - 提出Attention機制的論文

· Neural Machine Translation by

Min-Thuong Luong (link)

· Effective Approaches to Attention-based Neural

Machine Translation by Min-Thuong Luong (link) – 提出如何基於local Attention去提升Attention效果。

· Massive

Exploration of Neural Machine Translation Architectures by Britz et al (link)

· Recurrent Convolutional Neural Networks for

Discourse Compositionality by Kalchbrenner and Blunsom (link)

重要博客文章/網頁：

· 注意機制和增強化的循環神經網路：僅與基於注意力機制的RNN部分相關，但Olah"的文章是非常值得閱讀的。

· 斯坦福大學NMT實驗室頁面：涉及Luong，See和Manning在NMT上的工作。非常有趣看看最近的技術。教程/代碼/模型可用。

其他:(未排序）

· JayPark的Github https://github.com/JayParks/tf-seq2seq

· https://github.com/ematvey/tensorflow-seq2seq-tutorials

· https://indico.io/blog/the-good-bad-ugly-of-tensorflow/

· https://www.reddit.com/r/MachineLearning/comments/43fw8s/simple_seq2seq_example_in_tensorflow/

· https://r2rt.com/recurrent-neural-networks-in-tensorflow-iii-variable-length-sequences.html

· http://forums.fast.ai/t/the-wonders-of-the-new-version-of-tensorflow-1-2rc0/3491

· http://monik.in/a-noobs-guide-to-implementing-rnn-lstm-using-tensorflow/

· http://suriyadeepan.github.io/2016-12-31-practical-seq2seq/

在Chatbot和Summarization中使用（未排序）

· https://tutorials.botsfloor.com/how-to-build-your-first-chatbot-c84495d4622d

· https://medium.com/towards-data-science/text-summarization-with-amazon-reviews-41801c2210b

· http://pavel.surmenok.com/2016/10/15/how-to-run-text-summarization-with-tensorflow/

往期精彩內容分享：

麻省理工學院-2017年-深度學習與自動駕駛視頻課程分享

模型匯總22 機器學習相關基礎數學理論、概念、模型思維導圖分享

深度學習在自然語言處理中的應用綜述

深度學習與NLP 深度學習|機器學習|人工智慧精品視頻教程合集分享

深度學習/機器學習的處理器列表（最全_中文版）

純乾貨14 2017年-李宏毅-最新深度學習/機器學習中文視頻教程分享_後篇

純乾貨10 強化學習視頻教程分享（從入門到精通）

純乾貨7 Domain Adaptation視頻教程（附PPT）及經典論文分享

補充幾篇最新的論文，2017年上半年的三國演義，感覺在掐架，很有意思

Facebook：Convolutional Sequence to Sequence Learning

谷歌：Attention Is All You Need

微軟：Neural Phrase-based Machine Translation