《Recurrent Attention Network on Memory for Aspect Sentiment Analysis》閱讀筆記

寫在前面

論文題目：

《Recurrent Attention Network on Memory for Aspect Sentiment Analysis》

Peng Chen, Zhongqian Sun, Lidong Bing and Wei Yang. EMNLP 2017

文章摘要：

論文採用多層注意力機制去捕獲句子中距離較遠的詞之間的聯繫。

相關鏈接：

1. 論文地址

1 什麼是 Recurrent Attention Network on Memory

模型首先用一個雙向的 LSTM 來生成 Memory，記憶片將根據它們與對象詞的相對位置被賦予權值。然後通過一個遞歸網路來構建一個多層的注意力模型。最後將模型的輸出輸入 softmax 函數得到分類結果。

2 RAM VS MemNet

• 共同點：都是多層的注意力模型
• 不同點：相比 MemNet，RAM 模型在輸入模塊和注意力模塊之間多加入了一個記憶模塊，這個操作能夠使得模型可以合成如 「not wonderful enough」 這樣的詞語序列的特徵。更為重要的是，RAM 是通過非線性的方式將各層的結果組合在一起

3 總結

雖然多層注意力機制可以合成複雜句子的特徵，但是對於一些例子，強制讓模型去把注意力放在記憶上是不合理的。因此，我們需要一個機制能夠在記憶中沒有更多有用的信息時去自動停止注意力進程。我們或許可以嘗試其他記憶權值分配策略去更加清晰地區分一條評論中的多個目標。