《Coupled Multi-Layer Attentionsfor Co-Extraction of Aspect and Opinion Terms》

論文地址與項目源碼：

paper: http://www.aaai.org/Conferences/AAAI/2017/PreliminaryPapers/15-Wang-W-14441.pdf

code: https://github.com/happywwy/Coupled-Multi-layer-Attentions

一、主要概念、任務與背景

這個co-extraction任務簡而言之就是精確地釋放描述一個實體的特徵的aspect term和表達情感的opinion term，傳統方法是解析句法結構來挖掘aspect term和opinion term之間的關聯信息，但是工作量大、依賴於解析結果。目前主要有rule-based, feature-engineering-based, or deep learning-based這幾類方法。目前的deep learning仍然需要一個parser來解析句法結構和依賴信息隨後被encode進入deep models，因此模型的效果很大依賴於parser的質量。

模型是多層的attention網路，每層包括兩個結合tensor operator的attention結構，一個attention是為了釋放aspect terms，另一個是為了釋放opinion terms，二者之間交互、信息雙向傳播；而多層的網路可以進一步的挖掘terms之間間接的關聯從而得到更精確的信息extraction，從而挖出哪些不顯眼的terms。本文的亮點就是不使用任何parser和語言學先驗知識。

「This little place has a cute interior decor and affordable prices」, interior decor and prices are aspects, with cute and affordable as their corresponding opinions.

二、本文主要工作、模型

首先，這是一個序列標註問題，每一個token有5個類別，分別為

BA——beginning of aspect

IA——inside aspect

BP——beginning of opinion

IP——inside opinion

O——others

BA IA屬於aspect，BP IP屬於opinion

傳統attention：

本文提出的model：

每個attention要學習到三樣東西：a和p分別表示aspect和opinion

1、prototype vector for aspect or opinion：即na、np

2、high-level feature vector for each token：即ria rip

3、attention score for each token：即eia eip（還未經過softmax歸一化）

A、後兩者利用tensor operator來衡量prototype與每個token之間的相關程度

B、為了得到aspect和opinion之間的direct關係，如圖右上，這二者被coupled

C、為了得到aspect和opinion各自內部的間接不顯式的關係，如圖右下，使用了多層coupled attention

A single-layer attention model with tensor：

但是，這種independent learning的結構（不共用hi）不能讓aspect terms和opinion terms的信息雙向傳播流動，於是決定將二者喜結連理、並動用多layer。

Couple：

Multi Layers：

每層prototype vector的更新：

三、實驗（1數據2實驗結果3視圖、實驗分析等）

四、總結

推薦閱讀：