基於深度學習的評論文本表示論文引介

08-09

基於深度學習的評論文本表示論文引介

來自專欄 RUC智能情報站12 人贊了文章

前言：最近有很多關於評論表示的研究，本文將引介兩篇2018年有關基於深度學習的評論文本表示的論文。

本文作者：李思晴，2014級本科生，目前研究方向為深度學習、推薦系統，來自中國人民大學大數據管理與分析方法研究北京市重點實驗室。

備註：本文首發於知乎[RUC智能情報站]，如需轉載請告知作者並註明本專欄文章地址。

論文一：Improving Review Representations with User Attention and Product Attention for Sentiment Classification 原文鏈接

發表會議：AAAI2018

作者：Zhen Wu, Xin-Yu Dai, Cunyan Yin, Shujian Huang, Jiajun Chen

1、寫作動機

神經網路方法在評論語義分類中取得了許多成功，最近有許多研究工作通過生成評論文本表示來提取用戶和產品信息，然而在評論中，有一些單詞和句子表示的是用戶的喜好，另一些表示的是產品的特點，這兩種信息在決定評論的語義標籤時可能會造成不一樣的結果，因此，將用戶和產品信息編碼成一種表示方法是不合理的。作者提出了一種新的框架來編碼用戶和產品信息，來避免這種不合理情況。

2、模型構建

上圖為作者提出的Hierarchical User Attention and Product Attention neural network（HUAPA）模型。模型主要包含兩個組件：層次用戶注意力網路和層次產品注意力網路，將這兩個組件生成的評論文本表示拼接在一起作為最終的向量表示，並以此預測用戶對產品的評論語義。兩個組件的基本框架都是類似的，不同之處在於用了不同的注意力機制，因為用來描述用戶和產品的單詞各不相同。最後將兩個部分組合在一起，首先將兩個文本表示向量直接拼接，然後用一個單層感知器和softmax層將文本表示投射到評論語義分布中。

論文二：Coevolutionary Recommendation Model: Mutual Learning between Ratings and Reviews 原文鏈接

發表會議：WWW2018

作者：Yichao Lu, Ruihai Dong, Barry Smyth

1、寫作動機

協同過濾（Collaborative filtering, CF）是一種常見的依賴於用戶-項目評分的推薦方法，然而由於用戶-項目評分數據的自然稀疏性，限制了預測準確性和推薦有效性。並且在某些CF方法中，用來代表用戶和項目的隱藏因子會造成推薦不透明，缺少解釋性。相比之下，從消費者評論中抽取的語義信息和產品特徵，則可以作為很有效的推薦數據。因此該文作者提出了一個新的深度學習推薦模型Topical Attention Regularized Matrix Factorization (TARMF)，通過優化矩陣分解和基於注意力機制的GRU網路，從評分和評論中聯合學慣用戶和項目的信息。

2、模型構建

如上圖所示，該文作者提出的TARMF模型是在評論和評分之間相互學習。通過使用具有主題注意力機制的雙向遞歸神經網路，從評論文本中分別提取出用戶和項目的文本特徵，從矩陣分解模型中抽取隱藏特徵，在學習過程中將這兩個特徵彼此互相近似來互相學習。

2.1、文本表示模型

其中用來文本建模的基於注意力機制的雙向GRU網路如下圖所示：

第一層為詞嵌入層，用訓練好的word2vec生成的詞向量來初始化詞嵌入層，通過反向傳播來微調。第二層為序列編碼層，主要使用了雙向GRU的結構，前向GRU的輸入是前一層輸入的正向序列，後向GRU的輸入是前一層輸入的反向序列，兩個GRU在 $t$ 時刻的隱藏狀態分別記為 $h_{t}^{}$ 和 $h_{t}^{}$ ，每一時刻將兩個隱藏狀態拼接為最終輸出作為單詞注釋 $h_{t}=[h_{t}^{},h_{t}^{}]$ 。第三層為主題注意力層。假設每個用戶和項目都由 $K$ 維隱藏因子向量表示，每一維代表一個主題，直觀上每個主題的單詞注意力權重都不一樣，因此作者採用了 $K$ 個注意力模塊分別對應 $K$ 個主題。對於第 $k$ 個注意力模塊，給定上一層輸出 $(h_{1},h_{2},...,h_{T})$ ，首先將每個單詞注釋通過單層感知器變換：

然後通過點乘計算變換後的注釋與上下文向量 $z_{k}$ 的相似性，通過softmax函數計算出每個單詞的權重：

最後計算單詞注釋的權重和，作為注意力模塊的輸出：

第四層為特徵投影層。採用單層感知器將上一層第 $k$ 個注意力模塊的輸出轉換為：

最後將 $K$ 個轉換後的值拼接在一起作為最終的文本表示向量 $c=[c_{1},c_{2},...,c_{K}]$

2.2、文本正則化矩陣分解

作者通過用戶和項目隱藏因子向量的文本正則化來擴展概率矩陣分解（Probabilistic Matrix Factorization, PMF）模型。假設有N個用戶和M個項目，矩陣分解可以生成一個用戶係數矩陣 $Uin R^{D imes N}$ ，以及項目因子矩陣 $Vin R^{D imes M}$ ，則 $R^{}=U^{T}V$ 近似評分矩陣 $Rin R^{N imes M}$ ，其中列向量 $u_{i}$ 和 $v_{j}$ 分別表示用戶 $i$ 和項目 $j$ 的D維分散式表示。可觀測的評級的條件分布定義為：

其中 $N(mu , sigma^{2})$ 是均值為 $mu$ 方差為 $sigma^{2}$ 的高斯分布的概率密度函數。傳統的概率矩陣分解模型中，所有隱變數的先驗分布都採用的是零均值各向同性高斯分布，然而TARMF模型中的用戶和項目隱因子的先驗分布都不是固定為零。同時，作者假設用戶和項目隱因子與從評論文本中抽取的文本特徵有高度相關性。因此，用戶和項目隱因子的先驗分布被定義為

其中 $ilde{U_i}$ 和 $ilde{V_j}$ 分別表示從評論文本中抽取的用戶 $i$ 和項目 $j$ 的文本特徵。

3、總結

這篇論文構建了一個從評論文本中抽取用戶和項目特徵的文本表示模型，優化了矩陣分解模型，從評論文本和評分相互學習來優化推薦系統。