Deep Matrix Factorization Models for Recommender Systems, IJCAI 2017

01-26

這是南京大學NLP組基於DNN+MF結合做傳統評分預測推薦的工作，發表在IJCAI17上，會議要到8月底才召開，所以沒法看到論文，現在只能根據作者的slide做筆記。

研究背景

傳統CF包括neighbor和model-based方法（latent factor model），前者基於相似度，後者假設數據由underlying模型產生（Koren 2009）。

CF的缺陷：

1. 只考慮了observed的數據

2. 預測函數採用inner product，內積限制了MF的expressiveness

3. users和items的latent representations隨機初始化，當數據比較稀疏，會導致訓練不充分。

於是NUS何博士提出Neural Collaborative Filtering（NCF，WWW17），用神經結構替換inner product，可以從數據中學習到一個arbitrary interaction函數。

NCF的缺陷：

1. 和MF一樣，users和items的隱含表達初始隨機化

2. 訓練的input只輸入當前的user-item pair

3. 當需要預測很多user-item對時，Neural CF layer時間代價很大

因此，這篇論文提出Deep Matrix Factorization (DMF）

DMF主要結構是一個multi-layer的non-linear projection，受深度結構語義模型Deep Structured Semantic Model（DSSM，CIKM13）啟發，這類模型可以捕獲users和items的深度結構關係。而DMF的中間層可以保存隱含表示，節約時間。

DMF的輸入和MF一樣，是interaction matrix，包括顯式評分和非偏好隱式反饋；同時可以capture重要的全局clues例如individual的用戶所有偏好或者overall qualities of products。

對於explicit feedback（評分1-5），定義回歸損失：

$min_{U,V} sumlimits_{R_{i,j} eq 0} {(R_{i,j} - hat R_{i,j})^2 + lambda(||U||_F^2+||V||_F^2)}$

對於implicit feedback（watches 0-1），定義分類損失

$L=-sum limits_{(i,j) in Y^+cup Y^-} {Y_{ij}loghat{Y_{ij}} + (1-Y_{ij})log(1-hat{Y_{ij}})}$

設計新的損失函數：

$L=-sum limits_{(i,j) in Y^+cup Y^-} {(frac {Y_{ij}}{max(R)} loghat{Y_{ij}} + (1-frac{Y_{ij}}{max{(R)}}) log(1-hat{Y_{ij}}))}$

模型參數用反向傳播演算法計算，用SGD優化函數，實現細節：mini-batch GD，每次batch重採樣負樣本。

本論文提出一個新型DL框架來學習更好的users和items representation，使用包括explicit ratings和非偏好的implicit feedback的矩陣作為模型輸入。
提出一個新的代價函數，可以同時考慮顯式和隱式反饋，可以更好優化
在物品推薦任務上，比sota方法取得明顯提升。