Factorization Meets the Item Embedding: Regularizing MF with Item Co-occurrence, RecSys 2016

J. Gordon在KDD 2008的論文 「Relational Learning via Collective Matrix Factorization」 提出了把多個Matrix放在一起做Collective Matrix Factorization的想法，這已經在推薦領域屢試不爽。這篇論文發表在RecSys 2016也是基於這種思想的延伸，算是微創新的工作。

David Blei的這篇文章提出一個非常直接通俗易懂的方法，那就是把Matrix Factorization和Word Embedding的思想結合起來，co-factorization （CoFactor），即和collective matrix factorization思路一樣，通過share item latent factor來jointly分解user-item矩陣和item-item矩陣。

傳統MF目標函數

CoFactor模型（融合item embedding）

論文貢獻

這篇論文主要貢獻在於這個Item-Item的矩陣是從類似於Word Embedding這樣的思路來構建的。Levy&Goldberg證明用負採樣訓練的Skip-gram Word2Vec其實等價於隱式分解PMI矩陣。文章基於這個思路得到CoFactor。文章比較討巧的地方在於，並沒有直接使用Word2Vec的Objective Function，而是從分解Pointwise-Mutual-Information (PMI)矩陣這個角度來講，使得整個問題有所簡化。因為這個小Trick，整體的優化問題並沒有過於複雜，作者們反而得到了類似ALS一樣的Closed-form Updates。

文章最後在幾個數據集（ArXiv，MovieLens-20M和TasteProfile）上做了實驗，使用搜索引擎ranking-based的指標（Recall@M，NDCG@M和MAP@M）。實驗只和Weighted Matrix Factorization，WMF對比，並沒有比較其他的Collective Matrix Factorizaiton的方法。

這篇文章可以借鑒的地方在於用PMI這個思路來把Embedding的方法和MF相結合。