概率圖模型與深度學習能夠如何結合？

01-07

1.已有的重要工作都有哪些？
2.未來發展有何希望？

PGM和DL的結合已經有一些應用了，主要就是用DL來進行感知，PGM進行推斷。具體應用時盡量以緊耦合方式將二者結合，即做到協同訓練，這就涉及到了DL的貝葉斯化，在同一個框架下就可以協同訓練了。

如下圖的模型CDL(by Hao Wang)，標紅線部分是SDAE(降噪編碼器)，剩餘部分是PMF(概率矩陣分解)。SDAE通過編碼-隱藏表示-解碼的方式用來學習物品的文本特徵，將其反饋到PMF中約束物品隱式矩陣。

以下列舉幾篇自己看過的論文。

在推薦系統方面：

1. Restricted Boltzmann machines for collaborative filtering

2. Collaborative Deep Learning for Recommender Systems

3. Relational Stacked Denoising Autoencoder for Tag Recommendation

4. Towards Bayesian Deep Learning:A Survey

5. A Deep Embedding Model for Co-occurrence Learning

在計算機視覺方面：

6. Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation

7. Joint Training of a Neural Network and a Structured Model for Computer Vision

另外，這幾天在推薦領域看到了一篇新的文獻CoFactor(Factorization Meets the Item Embedding: Regularizing Matrix Factorization with Item Co-occurrence)，將矩陣分解MF和word embedding相結合，應該也可以算二者的結合(該篇還沒有深入閱讀)

至於未來發展，現在大火的模型RNN和CNN都還未貝葉斯化(待驗證)；將DL的參數當成概率圖模型中的隨機變數，自定義模型。

ps，以往都是看人答案，最近開始嘗試自己編輯，歡迎大家指正和交流。

=====================================================

評論區有知友指出hinton早前提出的DBN就是二者的結合，認為從計算神經科學的角度，一個基本的假定就是perception=inference，我也表示贊同。

像lixin liu所說的這兩個很早就已經結合起來了，比如stack RBM得到的deep belief network (DBN) 或者是deep boltzmann machine (DBM)等。最近這兩者的結合做的deep generative model，比如variational auto encoder效果也很不錯。

題主可以看一下MIT的deep learning書中part 3從Chap 16 - 20的內容，介紹的都是如何把概率圖模型的方法應用在deep learning上。附上書的鏈接web版: Deep Learning, github上整合得pdf文件:GitHub - HFTrader/DeepLearningBook: MIT Deep Learning Book in PDF format.

Composing graphical models with neural networks
for structured representations and fast inference https://arxiv.org/abs/1603.06277

文獻綜述還是要自己弄，哎，現在的孩子。

1. Conditional Random Fields as Recurrent Neural Networks

2. Deep convolutional neural fields for depth estimation from a single image

--------------------------------------------------------------

卷積層上面加圖模型啊（cvpr早就有文獻了）

Hinton在2006年提出的DBN不就是深度的圖模型嗎。這算不算已經結合在一起了。

PGM不新，Judea Pearl 八幾年就開始了；深度學習也不新，就是神經網路換了個名字，CNN是Fukushima的Neocognition的翻版。以前早都「崛起「過了，說本世紀「重新崛起」差不多。兩個的結合早就有

這篇文章我想能幫到你:

Stanford教授Daphne Koller 概率圖模型 — 終極入門第三講馬爾可夫網路 (Markov Networks)