神經網路可解釋性對具體應用的推動

94 人贊了文章

我很高興近期越來越多人開始關注神經網路內部表達可解釋性的問題。請登錄http://qszhang.com查看UCLA團隊在可解釋性方向做的10+篇論文。

雖然神經網路可解釋性的研究方興未艾，但是相關課題都必須要面對一個重要問題，即「可解釋性到底有什麼用」？可解釋性的意義看似不言而喻，但「到底有什麼用」其實是個很難回答的問題。

目前神經網路可解釋性領域中相關研究的用途大致可以分類為以下三個層面：

1. 神經網路知識表達的可視化、結構化、和語義化，即open the black box，讓人看明白一個神經網路建模了哪些視覺特徵。目前大部分關於網路可解釋性的研究工作，在做這個問題。

2. 對神經網路的預測結構給出定量的評測和解釋。定量的解釋關係到神經網路是否能夠贏得人們的信任。如果我們僅僅讓神經網路在ImageNet上做圖片分類，那麼可解釋性可能不那麼重要。但是，如果人們需要神經網路做出重大判斷，比如對手術方案的推薦或對金融投資方案的推薦，人們往往需要具體每個預測結果做出定量的解釋，以贏得人們的信任。比如，當神經網路為某個預測結果打分為0.9，那麼人們希望知道0.9中多少得分來源於因素A，多少得分來源於因素B，多少得分是很難解釋出來的。

3. 無監督或弱監督地將神經網路混亂的知識表達簡化為可解釋的圖模型表達，並基於語義層面可解釋的圖模型，進行「中層對端」的訓練和學習。如何把神經網路的黑箱表達拆分為具有特定功能的網路模塊，如何把中層卷積核的混合特徵表達拆分成語義明確的特徵表達，是兩個挑戰。進而，基於從神經網路中拆分出來的模塊化語義表達，直接對神經網路的中層特徵進行debug，進行弱監督學習，可能會成為不錯的研究方向。這樣，深度學習演算法將不會被限制在「端對端」的範疇內，而是像搭積木一樣直接組合中層的功能模塊，實現某種新的功能，實現小樣本弱監督學習。

團隊的前期工作已經涵蓋了以上三個方面。當然這些工作只是萬里長征的第一步，把一個新的概念用數學建模起來，提出solid的解決方案，任重而道遠。

【往期文章 of 可解釋性】

1. 可解釋性與deep learning的發展 https://zhuanlan.zhihu.com/p/30074544

2. CNN神經網路內部知識表達的「黑」與「白」 https://zhuanlan.zhihu.com/p/31365150

3. 關於Deep Learning未來發展的十大挑戰（瓶頸） https://zhuanlan.zhihu.com/p/33651571

【第三方的報道】

[1] 從語義上理解卷積核行為，UCLA朱松純等人使用決策樹量化解釋CNN https://www.jiqizhixin.com/articles/0211

[2] 從可視化到新模型：縱覽深度學習的視覺可解釋性https://www.jiqizhixin.com/articles/030205

推薦閱讀：