如何看待Hinton提出的soft decision tree?

01-21

Distilling a Neural Network Into a Soft Decision Tree
https://arxiv.org/pdf/1711.09784.pdf

又看見有人喊大神要融合NN和DT了。

別一看見Hinton就跟著報道大新聞。麻煩先看看三年前cvpr的neural decision forest好么？那時候就已經在用soft decision tree搞所謂的DL-DT融合了。

還真沒hinton和周的什麼事。這篇論文的主要貢獻也不在融合上。

再說回題目本身，問如何看待hinton提出的soft decision tree。就問問題主有沒有把HME放眼裡。先問是不是再問如何看待，不一直是貴乎的優良傳統么。

哈哈，神經網路要和決策樹融合了。hinton難道和周老師想一塊去了？

請大家大聲讀出來論文標題第一個字

現在的ML圈子真是亂象環生。Hinton這篇論文的核心貢獻是distillation，從NN中蒸餾出DT，insight很強，和之前的NN+DT（典型combine工作）是一樣的嗎？

感覺這篇文章是 15年ICCV那篇best paper 《Deep Neural Decision Forests 》和15年Hinton那篇《Distilling the knowledge in a Neural Network 》的結合。具體的說：本文的大框架是Distilling the knowledge的框架，只是student model換成了DT。訓練teacher model後，得到soft target後，然後訓練小模型（DT）採用的方式是運用ICCV那篇文章的思路（區別是ICCV時通過卷積神經網路得到原始數據的新特徵放入決策樹，本文是直接拿原始數據放入決策樹），損失函數稍微改動下，還加了一個懲罰項。

本文其實核心是用決策樹去distilling 神經網路中的 knowledge，然後拿決策樹去解釋神經網路。

蝦扯蛋，soft decision tree不是Hinton提出的。

不懂裝懂

還是挺顛覆認知的

個人理解distill類方法的前提是網路結構要相似

看完感覺就是14年那篇的姊妹文，student從NN換成了DT

沒什麼興趣，本質上都是MLE的point estimate…