計算與認知|枝蔚的論文庫0402

知識表徵

1 Semantic Cognition: A Parallel Distributed Processing Approach -- TT Rogers, JL McClelland, 2003

問題：這是一本老書，其中主要工作來自八九十年代。一是想看PDP的模型和現代神經網路有何異同，更主要是看看他們如何分析神經網路的學習、如何與人類學習做對比。

跳著讀了本書，印象如下：

• 訓練數據真簡單啊。用現代的術語來說，8個實體（概念），4種關係。然而，也因此非常「完整」：

• 模型和現代網路差不多，細節差異如神經元激活函數（activation function）不採用ReLU而是Sigmoid。層數少了很多。
• 對網路學習過程的分析比現代CS研究者要細緻很多——人家是認知科學家，把網路當大腦來看的嘛。比如，挑出「金絲雀canary」這個概念來分析其學習過程：

可以看到，動物共通的特徵（可以動），學得最快，其次是鳥類共通特徵（有翅膀）；關於金絲雀本身的特徵（可以唱歌，是黃色的），學得最慢。這可能與人類兒童學習知識的先後結構類似。

2 Reasoning With Neural Tensor Networks for Knowledge Base Completion -- Socher et al.

現代版的知識表徵，表徵的內容和Rogers&McClelland類似都是三元組（老虎-是一種-貓），但學習現代的知識庫數據，又需要網路結構有什麼變化？

大部分現代知識庫模型都會藉助embedding來處理海量概念。海量的意思是：

此外，各派研究者會使用不同的目標函數來訓練模型，提出合理的目標函數是關鍵。

（順便，本周見到了本文的共同第一作者Danqi Chen，博士畢業正在找工作。不知道會不會來NYU呢，期待一下）

概念學習

1 Ritter et al. - 2017 - Cognitive Psychology for Deep Neural Networks A Shape Bias Case Study

(本文基於認知心理學相關研究，可參考：Smith et al. - 2002 - Object name learning provides on-the-job training for attention)

本文是頗有deepmind特色的文章，探索深度神經網路的「心理發展」。主題是物體識別網路的「形狀認知偏差」。比如，給你下面三個物體的照片：

現在告訴你，第一個東西叫「卩」，第二個東西叫「亽」，請你猜那第三個東西叫什麼呢？

（哇，漢化這個事兒很麻煩呢，漢字中包含太多隱藏信息）

大部分人會依據物體的形狀來判斷第三個東西的類別所屬，這就是「形狀認知偏差shape bias」。至於這個偏見是怎麼來的，研究嬰兒的發展心理學家可能會認為這是先天的，我們的大腦比如視覺和注意力機制更容易重視形狀方面的信息。但本文則試圖論述，不是網路建築本身，而是學習的大量數據指導我們傾向於讓形狀來主導我們對事物的認知。

本文採用的模型是經典的物體識別模型，但是訓練任務、分析方法卻完全由認知科學啟發，算是一種可以常採用的跨學科研究模式。（當然，我上面提到知識表徵也是因為我想用這種方法研究現代知識庫模型啦）

推薦閱讀：