我好奇人們為何好奇：計算認知科學視角

我是紐約大學computational and cognition lab（計算與認知實驗室）的phd，實驗室詳情戳這裡，歡迎與我聯繫詳談科研構思與合作。

你覺得好奇心是什麼？有好奇心和沒有好奇心的人，有什麼區別？

常見敘述：生而好奇的孩童，成長為無聊的成年人。真的嗎？恐怕孩子們也不能理解成年人們的求知慾吧：對於某個明星到底有沒有整容、對新一代iphone究竟會有何變化、對朋友圈某條評論可有深意……看看你每天花了多少時間在微博和知乎上，潛水：這不是社交媒體嗎，你怎麼不去社交、不去和人說話？已經困了乏了，卻放不下手機，繼續刷著看著，從這樣反生物節能原則的行為中你得到了什麼？

至少得到了一部分好奇心的滿足吧。好奇心驅動的行為，實在是信息時代生活的一抹底色。

卻也實在不是什麼新時代產物。更恰當的描述是，信息科技之便利，為那一直蠢蠢欲動的生物本能提供了出口。好奇有時會害死貓，但更可能是生物在進化中發展出的必備功能。

## 如何研究好奇心？兩個視角

好奇，探索，是如何區別於一般的被動填鴨學習？那種勾人的快感，和美食與愛情帶給人的快樂又有何區別？這兩個問題，對應於好奇心的兩個重要側面，我稱之為信息處理視角和情緒動機視角。

1.1 什麼引你好奇？——好奇心的信息處理過程

可以把一切日常活動看做資料庫間的信息交換：你的所有已知信息構成主體資料庫，不斷請求並獲取外界數據，然後整合進入主體資料庫，更新自我知識。可以通過對話文字，也可以僅僅是敲敲門，喲，廁所已經有人了。

好奇心，就是那個敲門請求數據（「query」）的動作。

那我們的問題就是：什麼時候你會去敲門？為什麼你要此時去敲門？

換算成學術語言：（1）主體（agent）的信息狀態為何時，會特別希望去尋求外界信息？什麼樣的外界信息會引起主體的興趣？（2）這背後的原理是什麼，比如，是否是某種最優化的學習策略？

對於（1），算是標準的認知科學問題，已有不少研究。比如Berlyn認為，當你感到認知衝突時（~外界數據與本體資料庫預期不符），便會好奇；Loewenstein則認為，如果你發現有些信息你不知道（information gap），你就會好奇。

聽起來很簡單，符合直覺，但如何用實驗證明？經典的心理學研究往往構造些實驗室中的學習場景，極端如Berlyne的研究大多是看人們對不同複雜程度的幾何圖形的反應（假設是，「有趣的」圖案會引起你更多地眼動向那邊看）。

> stimuli mentioned in berlyne 1966

我認為非常重要的一個方向就是在現實的場景下，如何激發或抑制好奇心。比如在我已有的[研究中]，簡單分析了Quora中3k個問題的語言結構，驗證了我的一些假設（比如，人們對極端的例子更感興趣，「你在生活中吃過的最大的虧是什麼」？比如，人們在看到違背預期事件時會發問，「為什麼雅虎曾經那麼成功，後來卻居然倒了？」）。

但我真正希望的是，潛入人們的知識結構，真正刻畫一個人（或者全維基百科、全人類）的知識庫，如何生長，何處有空缺。這方面研究的應用暢想：餵給機器一本教材，自動生成一些引人好奇的問題，快樂學習 so easy。

（1）問的是「是什麼」（description），（2）則進一步問「為什麼」（mechanism/normative theory），把好奇心看做一種學習演算法，然後試圖反推其背後的目標函數。這便要用到計算認知科學的思考方法。

那麼有哪些演算法與好奇心驅動的學習類似呢？很多人會想到強化學習中的exploration-exploitation問題：放棄手裡最好的牌，反而隨機摸一張新牌，這與好奇者的探索是否類似？一大問題在於，強化學習中的終極目標仍是單一的「求獎勵」（reward），可我們說好奇者的一大特點恰恰是不為外界獎賞驅動。

在AI研究中已經有了些更純粹「求知者」，為信息狀態本身而驅動。比如學會探索的機器狗（Kaplan and Oudeyer, 2007），其演算法的動力在於更好地預測外界環境，同時而且要主動邁出舒適圈，學無止境；比如這個超級瑪麗機器人，不同於大量傳統的基於獎賞的遊戲AI（alphaGo當然也屬於這類），只是儘力去學習自己原來不知道的事情(Curiosity-driven Exploration by Self-supervised Prediction)在這裡；一個不錯的youtube[短片介紹]）。

更大的問題仍然是現實場景下的好奇心：當知識海洋無窮無盡，可以學習的任務無窮無盡的時候，如何決定你要學什麼？

1.2 好奇讓我如此愉悅 ——好奇心的情緒動機視角

好奇也許是一種理性的學習策略，但同時也是那眼前一亮的喜悅、心裡搔癢的期盼、豎起耳朵的專註……這些現象提示我們，好奇作為一種普遍的情緒，一定有其生理基礎：是特定的大腦通路呢，抑或與其它獎賞通路、注意力調節機制十分類似？

要回答這個問題仍要分成兩步：「是什麼」的描述，「為什麼」的機理。

好奇心引起的生理變化是什麼？注意力更集中，情緒也許更愉悅但也或許有緊張、懸念的成分，除此之外也許還有瞳孔放大、血壓升高等（此處為瞎猜，還需填補研究證據）。這些變化之間的聯繫也值得探討：什麼樣的情緒狀態下，注意力會更集中？這正是我目前PhD階段研究的課題，當人們在讀一本偵探小說或看一場球賽的時候，什麼情況下會全神投入、手不釋卷？我們的假設是，「驚奇」和「懸念感」是重要因素（啟發於 Ely et al , 2015）。另外還可以問，好奇心引發的生理變化，是否能直接改善學習效果？Kang et al 2009年的一個經典研究顯示，當人們在學習自己最為好奇的知識性問題時（trivia questions），之後的記憶效果也最佳。

為什麼會引起這樣的變化？這終於就可以進入神經科學的研究領域了。總說好奇心讓人愉悅，那麼好奇心引起的獎賞信號，和其它常見獎勵（糖、錢）是否一樣？上述Kang et al以及更新近的Gruber et al. (2014) ，讓人們主觀報告自己對問題的好奇程度，同時對大腦fMRI掃描，得到的答案都是——非常類似。如果想更仔細地看看大腦，那就來看看猴子吧：Bromberg-Martin and Hikosaka 2009的研究中，發現猴子願意犧牲一些果汁的獎賞，換取預知未來「能有多少果汁」的信息，而驅動這樣選擇的神經元也與驅動一般獎賞尋求行為的神經元類似。

不過從這些例子也可以看到，為什麼我不願直接投入好奇心話題的神經研究。我認為最重要的斷裂一環在於，對如何引起好奇心，我們沒有很好的實驗範式：猴子對於「有多少果汁」的好奇，到底過於簡單，並不會引起一系列學習探索行為；而如果真想研究人對於知識的學習，目前卻只能完全依靠被試主觀報告其知識狀態和好奇程度，卻很難控制操縱。要補上這一環，還需對好奇的信息處理視角有更多理解。

2 我的研究計劃，以及「眾籌研究」構想

2.1 文獻回顧計劃

先列一些信息處理視角的計劃。

基本問題：如何量化一個人當前的知識狀態？知識狀態為何時，我們預期其會產生好奇心？

常見答案是，當現實與預期不符便會產生好奇心，至於怎麼量化這個「不符」則有很多做法。我關心已有理論在數學表達上的不同，也關心他們採取的行為實驗範式，更關注其背後對於「知識狀態」的不同理解（僅僅是一大堆數據點，亦或是結構，亦或還包含抽象理論和邏輯推理？）。

對於以下幾篇文章，我希望先做一番回顧梳理。選得比較隨意，隨時改計劃也有可能。

輸出速度計劃是每周處理一篇，寫review貼出來。

1. Friston, K. J., Lin, M., Frith, C. D., Pezzulo, G., Hobson, J. A., & Ondobaka, S. (2017). Active inference, curiosity and insight. Neural Computation.

信息處理視角的Friston流派，自由能（free energy）萬能論。總的來說應該還是用概率論的視角處理「知識」，用自由能最大化作為目標函數。

閱讀問題：1) 理解其目標函數，與其它演算法如variational inference的聯繫（Friston的文章大家一般都讀不懂……這也是讓我極其好奇的原因之一）；2) 理解他的理論是否能給出新的預言，關於curiosity和insight的關係。

2. Baranes, A., Oudeyer, P. Y., & Gottlieb, J. (2015). Eye movements reveal epistemic curiosity in human observers. Vision research, 117, 81-90.

用眼動衡量好奇心，比Itti & Baldi 2006經典文章更進一步在於把epistemic knowledge放進去了。也需要關注後續：Oudeyer & Gottlieb都是當下好奇心領域研究的主力。

閱讀問題：1) 理解實驗範式，怎麼把epistemic curiosity放進去的；除了眼動，還有沒有其它行為指標 2) 是否能夠量化和控制知識 3) Gottlieb實驗室的後續研究

3. Greif, M.L., Kemler Nelson, D.G., Keil, F.C., and Gutierrez, F. (2006). What Do Children Want to Know About Animals and Artifacts?: Domain-Specific Requests for Information. Psychol Sci 17, 455–459.

這篇文章具體處理了特定的人類知識，認知層次更高。

閱讀問題：1）理解其理論範式；是否可能拓展為探測好奇心相關的範式 2）理解作者的理論解釋，將其數學化 3）稍微追溯一些發展心理學的好奇心研究，即孩子的好奇心與表現。

4. Pathak, D., Agrawal, P., Efros, A.A., and Darrell, T. (2017). Curiosity-driven exploration by self-supervised prediction. ArXiv Preprint ArXiv:1705.05363.

人工智慧研究，好奇心驅動的agent學習玩超級馬里奧。

閱讀問題：1）數學結構，和更早的其他AI與機器人研究有何異同？2）特別關注，在任務極其複雜多元的情況下，如何分割子任務？ 3）試著跑一下他們的代碼，看看問題的計算量級如何

5. 以下三篇之一。均為RL與自動學習相關。看一下大概問題即可。

Houthooft, R., Chen, X., Duan, Y., Schulman, J., De Turck, F., & Abbeel, P. (2016). Variational information maximizing exploration. Advances in Neural Information Processing Systems (NIPS).

Held, D., Geng, X., Florensa, C., & Abbeel, P. (2017). Automatic Goal Generation for Reinforcement Learning Agents. arXiv preprint arXiv:1705.06366.

Nylend, M. S. (2017). Data Efficient Deep Reinforcement Learning through Model-Based Intrinsic Motivation (Masters thesis, NTNU).

2.2 原創研究計劃

我最希望的研究方向是把現實世界的知識數據用起來。有這麼幾個主要的數據源，我覺得有潛力玩耍一番：

- 自然語言生成的問題數據，比如Quora，知乎，還有小眾些的如"explain like Im five"(Explain Like I'm Five | Don't Panic! ? r/explainlikeimfive)。 可以研究的方向包括：如何通過語言特徵預測哪些問題更引人好奇（如何量化引人好奇的程度）？可否對出於好奇和出於現實需求的問題進行分類？可否通過回答反推出問題？推出下一步要問的問題？

- 知識庫，如wikidata。我在[這篇文章](問題生成 (Question generation)：AI與認知科學)中已經對一些知識庫問答進行了梳理。可以研究的方向包括：知識庫的結構，和大量基於概率論的好奇心理論，是否可能溝通，從而用知識庫的數據模擬一個人的知識庫，進而推測其好奇程度（或者給知識庫什麼新數據，會引起它的好奇）？

2.3 眾籌科研

科研很寂寞，如果你感興趣以上任何研究方向，或僅僅是對這個話題感興趣，希望與我一起做一些文獻回顧，歡迎聯繫我。

3. 最後，參考文獻（同時也是經典文獻入門列表）：

Berlyne, D.E. (1966). Curiosity and Exploration. Science 153, 25–33.

（非常重要！Berlyne的理論框架現在仍被常常提起，定性研究已經概括得非常好了）

Loewenstein, G. (1994). The psychology of curiosity: A review and reinterpretation. Psychological Bulletin 116, 75–98.

世紀節點的重要回顧。

Kaplan, F., and Oudeyer, P.-Y. (2007). In search of the neural circuits of intrinsic motivation. Frontiers in Neuroscience 1, 17.

關於好奇機器人研究的開山之作。

Kang, M.J., Hsu, M., Krajbich, I.M., Loewenstein, G., McClure, S.M., Wang, J.T., and Camerer, C.F. (2009). The Wick in the Candle of Learning: Epistemic Curiosity Activates Reward Circuitry and Enhances Memory. Psychological Science 20, 963–973.

Gruber, M. J., Gelman, B. D., & Ranganath, C. (2014). States of curiosity modulate hippocampus-dependent learning via the dopaminergic circuit. Neuron, 84(2), 486-496.

Bromberg-Martin, E.S., and Hikosaka, O. (2009). Midbrain Dopamine Neurons Signal Preference for Advance Information about Upcoming Rewards. Neuron 63, 119–126.

關於好奇心與腦活動的重要作品。

推薦閱讀：