從事計算機視覺和機器學習的研究，如何獲得認知神經科學和腦科學的啟發？

01-05

研一剛入學，方向是計算機視覺，稀疏表徵和深度學習。昨天看老闆在群里發的VALSE上有關「腦啟發計算」的報告，覺得有必要深入了解人腦的工作原理，這樣對以後的科研肯定有很大的裨益。很多演算法是基於神經信號的統計特徵所提出來的，受到神經科學的研究啟發很大，因此我想知道：詳細介紹腦科學和認知神經科學的書籍或者paper有哪些？是否有資料詳細介紹了新皮層各個區域的分工，及其神經元信號的統計特徵？認知神經科學和腦科學較權威的期刊是什麼？有哪些對計算機視覺和機器學習啟發性比較大的paper？
補充一下:
之前讀過相關的很多書，比如《人工智慧的未來》《意識探秘》《神經科學原理》《視覺信息處理的腦機制》，總體感覺這些書停留在科普的層次，最多也就略微詳細一點的介紹，而沒有更為詳細的介紹，比如實驗數據，詳細的理論推導等等。
而更為深入的文獻資料，並不知道該如何去檢索...

看到一個類似的問題，把答案貼過來。

除了深度神經網路已經實現的特性以外，大腦還有哪些特性是值得機器學習領域借鑒的？ - 張凌祺的回答

======================================

反饋連接, 自上而下的信息處理(Feedback connections, top-down processing)

例如在視覺皮層中就存在著大量的反饋連接。卷積神經網路(CNN) 實際上只描述了在視覺腹側通路(Visual ventral stream) 在0-100ms左右的前饋處理(Feedforward processing)。但是整個視覺感知的過程需要例如注意(Attention), 期望(Expectation) 等反饋機制。這樣的前饋和反饋共同作用的方式也符合貝葉斯推斷(Bayesian inference) 和預測編碼(Predictive coding) 的框架。在神經科學和心理學中有很多對於Top-down處理方式的討論，在計算機視覺/機器學習中的對應則是Generative Model, 近期的GAN, VAE等都是很有意思的工作，也包括DeepMind之前的RAM(Recurrent Attention Model)。期待看到兩方面工作的進一步的融合。

這兩篇都是神經科學角度出發對於這個問題的討論。

http://rstb.royalsocietypublishing.org/content/360/1456/815

https://www.ncbi.nlm.nih.gov/pubmed/20493206

層級結構(Hierarchical Structure)

層級結構不單單在視覺信息處理中有很重要的作用，而是一個非常廣泛的的利用Compositionality來處理複雜表徵的方式。（例如CNN也可以拿來處理語音數據，層級堆疊的LSTM對於許多NLP的任務都有好的效果)。另外，在更複雜的知識表徵層面(Knowledge representation) 層面，我們也可能具有某種複雜的層級結構。

關於這一點的討論，下面兩篇文章都很有意思。

https://arxiv.org/abs/1604.00289

http://science.sciencemag.org/content/350/6266/1332

在決策(Decision making), 運動控制(Motor control), 執行功能(Executive function)方面，層級結構可以使得複雜的行為建立在更小的控制單元上，不但可以很好的解決高維空間的Scaling problem, 也使得習得的經驗具有很好的遷移學習(Transfer learning)的特性(更廣泛的來說，層級結構都會具有更好的遷移學習的特性)，從而實現更穩定的Exploration和Exploitation的平衡。這也是為什麼機器學習和神經科學領域都非常關注Hierarchical reinforcement learning(HRL)的原因。從行為層面上，我們有大量的證據說明人類行為是以某種層級結構組織在一起的，但是我們不知道底層神經實現，特別是學習的機制是什麼。

這篇文章是從神經科學角度出發的一個綜述文章:

https://www.ncbi.nlm.nih.gov/pubmed/18926527

而RL領域最近也有很多工作開始嘗試解決這個問題:

https://arxiv.org/abs/1604.06057

DeepMind在幾天前上傳的工作:

https://arxiv.org/abs/1610.05182

(這篇文章採用了一個兩級的HRL的結構，一些底層的通過預訓練設置的"sensorimotor primitives"，和一個高層的"cortical" network)。原文abstract: "雖然整塊的end-to-end的結構徹底失敗, 通過預先訓練的模塊來進行學習成果的解決了很多高層的任務，並且實現了從稀疏的回報(reward)中學習所需要的有效的探索(exploration)"。

從更廣的角度來看，不同複雜程度的控制系統其實也屬於某種層面上的層級結構。例如我們有習慣導向(Habitual)的控制方式(model-free RL), 而面對複雜問題的時候就會切換到更加靈活的目標導向的(Goal-directed)控制(model-based RL, cognitive control)。同樣的，機器人系統中也需要在不同時間和任務尺度的系統共同工作(High-level planning, low-level planning(navigation), actuator execution)。

基因的作用(Genetic prior)

有一些機器學習的研究者認為直接對比人類和機器的學習能力是不合理的，因為通過進化的方式，我們可能有著一些非常有效的，由基因編碼的Prior (或者叫Heuristic)，從而極大的簡化了後期的的學習任務。那麼從機器學習的角度來看，如何可以找到這些高效的Heuristic，會是一個非常有意思的問題。這個觀點在https://arxiv.org/abs/1604.00289 中的"Developmental start-up software"中有討論。

======================================

從AI的角度來看，很多時候我們不需要關心神經系統到底是怎麼實現某個功能的，而只需要從行為的角度觀察就可以得到啟發。這從某種意義上是一種行為主義(Behaviorism)的觀點。從Marr的三個層次來說, AI於神經科學更多的交叉是在於行為/計算層面(Computational)和演算法層面(Algorithm), 而非接下去的實現層(Implementation)。但神經系統依然在一些方面可能會對機器學習有啟發：

樹突計算(Dendritic computation)

從硬體設計的角度來看，通用的電路在特定任務上的性能/功耗表現肯定不及專門為相應任務設計的專有電路。而神經系統可以看作是由進化過程所尋找到的對特定任務的最優實現。突觸計算是一個非常優美的，說明神經元如何巧妙的利用其自身的物理特性來實現某個特定的計算任務的例子。所以對於硬體電路的設計者來說，或許關注單個神經元的特性，可以比網路的角度獲得更多的啟發。https://www.ncbi.nlm.nih.gov/pubmed/16033324

神經系統對於網路訓練和貝葉斯推斷的實現

Biological plausible implementation of Backprop Bayesian inference

如果大腦真的實現了某種形式的神經網路訓練或者貝葉斯推斷，那麼理解它們的實現機制可能會極大的推動這兩個計算上非常困難的問題的解決。這個觀點在 Frontiers | Toward an Integration of Deep Learning and Neuroscience 有大量闡述。

======================================

還有一些其它零碎的點，例如整個developmental階段其實可以看作一個大規模的學習過程，大腦中不同功能分區之間的交互，都是非常有意思的問題。目前對於這兩個方面了解的還是太少，或許有熟悉這方面的同學可以給出一些討論。

找個研究人類視覺的人合作一起讀paper，不然你會讀的很吃力，思維方式不一樣

推薦一篇 How Does the Brain Solve Visual Object Recognition? 和作者的視頻講義James DiCarlo: How Does the Brain Solve Visual Object Recognition on Vimeo

PS：作者來自McGovern Institute for Brain Research at MIT

我記得好像很久之前看過一本書叫做《認知心理學》，裡面主要講了人對信息的認識和反應，我感覺應該是有幫助的。一方面我們需要了解人類如何處理信息，另一方面不同的人對相同信息的認知不一樣，這裡面多少是由樣本誤差引起多少是由於個體因素引起，而引起心理變化和認知差距的原因又是啥，這是一個深深的坑。

我個人認為認知和意識是一種再學習過程，即我本身會產生一個想法或者學習一種想法，但隨著時間的推移我可能改變這一觀點或者認識（進行創新），反思的次數或者思考的時間（運算複雜度）決定了認識的深度。這個過程是一種單一任務再學習過程，我感覺更偏向於用某種機器學習演算法作為第一層（初次學習），然後用遺傳演算法隨機變異交叉更新迭代作為第二層（創新、再次學習），然後分析特徵向量的權值、組合方式及本身特點對擬合結果的優化程度。這還只是比較初步的想法。

題主可以看下這篇文章：

Deep Hierarchies in the Primate Visual Cortex:What Can We Learn for Computer Vision?

同意題主想法，要在專業上有大的突破應該有開闊的眼界、廣闊的視野。

我覺得可以看看心理學、認知學、神經生理學、生物心理學的教材或專著，一般教材都有比較系統的領域知識總結，圖書館應該都有。個人以為讀paper、看詳細區域分工倒是不一定有必要了，畢竟人腦的機制現在了解那點東西還很弱，應該從大的面上去把握。個人意見，僅供參考

你好題主，關於你這個問題，我認為你是逆過來了。也就是說你做計算機視覺去借用認知神經科學這條路是沒有多大作用。但是反過來卻不一樣。認知神經科學科學雖然也研究視覺，但只是認知意義上的解析，和計算機上的物理解析完全兩個概念。雖然他們的視覺生理基礎都是相同的，但由於研究對象不同，所以很恐怕題主能夠獲取的建設性信息並不多。

大腦暗能量，大腦11空間是探索的核心。

大腦暗能量

你躺在屋外的搖椅上打盹兒，腿上放著一本雜誌。突然，一隻蒼蠅停在胳膊上，你拿起雜誌去拍它。在蒼蠅停在你身上之後，你的大腦里發生了什麼？在停下來之前呢？長期以來，神經科學家一直認為，人在休息時，大腦中的神經迴路基本處於關閉狀態。從這個意義上說，此時的神經活動屬於「隨機雜訊」，就像沒收到信號的電視機顯示的雪花狀圖案。而當蒼蠅停在你的胳膊上時，大腦恢復意識，準備執行「拍蠅任務」。但最近的神經成像研究揭示了一個完全不一樣的事實：當人們躺著休息時，大腦並未閑著，很多重要的神經活動仍在進行。這種不間斷的信息傳遞被稱作大腦的默認模式，它所消耗的能量是我們拍打蒼蠅，或有意識地對其他外在刺激作出反應時所耗能量的20倍。實際上，我們有意識去做的大多數事件，比如吃飯和演講等，都是對大腦默認模式下基準神經活動的背離。

理解大腦默認模式的關鍵，是要找到此前不為人知的大腦系統——默認模式神經網路（default mode network，DMN）。在組織神經活動的過程中，默認模式神經網路到底發揮了怎樣的作用，現在仍在研究當中，但我們知道，大腦在形成記憶，組織其他各種需要為未來事件做準備的神經系統時（比如感覺到蒼蠅停在胳膊上就下意識地去拍打，這個動作就需要大腦的運動系統隨時做好準備），可能就是採用默認模式神經網路預先設定好的方式。在使腦區行為同步方面，默認模式神經網路可能也發揮了重要作用——讓各個腦區就像賽跑運動員一樣，在發令槍打響的那一剎那，都處於合理的「預備」狀態。如果默認模式神經網路確實在為大腦的有意識活動做準備，那麼研究這個網路的行為，也許能讓科學家找到一些線索，揭示意識體驗的本質。另外，神經科學家還推測，默認模式神經網路遭到破壞，可能會引起精神錯亂，以及從阿爾茨海默病到抑鬱症的一系列複雜大腦疾病。

人們在休息或發獃時，大腦裡面到底發生了什麼？過去幾年，我們和其他一些研究小組對這個問題產生了極大的興趣，因為多項研究都暗示，在這種狀態下，大腦中存在一定程度的背景活動。

只須對大腦成像圖進行肉眼觀測，就能找到大腦背景活動存在的證據：無論來自對照組還是試驗組，大腦成像圖總是顯示，多個腦區都處於相當忙碌的狀態。由於都存在背景「雜訊」，通過肉眼觀察原始圖像，我們幾乎不可能從兩類大腦成像圖上找出差別，而要完成這一任務，只有利用計算機進行精密的圖片分析。

進一步分析發現，在執行特定任務時，大腦消耗能量的上升幅度不會超過基礎神經活動的5%。在神經迴路中，大部分神經活動都與外部事件無關，這些活動消耗的能量佔大腦總消耗能量的60%～80%。因此我們借鑒天文學家的說法，把這些固定存在的神經活動稱為大腦的暗能量——看不見的暗能量佔據了宇宙中物質能量的絕大多數。

推測大腦暗能量可能存在的另一個理由是，研究發現只有極少的感官信息能夠真正抵達大腦的中樞處理區域。視覺信息從眼睛傳向視覺皮層的過程中，信號強度會大幅衰減。

人們周圍存在無數信息，每秒約有上百億比特的信息抵達視網膜，但與之相連的視覺輸出神經連接只有100萬個，每秒鐘視網膜傳向大腦的信息只有600萬比特，最終能到達視覺皮層的信息只有1萬比特。

經過進一步處理，視覺信息才能進入負責產生意識知覺的腦區。令人驚訝的是，最終形成意識知覺的信息每秒鐘不足100比特。如果這些是大腦所能利用的全部信息，如此少的信息量顯然不大可能形成知覺，因此固定存在的大腦神經活動必定在此過程中發揮了某種作用。

神經突觸的數量也暗示大腦暗能量可能存在。突觸是神經元間的連接點。在視覺皮層中，負責傳遞視覺信息的突觸數量還不到全部突觸的10%。因此，大部分突觸肯定是用於建立視覺皮層內部神經元間的聯繫。

1995年，威斯康辛醫學院的BharatBiswal等人,發現在完全沒有運動的休息狀態下，大腦左右兩側運動皮層的fMRI信號仍然會顯示出很強的相關性——即腦區激活(activation).

這是一個非常重要的發現，因為之前雖然知道左右兩側的運動皮層在完成雙手協調任務時會同時激活，但並沒有人會想到人在沒有動手的時候負責控制兩側手的區域仍然會同步活動。這提示了一個大腦重要的屬性——大腦中存在著某種暗能量，一種自發的腦活動，而且這些自發腦活動不是雜亂無章的，而是有組織的。

這些腦區包括這些腦區有後扣帶回/前楔葉(PCC/Precuneus), 內側前額葉(MPFC), 雙側角回(bilateral AG), 雙側外側顳葉 (bilateral lateral temporal cortex, LTC), 雙側海馬 (bilateral hippocampus, HF+) (Fox et al., 2005; Raichle et al., 2001)——在很多認知任務實驗條件下幾乎不激活。

Shulman 等人(1997)綜述了相關正電子發射斷層掃描(PET)的研究, 發現這些腦區的大部分在安靜條件下的活動比主動任務條件下高, 被試在進行認知任務時, 這些腦區總是表現出負激活(deactivation)——即默認網路的活動和注意網路 (attention network)的活動相互拮抗(anticorrelation)

隨後, Raichle (2001)提出大腦功能「默認模式(Default mode)」的概念, 以指當大腦不加工外在任務時回歸到基線狀態(baseline state), 並將支持這一功能的腦區稱之為「默認網路(Default Mode Network, DMN)」。這一概念逐漸被其他研究者所接受。

Mazoyer 等人(2001) 的PET研究元分析, 以及Shannon (2006) 分別對區組設計和事件相關設計的 fMRI 研究進行的元分析得出的默認網路腦區均和 Shulman 等人(1997)的元分析結果非常相似。Greicius, Krasnow, Reiss和 Menon (2003) 首次使用靜息態功能連接分析發現以默認網路的重要腦區後扣帶回/前楔葉為種子點, 其與剩下的腦區都存在功能連接, 說明這些腦區具有同步活動的特性, 證實默認網路的存在。獨立成分分析的研究證明默認網路的存在, 研究發現對大腦低頻血氧信號進行獨立成分分析, 可以分離出幾個不同的成分, 其中一個成分就是默認網路, 其覆蓋腦區與任務誘發的負激活腦區類似(Greicius,Srivastava, Reiss, Menon, 2004; Damoiseaux et al., 2006)。

對於人的大腦以及意識的探索，是當前最前沿的科學問題。意識問題的認知，可以引發人類文明的又一次飛躍，可以導致人類衝出地球的壯舉成為現實。

探討人的意識，必須從從人視覺聽覺自閉學者語言天賦論引力場量子場論以相對論量子論為基礎討論人的大腦暗能量-默認模式入手，才可以得到答案。

大腦暗能量，大腦11空間是探索的核心。

最關鍵的證據，是腦科學家提供的，21世紀量子場腦科學理論的關鍵證據，就是人類大腦最多可達到 11 維空間。這也是揭示了在現代物理理論基礎上，重新認知人類行為、認知、情緒、意識與靈魂的關鍵。

人類大腦非常複雜！竟然具有11維幾何空間 -人類大腦|幾何空間|維度-生物通

　　最新研究揭曉人類大腦最多可達到 11 維空間，這種多維空間或許能破解人類記憶的形成之謎。

研究人員使用一種叫做「代數拓撲」的數學模型，確定軟體建立的虛擬大腦中的幾何結構位置。為了測試該模型，研究人員在真實大腦組織上進行了實驗。

據國外媒體報道，人類大腦是最複雜的結構之一，科學家仍需揭曉更多關於大腦的謎團。目前，最新一項研究顯示，人類大腦布滿一種多維結構，該結構可使大腦在

11 維空間正常運轉。同時，理解大腦多維結構將幫助我們揭開記憶是如何形成的。

這項研究使用複雜計算機模型理解大腦細胞如何自己組織起來，完成複雜的任務。瑞士「藍腦計劃」主管、神經系統科學家亨利·馬克拉姆（Henry Markram）說：「我們發現一個我們從未想過的世界，大腦中存在數千萬個幾何結構，它們可達到 7 維空間，甚至對於一些幾何結構，可以達到 11 維空間。」

當叫做神經元的大腦細胞組形成複雜幾何結構時，科學家稱它們為「團（clique）」。每一個神經元與鄰近神經元以特殊方式建立連接，從而形成具有複雜互連的幾何結構。越來越多的神經元加入「團」，從而使該幾何結構增添更多的維度。

三維是指高度、寬度和深度，現實生活中任何物體都具有三維結構。

目前，這項研究發現大腦的維度空間可達到 5、6、7，甚至是 11 維。比利時魯汶大學塞斯·范·李文（Cees van Leeuwen）教授說：「超過物理範圍之外，高維數空間被經常用於描述複雜數據結構或者系統狀況，例如：狀態空間中動力系統的狀態。」大腦空間僅是該幾何結構所有自由度的結合體，其狀態描述自由度的價值實際上是可以假設的。研究人員使用一種叫做「代數拓撲」的數學模型，確定軟體建立的虛擬大腦中的幾何結構位置。為了測試這一模型，研究人員之後在真實大腦組織上進行了實驗，他們發現虛擬大腦能夠刺激形成漸進較高維數的結構，在這些結構之間是多面性洞狀結構。

英國阿伯丁大學拉恩·李維（Ran Levi）說：「當大腦處理信息時，高維洞狀結構的出現意味著大腦神經元網路以非常有組織的方式響應刺激。這就好像大腦對刺激的反應是建立之後消除一個多維塔狀積木，最開始是使用條棒（1 維），之後使用平板（2 維），再之後使用方塊（3 維），之後更複雜的幾何結構具有 4 維、5 維等。

通過大腦的活躍進程類似於一個多維度沙塔，它是在沙堆上建立，之後瓦解散落在沙堆之中。目前研究人員面臨的最大問題是，我們所進行任務的複雜性是否依賴於大腦建立的多維沙雕的複雜程度。

同時，神經系統科學家也努力探索大腦存儲記憶的區域，馬克拉姆教授說：「大腦記憶區域很可能『隱藏』在高維洞狀結構之中。」

探討人的意識，必須從從人視覺聽覺自閉學者語言天賦論引力場量子場論以相對論量子論為基礎討論人的大腦暗能量-默認模式入手，才可以得到答案。

從靈異故事、天賦論、天人合一論和引力場開始，以相對論量子論為基礎大腦11維度空間討論人的知覺、意識 1

從人視覺聽覺自閉學者語言天賦論引力場量子場論以相對論量子論為基礎討論人的大腦暗能量-默認模式 2

大腦的功能有些是可以抽象出來的，比如記憶、好奇心、belief等等，在宏觀結構上完全可以用一般的控制系統實現。在細節部分可以用深度神經網路。也就是說不一定非要自下而上每個角落都用神經元模型構成

以前小組討論過幾篇頂級會議里的論文

我記得一個是「受到博弈論啟發的xxx」

一個是「受到生物啟發的xxx」

不過老闆表示這些東西都是扯淡的，所謂受到xxx啟發其實有時候只是拿那些東西當幌子讓AE以為你的工作很高大上。。。

當然，每個人都有自己的看法，身為傑青的老闆說的話，也沒必要全都當真