從下往上看 第十七部分 另一種神經元模型
黑質Substantia Nigra: 待了解
另外還有神經纖維nerve fiber,是傳導信號的介質。在考察腦內部時被細化為axon和dendrity。在考察外部sensory輸入時,被統稱為nerve,它本身不是細胞體。總體可視作:1.神經元細胞體,axon和dendrity構成計算單元。2.glial和血管形成能量供給和代謝的支撐系統,同時作為力學支撐結構。
初略的可以認為 neuron , axon ,dendrity負責計算。neuron可視作晶體管一般的邏輯單元本身提供穩定的傳輸特性,axon和dendirty構建布線結構提供連接拓撲和信號傳遞通道,連接點是獨立的功能單元synapse。glial和血液系統作為電源系統,為neuron的運轉和維護提供能源支持。因此絕大多數的分析和邏輯都關注於白質和neruon,而不是能量供給和維生所需的系統,甚至在一些文檔中直接把神經元從灰質中分出來,將灰質的作用簡單的視作支撐結構。所以在考察結構時,往往只考慮neuron, axon ,dendrity,和synapse。在看到htm演算法之前,對於synpass的接入位置從來不是一個考量因素。因此類似於MCP-nerouns只認為細胞的輸入結構對細胞體激活特性的影響是固定的,只受到synapse連接強度的影響。HTM的基本觀點認為對於神經元輸入而言,存在三個基本的連接模型:1。前饋:直接連入細胞體的synapse2。遠端:dendrity遠端synapse
3。上下文:近體端synapseMajor G1, Larkum ME, Schiller J.2013-Active properties of neocortical pyramidal neuron dendrites.下面是不同位置的NMDA spike的波形。https://www.youtube.com/watch?v=o2MD5-28jJAhttps://www.youtube.com/watch?v=tL1jHPb-ctM
https://www.youtube.com/watch?v=SaW-Q_l83nIhttps://www.youtube.com/watch?v=v3LuU-E3YQg這種模型認為,皮質的錐形細胞在近體端的dendrity上的synapse的協同激活可以產生NMDA spike和soma的去極化,NMDA spike有很大程度上體現出非線性的特徵,輸入和激活輸出之間不僅僅是簡單的疊加結果,因此不能簡單用疊加的概念來考察輸入的內容。輸入對輸出的連接被分為三類:正饋的近體連接可以直接導致產生動作電位。遠端的連接產生的nmda spike可產生去極化,但往往不足以產生動作電位。也就是說去極化可能出現兩種情況,去極化和動作電位兩者之間直接分開考察。同時將去極化作為一個內部狀態進行評估。所以HTM的基本模型認為dendirties不同位置的輸入對NMDA受體的輸出特性產生不同的影響。這明顯與MPN的邏輯不同,MPN認為神經元具備統一的輸入-輸出傳導特性。而在此項研究的前提下神經元傳遞模型隨著輸入節點位置的不同而具備截然不同的傳遞特性,這對於神經網路的基本建模提供了全新的可能。HTM的理論中這種連接模型與neocortex中的層次關係有關。context來自於同層內的neuron的輸入,90%的連接都來自於上下文和反饋的迴路。前饋端的近體連接,但來至於不同的輸入層次,產生實際的激活。遠端則負責反饋信息的處理,同樣產生去極化但不產生動作。這三組不同的接受位置按照不同的目的進行分工,每組不同的連接都能識別不同的pattern並引導soma產生不用的輸出。htm的神奇之處,在於丟棄搜索的方式構建網路連接,使用單一的hebb 規則形成整體網路。整體上放棄了上帝之手的調參和訓練。整體上相鄰的synapse從簡單的連接節點的功能設定變成了更為複雜的pattern檢測器。換而言之在HTM的模型上應用不同的連接類型執行不同的功能。
由此構建出的基本邏輯是:1.表達按照col的方式進行2.不同col內的神經元進行context連接3.一個輸入優先激活被去極化的CELL4.被激活的 cell會對col內的其他cell進行抑制5.增強連接的邏輯為類似hebb的邏輯,預測+被激活則增強6.整體原則為,往去極化程度最大的節點方向添加連接。HTM使用稀疏的方式執行輸入的表達。當一組輸入引入htm時,先將其稀疏化。再使其接入3維的神經元結構。和ANN相同的是,HTM和ANN都同時忽略了時序特性,這兩套模式都忽略掉了嚴格上的信號傳導時序。但HTM在時序方面引入了預測環節,來進行激活和抑制。如果考察一個n種可能的輸入時在序列長度為m時,它可能的表達空間為k如果用神經元組合來表達時,需要n行m列進行完整表達。以區分某個具體輸入,在序列差異上的表達形式。表達一個長度為t的序列所需的表達空間為,N的信息空間的t次方。因此 HTM直接面對的問題是如何構建一個信息的速查表格。這些表格內僅存放已知的特徵序列,而無需為所有可能性保留信息空間。推薦閱讀:
※深度神經網路(DNN)前向傳播
※神經網路之Pointer Net (Ptr-net)
※從下往上看 第十五部分 CNN-整體到局部
※使用py-faster-rcnn進行目標檢測(object detect)
※受限制玻爾茲曼機(RBM)的能量函數及其梯度求解