從下往上看-- 第十六部分 回看ANN(待完成)

回看一下ANN的是如何工作的兩個核心要素，結構和配置。

1.結構，從hopfield開始，可以看到所有的ANN結構都是hopfield圖的配置子集。

開環的部分：在超過一定的層次後，ANN可以獲得在時不變函數的範圍內的所有可能性。所需的內容只是配置其連接結構和連接權值。在邏輯的與或非只是這些組合中的特殊表達形式。由此可以認為只要具備合理的配置方式，FNN結構可以獲得「所有」我們需要的計算模型-只要該模型可以用數學表達寫出來，就可以有至少一種以上的結構可以表達之。分類特性可認為是一種特定目的的計算過程。

閉環的部分：在有反向連接的網路中，反向鏈接的可以引入上下文對計算單元的影響，這種特性既可以視作「記憶」特性，也可以視作上下文的影響。對網路本身而言，不存在所謂的「時間」概念，僅續存「序列」固有的特徵。

對網路結構進行局部的邏輯分層，可得到整體網路的局部表達。這種局部表達本身如果滿足信息空間在某些特定維度的正交，則此類局部結構起到映射輸入信息映射到某些特定信息空間的作用。這種映射在這些信息維度上不產生任何的信息丟失，並會使得局部信息得到放大或是縮減。這種作用類似於濾波器在通信過程中的作用。顯化出來的信息部分，被稱為「特徵」。在輸入範圍的前提下，正如FT,這種顯化過程是可逆的，通過某個特定的過程可以還原其原有信息。就當下而言，這被定義為「不丟失信息」的基本原則。事實上現有的思路還更近一步，僅要求在輸入範圍內不丟失信息，而不是針對「任意」信息源。

由此結構產生的作用是明顯的作用於三個特定的方向：

1.特徵的顯化-局部網路的計算特性。

2.序列的關聯-反饋網路的計算特性.

3.目的功能計算-網路的傳輸特性有如分類。

2.配置：網路的配置過程被我們稱為「訓練」。獲得特定功能的網路結構配置普遍使用的方法是搜索。通過設計，我們可以確定一個待配置啊網路的基本結構，通過搜索的方法，來獲得網路本身的配置。配置的過程事實上是ANN的核心問題-如何有效的在一個ANN結構上找到合適的配置。事實上除去導數特性外，我們缺乏有效的方法縮小網路搜索的計算量。配置過程是獨立於計算過程的過程。它像是「上帝」一般的操作和配置這個特定的網路結構。當一組訓練滿足特定的訓練目標後，此網路即具備某個特定的網路特性，此過程更像是在搜索的前提下找出「建模」結果，與猴子和名畫的故事無異。這卻與人腦的信息構建方式有根本性的差異。人腦的配置過程與計算過程似乎是一體的，不存在一個上帝之手擺弄大腦底下的神經元結構(如果沒有上帝的話)。配置問題在網路結構出現反饋和層次增加的情況下變的異常複雜，有如棋盤擺大米一般，在迴路增加或是網路層次增加的前提下，搜索的空間增加迅速這就是VC問題的基本來源。導數方法很大程度上可以減緩搜索維度遞增的影響，局部極值的問題明顯的限制其收縮搜索方法的效果。搜索目標的設置十分的特別，它既可是直接與輸入輸出相關，也可是網路的局部節點的計算值(比如能量函數)。

即便我們現在可以用神經網路構建出諸多的實際應用，起碼在網路自組織這個基本問題上，還是一無所知。更不用說用析構的方法來逐步解釋這一過程。

關於預測：

預測的特性是來自於對信息本身假設，而非網路本身。在autoencoder之前，fnn所用於預測的部分來自於數據生成模型固有的假設或是傳輸網路固有的假設。通過假定數據生成模型固有，可「預測」新的輸入是否符合某個特定的生成輸入的函數。或是假設傳輸網路的連續,"預測"在某個特定值上目標輸出的內容。用於預測的網路本身，是對傳輸系統或是對輸入系統的「建模」。這種建模過程與傳統的建模過程不同，它無需分解，析構模型本身。而在autoencoder之後，這種模糊的建模過程被鎖定到一個特定的範圍內進行構建-輸入的統計分布。autoencoder的通過「樣本無損」這一過濾原則對信息進行再表達以達到呈現「特徵」的可能性。類似於RBM則更一步直接鎖定其分布為某個特定的分布函數，由此來"預測"其他不可見輸入的分布進而提升此類預測的可靠性。RBM和Autoencoder本質上解決的問題是「有效」提取「特徵」的問題--預測輸入分布，而非預測本身。
推薦閱讀：