編外雜記-另一個角度的看法

深度無疑為解決各類問題提供了有效可拓展的框架。就其本身而言，沒有走出神經網路的基本邏輯結構。拋開LSTM這類變種的單元結構，複雜結構的深度結構仍然沿用了神經元這一單元概念作為處理建模的核心機制。深度架構下的通過堆砌神經元的單元結構來實現對具體目標的「黑盒建模」---不追求其內部組成相似，在輸入輸出結構上尋求相似。所以有必要從新梳理整體的運行邏輯。

相似的系統?

假設面對這樣一個問題，某個系統由於其內部結構過於複雜，無法對其進行精確的解析。但通過一系列激勵已經獲知其對應的一部分輸入和輸出。

1.此時，如能找到一個相似的系統能在已有的輸入和輸出特性上與之相似，是否能假設，這兩個系統之間是相似的？

2.對一個新的輸入而言，是否能用「相似系統」的輸出結果來「猜測」原有複雜系統的輸出？

邏輯上，這個「相似系統」確實不能說是與「原複雜系統」是相似的。它既可能是其子集，也可能只是在局部上輸入輸出特性重疊。它決不充分，但確是「與原複雜系統相似」的必要條件。

全能的表達形式：

重新再考慮這個問題的進一步要求，如果面臨的問題是「所有問題」，即意味著需要找到一個「萬能的公式」或是固定結構來描述「所有」系統的傳輸特性。也就是說這裡需要找到一個能表達所有函數的數學表達形式，它不能是抽象的符號化內容，它需要有有限的基本表達單元-所以必然不能是符號化的「公式」---公式本身附帶了由額外符號引入的計算方法，顯然它不夠簡單無法統一映射到計算機所能對應的底層邏輯，有限的表達形式之外還需要有限的處理方法。神經元結構正是這麼一種表達形式，通過拓撲的級聯，通過簡單的加減乘除，即可完成公式的表達，從這個意義上來說，它相較「數學公式」表達更為統一和簡潔(基本要素之簡單)。

通過搜索試錯：

再進一步考慮這個問題，如果表達的能力是無限的---待處理的問題表達也必在其中。最後的問題就剩下：「如何把這個特定的表達找出來？」所幸的是我們還能有一些其他的線索-「樣本」-已知的輸入和輸出。由於表達的基本形式是確定的，我們所能做的即是在有限樣本條件下遍歷並檢查「所有」的組合。如果某個特定的表達組合能滿足輸入和輸出的約束，那它可能就是尋求的答案--「原系統的傳遞函數」。

連續性的前提：

這可能是搜索能適用的最重要前提了。要知道我們待搜索的表達形式的參數組合是無限的-"遍歷"是不可能的。連續的前提確保了「導數」應用的可能，也就確保了搜索是定向的.

輸入是有限的：

來自自然世界的數據總服從某些特定的規律，甚至有人能總結出其概率上的分布規律。此時若用已知的輸入分布去約束網路參數的構建，可以極大的縮減需要的搜索範圍。即便不能預知輸入的分布，用對稱網路結構去「透傳」輸入樣本，也能約束網路的參數範圍。
推薦閱讀：