神經網路從被人忽悠到忽悠人(一)

為何取這標題呢，只是覺得目前人工智慧只用於娛樂而已。

很早的時候就想寫幾篇關於人工智慧的東西，把人工智慧的東西寫的通俗易懂點，但是畢竟人工智慧的東西涉及的領域太廣了，特別是對數學和概率有比較深的理解，如果只是想簡單的了解，可以跳過文章的公式。

很難想像有什麼事物會像廉價、強大、無處不在的人工智慧那樣擁有「改變一切」的力量。《必然》

前段時間的AlphaGo再次的把人工智慧炒的火熱，關於人工智慧的討論又再次進入討論的風口浪尖上。各個方面對AlphaGo技術的猜測，神經網路也再次成為了技術的焦點。

一個看似簡單的問題

給你一堆的圖片，從圖片中分出是貓，狗。歸結成一個大問題：分類。本身來說，分類對計算機來說本該是最擅長的，本身0和1，就是很好的分類，編程語言的if else，swich，可以做到很好的分類。

像if else這種做法，似乎我們可以編寫一套複雜的規則，這個規則覆蓋所有的情況，就能夠進行準確的分類了。但是這條路是走不通的，之前的自然語言處理就走過這條路。需要另外的選擇一條出路。對，建模。通過模型來進行分類。

要讓機器像人一樣的思考，最好的辦法就是讓他的模型盡量的一樣。萊特兄弟發明飛機時，並沒有像之前一樣利用翅膀，而是通過動力學原理。思考的機器如果靠的是規則下的專家系統，太過複雜，沒有規律。最好的一條路是通過數學公式進行建模。

感知器

Hebb在1949年出版的《行為的組織》中，Hebb提出了其神經心理學理論。Hebb認為神經網路的學習過程最終是發生在神經元之間的突觸部位，突觸的聯結強度隨著突觸前後神經元的活動而變化，變化的量與兩個神經元的活性之和成正比。之後人們相繼提出了各種各樣的學習演算法。康奈爾航空實驗室心理學家Frank Rosenblatt 受到這種思想的啟發，認為這個簡單想法足以創造一個可以學會識別物體的機器，在1956年，創建了演算法和硬體。1958年，Frank Rosenblatt在《 New York Times 》上發表文章《Electronic 『Brain』 Teaches Itself.》，正式把演算法取名為「感知器」。

1957年，Frank Rosenblatt 發布了演算法模型：

1958年夏，Frank Rosenblatt受到美國海軍的經費自助，並召開新聞發布會。《紐約時報》抓住了發布會的要點：

「海軍透露了一種電子計算機的雛形，它將能夠走路、說話、看、寫、自我複製並感知到自己的存在……據預測，不久以後，感知器將能夠識別出人並叫出他們的名字，立即把演講內容翻譯成另一種語言並寫下來。」

現在來看這段話，就能看出Frank Rosenblatt靠譜的預見性了。可是這些事情在當時看來遠超人們的想像，認為Frank Rosenblatt天方夜譚，像小孩子一樣想像著未來。

感知器是有單層計算單元的神經網路，由線性元件及閥值元件組成。感知器如圖所示。

再來看 神經網路的學習過程最終是發生在神經元之間的突觸部位，突觸的聯結強度隨著突觸前後神經元的活動而變化，變化的量與兩個神經元的活性之和成正比。 Frank Rosenblatt用數學的方法描述這個過程。

感知器的數學模型：

其中：f[.]是 階躍函數 ，並且有

θ是閥值。

當感知器的輸出為1時，輸入樣本稱為A類；輸出為-1時，輸入樣本稱為B類。從上可知感知器的分類邊界是：

在輸入樣本只有兩個分量X1，X2時，則有分類邊界條件：

即

也可寫成

這時的分類情況如圖所示。

感知器演算法

感知器的學習演算法： 目的在於找尋恰當的權係數(W1…Wn)，使系統對一個特 定的樣本(X1…Xn)能產生期望值d。

感知器學習演算法步驟如下：

1. 對權係數置初值。

2. 輸入一樣(X1…Xn)本以及它的期望輸出d。

   期望輸出值d在樣本的類屬不同時取值不同。如果是A類，則取d＝1,如果是B類，則取-1。期望輸出d也即是教師信號。

3. 計算實際輸出值。

4. 根據實際輸出求誤差e。

5. 用誤差e去修改權係數。

6. 轉到第2點，一直執行到一切樣本均穩定為止。

感知器是整個神經網路的基礎，神經元通過激勵函數確定輸出，神經元之間通過權值進行傳遞能量，權重的確定根據誤差來進行調節（這個就是學習的過程），這個方法的前提是整個網路是收斂的。這個問題，1957年Frank Rosenblatt證明了這個結論。

或許這才是開始

但是1969年，Minsky 和Papert所著的《Perceptron》一書出版，該書從數學角度證明了關於單層感知器的計算具有根本的局限性，指出感知器的處理能力有限，甚至連XOR這樣的問題也不能解決，並在多層感知器的總結中，論述了單層感知器的所有局限性在多層感知器中是不可能被全部克服的。神經網路進入了蕭條期。

Marvin Minsky是「人工智慧之父」，1970年，Minsky獲得了計算機科學界最高獎項——圖靈獎（the Turing Award），同時他也是第一位獲此殊榮的人工智慧學者。2016 年1月24日，上帝著需要人工智慧，帶走了Marvin Minsky，享年89歲。

這才是開始，2004年IEEE Frank Rosenblatt Award成立，Frank Rosenblatt被尊稱為神經網路的創立者。

神經網路開啟了人類對大腦的模擬形式，一種新型對大腦的建模，在這條路上後續有更多的科學家前仆後繼，我們是樹下乘涼的人。

（未完待續）

推薦閱讀：