智能的奧秘(二)——通向妖巢的道路

前情回顧

上一篇文章《智能的奧秘(一)——藏在初代神經網路中的小妖》提到,最初的神經網路模型「感知機」由於無法處理線性不可分問題而受到詬病,而典型的線性不可分問題「異或運算」可以從非常簡單的起點出發,在棋盤上構造出紛繁的圖形——歇爾賓斯基三角,它是一個「分形」。而之所以如此,則是因為異或運算具備非線性的特徵,複雜的分形就像是藏在非線性特徵中的小妖,她隱秘、難纏,但它卻可能帶我們深入理解這個世界。為了捉住這隻小妖,我們要觀察它的蛛絲馬跡,所以就從歇爾賓斯基三角開始。

一、分形——藝術與真理的結合

如前文所述,謝爾賓斯基三角形是由波蘭數學家謝爾賓斯基在1915年最早提出的,它的形態如下:

我們可以看到它的局部與整體有自相似性,所以它是一個分形。

分形在數學裡是一個小眾領域,它是由美籍數學家本華·曼德博(法語:Benoit B. Mandelbrot)在1960年代首先提出的。分形的詭異之處在於,它的任何一個局部都充滿了孔隙、鋸齒,用數學語言講,它是「處處不可導」的,因此微積分對它束手無策。比如上面這個歇爾賓斯基三角,就處處都是孔洞,你找不到任何」一小片「是像瓦片那樣」完整「的,無論你把它放大多大,看起來也還是一塊「紗窗」。這就意味著,雖然看起來它佔據了一定的平面空間,但實際上它的面積是0。是不是有點詭異?

儘管擁有詭異的性質,分形的美感還是令人傾倒,在眾多分形中,最著名也最有美感的當屬Mandelbrot集的圖形:

他不但具有十足的藝術感,更是蘊含了自然界的奧秘,就連一些物理學家也說,「今後誰不熟悉分形,誰就不能被稱為科學上的文化人」。關於分形的文章有很多,本文不再贅述,我們回到歇爾賓斯基三角。

二、曲徑通幽

如果你不經意走進一處隱秘絢麗的風景,你一定會覺得幸運。而如果你發現幾條看似毫不相干的道路,最終都通向這片隱秘之處,你一定就會覺得這裡蘊藏著秘密。而歇爾賓斯基三角,就是我發現的這片隱秘之處。

第一條路

我們上一篇文章介紹了通向歇爾賓斯基三角的第一條路,我們簡單回顧一下。首先,我們把一排方格的某一個塗成黑色,也就是標記為「真」,其餘塗成白色,標記為「假」。

而後,我們從第二排開始,對將上一排相鄰的兩個方格進行「異或運算」(計算規則圖示如下),並將結果標記在這一行中。

最後我們不斷重複這一過程,將隨後的每一行都做滿標記,我們就將得到一個歇爾賓斯基三角。

第二條路

除了上面的方法以外,還有其他貌似毫不相干的方法也能得到歇爾賓斯基三角。首先,我們從一個完整的三角形開始,將它的三條邊的中點相連,形成一個新的小三角形。我們將這個小三角形從原來的三角形中挖掉,從而一個黑色大三角形變成了三個小三角形。

而後,我們對三個小三角形重複上面的操作,它又變成了九個更小的三角形。

再後,我們對新形成的三角形反覆進行相同的操作,並想像這種操作無限重複下去,最終我們就得到了這樣的圖形,它仍是一個歇爾賓斯基三角。

與上一個方法得到的圖形相比,你可能會覺得兩個圖形是不同的——上一個圖形中的每一個最小的「小塊」是正方形,而這個圖裡是三角形。其實這只不過是因為我們沒辦法真正無限操作下去,如果我們可以無限操作下去,方法一中的「鋸齒」將會非常非常小,以致於成為一條直線。

我們略微總結一下這種方法,它是從一個完整的二維圖形出發,不斷的挖空其中的一部分,最終得到分形。

第三條路

這一次,我們從一個一維圖形(也就是線段)出發,同樣得到了歇爾賓斯基三角。

首先,我們需要兩條線段,他們一段相連,另一端分開,形成一定的角度,也就是一個「V」字形。

隨後,我們取分開的兩端連線的中點(也就是上面三角形底邊的中點),分別和兩條線段的中點連線,這樣一個V字形就變成了三個V字形。

最後,我們對每個V字形不斷重複上述過程,我們會得到的圖形:

繼續不斷重複下去,想像我們能重複無窮多次(需要你的一些想像力),那麼最後的圖形仍然是歇爾賓斯基三角。

我們仍然要略微總結一下這種方法,它是從一個一維圖形出發,不斷增添一部分,最終得到分形。

第四條路

這一次我們從一個空白的三角形出發,將三角形的三個頂點記為A、B、C。

首先,我們在三角形內隨意找一個點s0,在A、B、C三個頂點中隨意找一個頂點,畫出這個頂點和s0連線的中點s1。

隨後,我們在A、B、C三個頂點中再隨意找一個頂點,畫出這個頂點和s1連線的中點s2。

最後,我們不斷重複上述過程,就會在三角形內部得到很多個點,這些點組成的形狀是什麼呢?

我們發現最後竟然仍是歇爾賓斯基三角!

更多條路

不僅如此,還有另外其他方式可以到達歇爾賓斯基三角:

我們不禁要問,在這些各不相同的路徑背後,到底有什麼共性?為什麼它們都到達了同一個目的地?坦率的說,筆者也沒有完全弄明白,只是發現了一些線索。下一篇文章,我將向大家呈現這一線索。
推薦閱讀:

CS231n Assignment2
深度學習框架內存不夠解決思路
李飛飛最新論文:構建好奇心驅動的神經網路,複製嬰兒學習能力

TAG:分形理論 | 神經網路 | 拓撲學 |