神經網路的論文里說到的local feature和global feature分別是什麼含義?
請教各位,神經網路的論文里說到的local feature和global feature分別是什麼含義?經常在論文里看到出現。只是從字面上理解,local feature是從樣本局部提取的特徵,global feature是從整個樣本提取出來的特徵。但是否有更具體一點或形象一點的例子呢?
在計算機視覺方面,global feature是基於整張圖像提取的特徵,也就是說基於all pixels,常見的有顏色直方圖、形狀描述子、GIST等;local feature相對來說就是基於局部圖像塊,即基於local patches的,常見的大多數特徵都是局部特徵,如SIFT、LBP等。
補充下(2016.12.01):在卷積神經網路的前提下,local feature一般指的是網路卷積層的特徵,(conv feature map),它保留了圖像中的空間結構信息(spatial infomation),feature map中不同位置的特徵,是對原始圖像不同局部的描述。而global feature指的是網路頂層的spatial resolution為1*1的那些全連接層的特徵,此時已經找不到圖像中對應的局部,對應的是全圖。考慮到全連接本身就是1*1的卷積,可以簡單這樣理解,feature map的resolution大於1*1的時候,此時的conv或者fc特徵都是local feature,在降到1*1之後不管是fc還是conv應該都算global feature。以AlexNet為例,conv1-5是局部特徵,fc6-8是全局特;如果是NIN或者inception網路,在做global average pooling(GAP)之前都是local feature,做完GAP之後就變成了global feature。
如果放在神經網路(應該特指卷積神經網路吧)的背景下來說,local feature表示網路的前面幾層的結果,這裡每個值對應的感受野小,稱為local,而後面的幾層輸出每個值對應的感受野就很大了,尤其是經過全連接層後感受野為整個圖像了,可視這些特徵為global。
個人淺見!歡迎大神指正!
一句直觀的印象就是:local feature,擁有更多的局部細節(details),越少的不變性(invariant),而global feature正好相反。
====== 2015年6月8日12:54:15 ======
個人認為,無論是local還是global,都是一個相當寬泛的概念,並沒有明確的定義。題主問的是,神經網路中的local和global,那我的理解就是:global feature,具有表示原始數據的abstract semantics的特徵(並不是所有基於所有像素提取出的特徵都含有數據的abstract semantics)。該類特徵普遍是基於各種模型經過多層學習得到的特徵(也就是所謂的high-level特徵);local feature,正好相反。它可以理解為從某個局部區域中提取出的特徵,並具有表示原始數據detailed semantics的特徵。該類特徵普遍是單層學習或淺層學習(即所謂的low-level特徵);
=============================例子的話,留著!晚上接著填!如果是CNN的話,他就這麼一說,你就這麼一聽就好了
推薦閱讀:
TAG:人工智慧 | 機器學習 | 神經網路 | 人工智慧演算法 | 深度學習DeepLearning |