常見核函數

核函數方法簡介

（1）核函數發展歷史早在1964年Aizermann等在勢函數方法的研究中就將該技術引入到機器學習領域，但是直到1992年Vapnik等利用該技術成功地將線性SVMs推廣到非線性SVMs時其潛力才得以充分挖掘。而核函數的理論則更為古老，Mercer定理可以追溯到1909年，再生核希爾伯特空間(ReproducingKernel Hilbert Space, RKHS)研究是在20世紀40年代開始的。

（2）核函數方法原理根據模式識別理論，低維空間線性不可分的模式通過非線性映射到高維特徵空間則可能實現線性可分，但是如果直接採用這種技術在高維空間進行分類或回歸，則存在確定非線性映射函數的形式和參數、特徵空間維數等問題，而最大的障礙則是在高維特徵空間運算時存在的「維數災難」。採用核函數技術可以有效地解決這樣問題。設x,z∈X,X屬於R（n）空間,非線性函數Φ實現輸入間X到特徵空間F的映射,其中F屬於R（m）,n<<m。根據核函數技術有：

K(x,z) =<Φ(x),Φ(z) >(1)其中：<, >為內積,K(x,z)為核函數。從式(1)可以看出，核函數將m維高維空間的內積運算轉化為n維低維輸入空間的核函數計算，從而巧妙地解決了在高維特徵空間中計算的「維數災難」等問題，從而為在高維特徵空間解決複雜的分類或回歸問題奠定了理論基礎。

（3）核函數特點

核函數方法的廣泛應用,與其特點是分不開的：

1）核函數的引入避免了「維數災難」,大大減小了計算量。而輸入空間的維數n對核函數矩陣無影響，因此，核函數方法可以有效處理高維輸入。

2）無需知道非線性變換函數Φ的形式和參數.

3）核函數的形式和參數的變化會隱式地改變從輸入空間到特徵空間的映射，進而對特徵空間的性質產生影響，最終改變各種核函數方法的性能。

4）核函數方法可以和不同的演算法相結合，形成多種不同的基於核函數技術的方法，且這兩部分的設計可以單獨進行，並可以為不同的應用選擇不同的核函數和演算法。

（4）常見核函數

核函數的確定並不困難,滿足Mercer定理的函數都可以作為核函數。常用的核函數可分為兩類，即內積核函數和平移不變核函數，如：　1）高斯核函數K(x,xi) =exp(-||x-xi||²/2σ²；2）多項式核函數K(x,xi)=(x·xi+1)^d, d=1,2,…,N；3）感知器核函數K(x,xi) =tanh(βxi+b)；4）樣條核函數K(x,xi) = B2n+1(x-xi)。

（5）核函數方法實施步驟

核函數方法是一種模塊化(Modularity)方法，它可分為核函數設計和演算法設計兩個部分，具體為：

1）收集和整理樣本,並進行標準化；2）選擇或構造核函數；3）用核函數將樣本變換成為核函數矩陣,這一步相當於將輸入數據通過非線性函數映射到高維特徵空間；

4）在特徵空間對核函數矩陣實施各種線性演算法；

5）得到輸入空間中的非線性模型。

顯然,將樣本數據核化成核函數矩陣是核函數方法中的關鍵。注意到核函數矩陣是l×l的對稱矩陣，其中l為樣本數。

（6）核函數在模式識別中的應用1）新方法。主要用在基於結構風險最小化(Structural Risk Minimization,SRM)的SVM中。

2）傳統方法改造。如核主元分析(kernel PCA)、核主元回歸(kernel PCR)、核部分最小二乘法(kernel PLS)、核Fisher判別分析(Kernel Fisher Discriminator, KFD)、核獨立主元分析(Kernel Independent Component Analysis,KICA)等，這些方法在模式識別等不同領域的應用中都表現了很好的性能。