機器學習基石筆記12：非線性轉換

02-28

二次的假設函數

如圖，非線性可分的訓練集，可稱為圓圈可分（circular separable）：

假設函數為： $h_{sep}(x)=sign(-x_1^2-x_2^2+0.6)$ ，將此假設函數轉換為熟悉的線性模型：

點以上過程將圓圈可分轉換為線性可分，這種輸入空間轉換的過程稱為特徵轉換，就可以在z的世界裡用線性的概念和模型進行操作

z中的每一條線不一定對應到x中的正圓曲線，可能是橢圓、雙曲線、斜圓、退化二次曲線等等，如果想要表示X空間中所有的二次曲面，Z空間該佮表示呢？設計一個更大的Z空間，其特徵轉換如公式:

$phi_2(x)=(1,x_1,x_2,x_1^2,x_1x_2,x^2)$

通過以上特徵轉換，Z空間中的每個超平面就對應X空間中各種不同情況的二次曲線（包括直線和各種類型的二次曲線）和常數（全為正或全為負）。

非線性轉換的代價

當使用Q次多項式轉換時，轉換函數需要的項數有：

此時權值向量 $ilde{w}=1+ ilde{d}$ (1為常數項，d為所有組合項數的個數)，變換、維度與次數的關係：

僅做結論暫不做證明，Ein、Eout、複雜度的關係一般如下：

由圖可知，在做多項式轉換時，最好是從低次往高次依次測試，而不是開始選取一個高次的多項式作為轉換函數，最好從一次式（也稱為線性函數）開始，否則就會造成過擬合（見下一篇）。

題圖： 2017年11月6日22:48:54