計量概念中的核估計、核函數和窗寬分別是什麼含義？全局估計中的正交序列估計與多項式樣條估計呢？

01-07

如題。能舉例那便是極好的。

我假設題主問的是 kernel smoother 而不是估計概率密度函數的 kernel density estimation（其中也只是估計公式不同，核函數和窗寬的含義是一樣的）。

假設我們有從分布 $(X,Y)$ 獲得的樣本 $(x_1,y_1),(x_2,y_2),ldots,(x_n,y_n)$ 。給出一個特定的 $X$ 值，我們希望估計條件分布 $Y|X=x$ 。特別地，我們常常直接估計條件期望 $E(Y|X=x)$ ，作為已知 $X$ 值時對於 $Y$ 值的點估計 (point estimate)。

核估計 (kernel estimation) 假設我們可以將 $Y$ 寫成 $Y=f(X)+epsilon$ 的形式。這裡我們通常假設 $f$ 是「局部平滑」的函數，而 $epsilon$ 是期望為零的隨機變數。我們「樂觀地期望」 $f$ 在局部變動較小，所以對於某個值 $x$ 我們使用 $x$ 附近的點取加權平均來估計 $Y$ ：

$hat f(x) = frac{sum_{i=1}^n K(frac{x_i-x}{h})y_i}{sum_{i=1}^n K(frac{x_i-x}{h})}$ ，

其中 $K$ 為核函數 (kernel function)，根據 $x_i$ 與 $x$ 的距離決定 $(x_i,y_i)$ 的權重。通常 $K$ 滿足以下幾點：

$K(a)geq 0$ ；
$K(-a)=K(a)$ ；
$|a|>|b|implies K(a)leq K(b)$ ，即權重根據距離遞減。

這裡列舉兩個常見的核函數：

$K(x)=egin{cases}1,|x|leq c\ 0,|x|>cend{cases}$ ，即只在 $c$ 距離內有權重，且權重平分；
$K(x)=e^{-frac{x^2}{2sigma^2}}$ ，即高斯核函數 (Gaussian kernel)，權重遞減服從正態曲線。

$hat f(x)$ 公式中的 $h$ 被稱為窗寬 (bandwidth)。可以發現它對 $x_i$ 到 $x$ 的距離的計算起到伸縮 (scaling) 的作用。（當然，我們也可以直接把 $h$ 寫到 $K$ 里。）對於常用的核函數來說，窗寬越小，較遠的點獲得的權重也就越小。換言之，小的窗寬意味著我們只取用離 $x$ 很近的點來估計 $Y$ 。這時得到的估計偏差 (bias) 較小，但由於用的點少，方差 (variance) 較大，獲得的函數估計 $hat f$ 起伏較大。反之，窗寬大時偏差大，但較穩定，獲得的 $hat f$ 較為平滑。可見窗寬的選擇需要平衡在統計學習中經常遇到的 bias-variance tradeoff。

核估計在許多領域當中都有應用，常被用於在散點圖裡畫出估計的函數關係 $hat f(x)$ 。更詳盡的信息和圖例可以參考 Elements of Statistical Learning: data mining, inference, and prediction.
2nd Edition. （良心免費！尊重版權我這裡不引圖了）。以上內容對於 $x$ 是多維的情況也適用。

如有謬誤還請指正。

______________________

怎麼答完了又多出一個問題.... (╯°Д°)╯︵ ┻━┻....寶寶不答！後一問還是另開一個吧。正交序列估計 (orthogonal series estimation) 不懂。樣條 (splines) 簡單地說就是把 $x$ 分段 (partition)，每段擬合一個多項式，並且保證段與段間的節點 $n$ 階可導。上面引的那本書里應該有 splines。