高斯過程回歸（GPR）

考慮添加了高斯雜訊的標準線性模型：

, ,

我們假定雜訊 服從正態分布

對應的似然函數為：

現在考慮參數w的一個先驗分布

現在我們是任務是求w的後驗分布， ,根據貝葉斯定理：

,其中 ,可以發現 與w無關，故在求解w的後驗收分布中，認為是一個常量。故：

通過一系列的公式運算，可得： , 其中

為了預測測試樣例的值，我們需要求解其概率： ,求解此邊緣概率，可用公式： ,進過數學運算，可得：

,可見預測分布也是高斯分布。

上圖是貝葉斯線性模型的一個例子，模型為 ,其中a是 的先驗分布。b中展示了三個訓練點的位置。c顯示了 似然。d展示的是w的後驗概率 .

高斯過程：高斯過程是一個變數的集合，變數的任意有限組合，構成一個聯合高斯分布。

高斯過程是由均值函數和協方差函數來表示的。

高斯過程表示為

高斯過程的一個簡單例子，可以考慮從貝葉斯線性模型 考慮，其中w的先驗概率為 ,所以

均值為 ，

協方差為

高斯過程定義的聯合分布是高斯分布，則訓練集輸出 和測試點輸出的 對應的先驗分布是：

為了獲取其函數 的後驗分布，我們需要丟棄不經過觀察點的函數。如果考慮雜訊的影響，聯合分布可以寫成如下公式：

通過運算我們可知的後驗分布形式：

簡寫形式為（與上面公式是一樣的，純粹是符號的簡寫）：

所以，高斯過程回歸的流程為：