奧卡姆剃刀原理

來自專欄深度學習與計算機視覺

參考來源：機器學習中的奧卡姆剃刀定律

奧卡姆剃刀原理應用於模型選擇時變為以下想法：

在所有可能選擇的模型中，能夠很好地解釋已知數據並且十分簡單才是最好的模型，也就是應該選擇的模型。從貝葉斯估計的角度來看，正則化對應於模型的先驗概率。可以假設複雜的模型有較小的先驗概率，簡單的模型有較大的先驗概率。

奧卡姆剃刀定律是機器學習選擇演算法時可參照的標準之一。其含義是：在其他條件一樣的情況下，選擇簡單的那個。

該定律的意義在於數據的擬合和低複雜性之間實際上存在著折衷。

理論上假設的解決方案越複雜，就越能擬合數據，訓練數據誤差就會越低。

但是在現實生活中，有關未知數據的泛化誤差，往往如圖2所示：

泛化數據誤差實際是訓練數據誤差與另一個名為過擬合誤差的函數之和。

總結：

在泛化誤差最小得情況下，可獲得最佳複雜性。用於計算過擬合誤差的方法統稱為貝葉斯方差方法。在現實生活中，通常只會獲得訓練數據誤差。但實踐表明，如果你不去選擇能夠使訓練數據誤差最小化的模型，而是選擇複雜性低一點的模型，演算法的表現往往會更好。過擬合是機器學習演算法性能不佳的主要緣由。這也是在機器學習中應用奧卡姆剃刀定律的原因。

推薦閱讀：