標籤:

2-3 Cost Function-Intuition I

上節課我們給了代價函數一個數學上的定義,這節課我們將通過一些例子來獲取一些直觀的感受,上次我們想要找一條直線來擬合我們的數據,所以我們用θ0和θ1等參數得到了這個假設

而且通過選擇不同的參數我們會得到不同的直線擬合,然後我們有一個代價函數,就是我們的優化目標,這節課為了將代價函數可視化,將用一個簡化的假設函數,我們將會用這個簡化的假設也就是θ1*x,我們可以將這個函數看成是:把θ0設為0,所以就只有一個參數也就是θ1,代價函數看起來與之前的很像,唯一的區別是現在的h(x)等於θ1*x,所以接下來的優化目標是將J(θ1)最小化,用圖形來表示就是如果θ0等於0,也就意味著我們選擇的假設函數會經過原點(0,0)通過利用簡化的假設得到的代價函數,我們可以試著更好地理解代價函數這個概念。

我們要理解的是這兩個重要的函數,第一個是假設函數,第二個是代價函數。注意這個假設函數h(x)對於一個固定的θ1這是一個關於x的函數,所以這個假設函數就是一個關於x這個房子大小的函數;與此不同的是代價函數J是一個關於參數θ1的函數,而θ1控制著這條直線的斜率,現在我們把函數都畫出來,試著更好地理解他們。要注意的是代價函數是關於θ1的函數,當描繪代價函數時,x軸就是θ1,現在J(1)等於0。

θ1可以取正數負數

下面是J(0.5)

接下來是J(0)

對於不同的θ1有不同的值,結果會發現算出來的這些值會得到一條曲線,就是J(θ1)的樣子了。θ1取不同的值時對應穿過相應數據的一條直線,我們就是利用左邊的假設函數得到右邊代價函數的圖像

我們已經知道學習演算法的優化目標是想要找到一個θ1值來將J(θ1)最小化,這是我們線性回歸的目標函數,現在看這條曲線J(θ1)讓其取最小值的點是1,就對應了最佳的通過了數據點的擬合直線,我們就得到了完美擬合,這也就是為什麼最小化J(θ1)對應著尋找一個最佳擬合直線的目標,下節課我們將回到原來的問題的公式看一些帶有θ0和θ1的圖形,不把θ0設置成0了。

謝謝!

推薦閱讀:

微分方程和矩陣指數【MIT線代第二十三課】
機器學習入門:邏輯回歸案例
IBM機器學習CTO給2190知乎網友的一封信
機器能像人一樣思考嘛? 金句領讀137
Perceptual loss for Real time Style Transfer and Super-Resolution 論文閱讀

TAG:機器學習 |