隨機梯度下降和正則項之間如何處理？

01-15

正則項的係數應該是batch gd 的係數。而隨機梯度下降步數不確定，係數應該怎麼定呢？

這要看objective function的形式，如果按一般的形式

$F(x) = frac{1}{N} [ sum_{i=1}^N f_i (x) ]+ R(x)$

其中f_i 為在第i個樣本上的loss, R為正則項。其可以改寫為

$F(x) = frac{1}{N} sum_{i=1}^N [ f_i (x)+R(x)]$

設其gradient為 $m{g}(x)$ . 如果我們將Stochastic Gradient 取為，

$m{s_g}$ = $m{g}_i(x)+m{g}_R(x)$ ,

$i sim ext{Uniform}(1,N)$

其中 $m{g}_i$ 為 $f_i$ 的gradient, $m{g}_R$ 為 $R$ 的gradient. $i$ 是定義在1到N間整數上的Uniform 隨機變數

至此，我們有

$m{E}[m{s}_g] = g$ ,正是SGD所要求的條件。

註：不可微時將gradient換為subgradient依然成立（如L_1 loss 在坐標軸上時）