標籤：

矩陣矩陣分析稀疏矩陣範數

向量的2範數求導？

01-07

$f(x)=frac{1}{2} left| left| A(x)-b ight| ight|_{2}^{2}$ A: $Re ^{m imes n}$ $ightarrow$ $Re ^{p}$ 即 A(x)=b b $in$ $Re ^{p}$ $f(x)$ 是求A(x)-b的2範數。
問題：對 $f(x)$ 求一階導 $f^{$ .

現在已經知道它的結果是 $f^{$ 我想問的是這個結果是怎麼得到的呢？有沒有求矩陣的范函數的求導公式。

最近由於回答了這個問題，經常有人問我其他範數怎麼求導，向我問問題的比贊都多了，囧！。我覺得維基百科這個答案很好，那些想要了解其他範數怎麼求導的請查看： Matrix calculus https://en.wikipedia.org/wiki/Matrix_calculus

（以下原答案）----------------------------------

原式等於 $f(x)= frac{1}{2} (Ax-b)^T (Ax-b)$ $Leftrightarrow f(x)=frac{1}{2}(x^TA^TAx-2b^TAx+b^Tb)$

對x求導得： $f$

主要用到的是向量和矩陣的求導公式。分別為

$frac{partial y^T x}{partial x}=y$ 和 $frac{partial(x^TA x)}{partial x}=(A+A^T)x$

此外還有向量2範數的定義式。

你需要Matrix Cookbook，可自行google。

至於怎麼推出來的，可以把向量/矩陣先展開成標量的形式，然後對標量求導，再寫回去。熟悉了幾個基本形式之後，就可以用向量/矩陣的思維求導啦

https://see.stanford.edu/materials/aimlcs229/cs229-linalg.pdf

斯坦福CS299機器學習課程的review note，關於矩陣微積分有一個不錯介紹

$Ax$ 和 $A(x)$ 結果是不一樣的

把所有矩陣向量當標量，該咋求導咋求導，然後加加轉置T

推薦閱讀：

※為什麼核範數能凸近似矩陣的秩？為什麼核範數是凸的？
※矩陣的核範數的導數是什麼？
※向量/矩陣導數是屬於哪個學科的內容？有什麼好的教材/資料可以推薦？

TAG:稀疏矩陣 | 矩陣 | 矩陣分析 | 範數 |