convex optimization 可以用來做哪些有意思的事情（可以是實驗性質）？

01-06

讀stephen boyd 《convex optimization》四章+，受益良多，又有一種難以言表的感覺。。期望大神推薦可以做的一些實際的切實可感的事情。。orz

「實際的切實可感的事情」，題主是問凸優化的一些應用嗎？

壓縮感知（compresive sensing）：利用稀疏性求解欠定線性系統。自從壓縮感知誕生以來，稀疏性已經成為做優化應用的人的一個普遍共識，大部分優化模型都會用到稀疏性，常見的比如 TV- $ell_1$ 。Wiki: Compressed sensing，一篇介紹的文章：http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/CSintro.pdf。知乎上也有一些人討論過。
反問題（inverse problem）：利用先驗（priors）求解欠定線性系統 $Ax=b$ 。這個問題是比壓縮感感知更 generalized 的問題，也是工程中經常遇到的，因為線性系統的求解可以被認為是用觀測值 $b$ 估計模型 $A$ 中的參數 $x$ 。所考慮的線性系統通常是 ill-conditioned 的，老式的做法是增加 Tikhonov regularization （即 $ell_2$ -norm），新的做法比如用壓縮感知，或者依據所考慮的問題構造一個 prior，而為了求解方便以及能得到最優解，這個 prior 通常都是凸的。一般意義上的 image denoising、image deconvolution 都屬於反問題。一個非常優秀的例子是 High-quality computational imaging through simple lenses，通過設立一個簡單的先驗並將之在凸優化的框架內解決，就能用演算法來矯正色差，使得原本複雜的光學色差矯正設計（通常利用多片透鏡組合完成實現低色差成像）可以用計算機後期演算法替代（即只需要一個透鏡輔以後期演算法處理）。

需要強調的是，convex optimization 這幾年有一些新的進展，Boyd 的這本書沒有完全涵蓋。現在流行同時快速有效收斂且能並行實現的是 ADMM (Alternating Direction Method of Multipliers) Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers 和基於 proximal operator Proximal Algorithms 的凸優化框架。許多凸優化的問題都可以抽象並最終用 proximal operator 的方法解決，典型的 $ell_1$ -norm、 $ell_2$ -norm 都有 closed-form 解。這兩篇文章也是 Boyd 寫的，題主如果 convex optimization 這本書學得七七八八，那麼讀起來應該毫不費勁的。

看樣子，題主的意思是做「有意思的事情」。不過題主是不是先要表達一下自己得興趣所在？別人覺得有意思的事情未必是你認為有意思的事情。

既然題主已經看過Boyd的《convex optimization》，那對convex也有基本的了解，書裡面其實也有過很多實際問題與convex optimization結合的例子。

建議題主把convex optimization與自己感興趣的問題結合起來做。把你的感興趣的問題抽象成目標函數，如果是convex的，則採用convex optimization的各種方法求解，不是convex的可以採用一些relaxation的方法變成convex的問題去求解（也許還能證明與原問題的近似度），即使不能做relaxation，也可以直接對non-convex問題採用convex的優化方法求解，一般也可以收斂到性質比較好的點。如果題主找到的問題足夠特殊，可以在對應的領域發表paper，如果題主做的問題非常一般化，甚至可以把完成的工作發表在optimization領域。這都非常有意思。

此外，提一點，有人提到Boyd寫的ADMM和Proximal algorithm的tutorial，其實這兩個都是科普文，純粹用於介紹這兩個演算法的，連基本的演算法收斂速度分析都沒有，深入學習勿看此文。

可以試試用total variation optimization 做自拍美顏。一個例子在這（非本人照片）：

更具體的介紹可以看我的blog：http://grapeot.me/thoughts-about-convex-optimization.html

boyd是書總共有三個section。第二個section（第6章-第8章）是專門講application的。如果想看一些更有意思的例子，其實可以看看課後習題以及他自己網上的additional problem。記得之前看過幾篇論文裡面直接說這個證明是boyd的書的習題。。。

上面有人提到boyd那門課了。我想說的是如果有幸能參加這麼課的考試你會覺得這門課課本習題的腦洞還是不夠大。

可以的話，下次分享一發condom optimization可以嗎。。

剛好最近在看相關內容，進來膜拜一下boyd