基於梯度的優化（V）：動力系統，控制論

來自專欄基於梯度的優化：動力系統，控制論

在基於梯度的優化（III）：動力系統，控制論中，提到朱澤園的線性耦合, 在知乎上 @覃含章 在Nesterovs accelerated method：gradient descent & mirror descent的線性耦合有較為詳細的解讀。在2015年博客Revisiting Nesterovs Acceleration，已經總結了當時對於加速梯度下降方法的新的理解，主要側重於博主Sébastien Bubeck自己的從幾何角度看加速優化演算法的工作。可惜自己沒有明白其中的精要。博主更早有Nesterovs Accelerated Gradient Descent for Smooth and Strongly Convex Optimization。想對凸優化的複雜度有一個系統的了解，不妨看看博主系列博客，以便理解演算法的重點。

線性耦合激發了對加速的鏡像梯度的熱情，從連續和離散時間上看鏡像梯度的性質，比如Accelerated Mirror Descent in Continuous and Discrete Time。

研究優化和動力系統的至少還有Hedy Attouch，其小組有幾篇文章集中在討論基於梯度的優化演算法對應的微分方程的解的存在性等理論問題。

PS： 個人水平有限，如有謬誤，敬請斧正。

PS:題圖來自https://arxiv.org/pdf/1506.08187.pdf，版權歸原作者所有。如有侵權，敬請聯繫。

推薦閱讀：