如何評價Frank L. Lewis的學術成果及其團隊現狀？

01-27

最近在看一些有關reinforcement learning應用到control里的論文，發現了一位大牛Frank L. Lewis，IEEE fellow，貌似做了很多智能控制和最優控制方面的工作，其個人主頁鏈接：http://www.uta.edu/utari/acs/。本人才疏學淺，還沒太看懂他的一些工作，有沒有了解他及其團隊的知友來介紹一下他們的方向及前景呢？
不勝感謝！

在把RL應用到控制領域的過程中，Lewis教授的團隊做出了大量重要的工作。根據我膚淺的認識，他們的主要貢獻至少包含以下兩點：

RL用於研究控制問題，需要克服的一大難題是穩定性的分析。計算機領域裡研究的Reinforcement learning是不怎麼在意穩定性的，比如AlphaGo下圍棋，狀態空間就是圍棋棋盤上的361個點，棋子無論如何不會下到棋盤外面。但是控制問題裡面，狀態空間是連續的而且是無界的，因此怎麼確保穩定性就成為很重要的問題。Lewis教授和他的團隊對於RL用於控制時的穩定性方面的分析做出了很重要的貢獻。

另外,計算機領域的RL考慮的系統往往是離散時間的，對於連續時間的系統，他們的普遍做法是用離散系統來近似。從本質上看，離散時間和連續時間的貝爾曼方程的結構是很不一樣的。所以離散時間系統里很好用的Q-learning方法，沒法直接推廣到連續時間系統。Lewis教授團隊的另一大貢獻就是他們做了重要的奠基行工作, 是的RL可以用來精確的解決連續時間系統的問題，並提出了Integral-Reinforcement-Learning這一新的理論框架。

不是optimal control方向的，但我知道Frank Lewis 在這個方面挺有名的，還有專著出版。

他研究的問題本身是挺有趣的，而且有一定理論深度。我的感覺是如果條件允許可以follow。我倒是很有興趣去了解他的理論，可惜現在要學的太多，忙不過來。

想去Frank L那留學，就是那種國家聯合培養的那種，不知道行不行，有沒有申請上的大牛，求指點一下

我借鑒的是frank lewis的 reinforcement learning 優化controller