【觀點】從優化盛會SIAM OP17看運籌學及AI發展趨勢

01-30

作者@Robin Shen系美國克萊姆森大學運籌學碩士，Ph.D. Candidate，師從整數規劃大師W. Adams，後跳槽至歐盟瑪麗居里博士項目，期間前往義大利IBM Cplex實習半年，現任德國海德堡大學交叉學科計算中心、組合優化實驗室助理研究員，師從組合優化大師G. Reinelt。留言、評論，請前往本文在知乎專欄的原鏈接，有問必回，歡迎原鏈接轉發。付費轉載請前往@Robin Shen 的主頁獲取信息。
歡迎關注我的運籌學（優化）專欄，會陸續發布運籌學、人工智慧相關乾貨：
[運籌帷幄]大數據和人工智慧時代下的運籌學 - 知乎專欄

前言：（凸）優化是機器學習的引擎，非凸優化最近在機器學習界受到越來越多的重視，但是大家可知MIP（混合整數規劃）乃 highly nonconvex problem，並且是NP難的？運籌學正是研究優化理論的學科，優化界開始趟起大數據和AI的「渾水」。深度學習在圖像、音頻上取得了很大的成功，但是在OR的傳統領域（供應鏈、物流、決策）卻鮮有建樹。交叉學科大勢所趨，希望有機會可以參與到DL和MIP的交叉研究，探索OR和DL更深層的理論及應用聯繫。

2017.05.22-25在加拿大溫哥華召開了三年一度的優化盛會--SIAM Conference on Optimization。為期四天的大會總共迎來了7場Plenary Talks，數百場Invited&Contributed Talks，平行會場達到16個至多。與會人數上千，彙集了運籌、統計、計算機、電子工程、機器學習、增強學習等各個領域的學者和工業界研究人員。

每天舉著厚厚的會議手冊選talk的時候是最痛苦的，同一時間有好幾個感興趣的talk無奈只能選擇一場。

會議全部Program目錄鏈接如下：

Conference Program -- SIAM OP17

如果你對運籌學（優化理論）還不了解，請先戳：

運籌學--一門建模、優化、決策的科學 - 知乎專欄

Plenary Talk

下面先看看Plenary Talks，這是大會特邀報告，時長一小時，通常是業界大牛，並且通過PT可以看到所在領域近些年的大致發展方向和趨勢。

IP1 Rigorous Guarantees for Nonconvex Optimization?（點進去可以看摘要哦）
Martin Wainwright , University of California, Berkeley, USA

伯克利統計和EECS的大牛教授，倆本代表作（業界良心）：Statistical Learning with Sparsity: the Lasso and Generalizations， Graphical models, exponential families, and variational inference

貌似近期機器學習領域越來越多的關注非凸優化。

IP2 Innovation in Big Data Analytics

Eva K. Lee, Georgia Institute of Technology, USA

喬治亞理工教授，亞裔女性，主要講了OR傳統應用領域--Healthcare、defense, and service sector applications，Big Data只是用來吸睛的。但是她的頭銜特別多，funding也巨多，而且項目和美國各大醫院及衛生部等重要機構合作，運籌可以用來治病救人哦～

IP3 Optimizing Today&#x27;s Communication Networks
Zhi-Quan Luo, The Chinese University of Hong Kong, Hong Kong

港中文和明尼蘇達大學的羅教授（誰有現場照片麻煩發我哈），幾乎每個華人運籌學者都知道他吧？報告是關於他的專長--通訊網路的優化，華為的崛起和他關係很大吧？報告中提到不下三次：）ADMM似乎很流行，最後一個LP問題羅教授提出用ADMM來做，提高了不少效率。記憶最深的是他一個數學家和工程師溝通的時候，工程師給的反饋「dont show me the NP hardness, just solve the problem」（感謝全球運籌學者群@許汝培的reminder）。數學家喜歡證明不喜歡工程，羅老師得獎（best paper reward）的工作恰恰是證明了通訊中那個有優化問題的NP難，但是工程師不care阿，於是羅老師埋頭苦幹也給搞出了高效的模型和演算法--人贏～

IP4 Subgradient Methods
James M. Renegar, Cornell University, USA

康奈爾大學，凸優化的基本演算法，比較理論，提出了新思想。

IP5 Using Second-order Information in Training Large-scale Machine Learning Models
Katya Scheinberg, Lehigh University, USA

李海大學，總算提到機器學習了，其實機器學習的理論基礎都在優化領域。講到了凸優化方法到非凸優化，stochastic gradient descent等等。

IP6 Using Local Measurements to Infer Global Network Properties
Ali Pinar, Sandia National Laboratories, USA

美國國家實驗室，又是一個理論的talk，關於圖論和網路，如何用局部的信息去幫助尋找全局信息，貌似很有趣。

IP7 Recent Progress on Dual Decomposition for Stochastic Integer Programming
Jeffrey Linderoth, University of Wisconsin, Madison, USA

威斯康星的Jeff，他的talk一向幽默，這次拿川普開涮不下五次，關於隨機整數規劃的，更多的是一個overview，深入淺出，我這個門外漢基本能聽懂。

SP1 SIAG/OPT Prize Lecture: Proximal Minimization Algorithms for Nonconvex and Nonsmooth Problems
Shoham Sabach, Technion Israel Institute of Technology, Israel

這個厲害了，SIAM優化界三年一次的most outstanding paper reward，大獎毫無疑問地給了建設性的理論工作，畢竟fundamental的工作可以服務芸芸眾生。又是Nonconvex和nonsmooth，機器學習的同學可以借鑒一下。

總結：8個talk中1個convex，3個nonconvex，2個運籌傳統應用，1個理論，1個隨機整數規劃。至少三個和機器學習相關，可見人工智慧、機器學習給優化界帶來的衝擊和機遇。

我早說過吧？不信請戳：

大話「人工智慧、數據科學、機器學習」--綜述 - 知乎專欄

「有趣」的session（一個session通常4個左右talk）

MS13 Nonconvex Optimization for Imaging Analysis -- 圖像處理，樓主的talk也在其中哦

MS23 Sparse Optimization and Signal Processing -- 稀疏優化，信號處理，還包括壓縮感知

MT2 Stochastic Optimization for Machine Learning -- 機器學習中的隨機優化

MS40 Uncertainty in Optimization and Nash Games: Sampling-Based Algorithms -- 博弈論

MS46 Variational Analysis and Modern Statistics -- 變分,統計

MS50 Algorithms for Reinforcement Learning - Part I of II -- 增強學習

MS56 Optimization Algorithms for High-Performance and Embedded Computing Systems - Part II of II -- 高性能計算、嵌入式系統，沒去聽，是關於優化晶元的安裝位置么？

MS64 Nonconvex Optimization in Data Analysis - Part II of III -- 非凸優化、數據分析，上圖Stephen Wright 大神，名著Numerical Optimization (2nd edition)，引用2w+次

MS66 Robustness and Dynamics in Optimization - Part I of III -- 魯棒優化、動態規劃

MS75 Optimizing Big Data: Acceleration, Randomization, and Parallelism - Part I of III --大數據

MS81 Making Machine Learning work with Big Datasets and Complicated Objectives - Part I of II -- 又一個機器學習、大數據

MS45 Nested Minimum Cuts on Parameterized Networks -- 網路流優化，上一張Thomas McCormick大神報告的照片，由葉老師的學生Y. Ding主持

MS51 Algebraic Aspects of Semidefinite Programming -- 半正定規劃、SDP

MS58 Nonconvex Optimization for Machine Learning -- 非凸優化、機器學習

MS61 Complementarity Problems and Applications -- 互補問題，應用在經濟學等領域

MS85 Computation, Learning and Uncertainty in PDE Constrained Optimization Models - Part II of II -- PDE約束的優化問題

MS95 Optimization and Quantum Chemistry -- 在量子化學還有應用？

MS96 Large Scale Optimization in Big Data -- 又來大數據

MS105 Conic Optimization and Quantum Information Theory - Part I of II -- 錐優化、量子信息，有意思

MS117 Relationship Between Optimization and Quantum Computation - Part I of II --量子計算的應用，有意思

MS131 Geometric Structures in Optimization -- 優化中的幾何問題，比如最經典的單純型法

總結：以上至少出現了10次機器學習、大數據、增強學習等當下和人工智慧緊密相關的術語，足矣可見優化理論在AI扮演的重要作用，以及優化也趕起了時髦。

如果你是優化背景出生，或許你也應該趟一趟AI的「混水」：

想學數據分析（人工智慧）需要學哪些課程？ - 知乎

國內(全球)TOP互聯網公司、學術界(人工智慧)超高薪的攬才計劃有哪些？ - 知乎

溫哥華吃喝玩樂、Social、感悟

開會除了作報告、聽報告，另倆大要素便是social和公費旅遊了～此次會議給我的「全球運籌學者群」增添了不少新成員，也認識了很多全球優化的博士和教授，以及微軟研究院的朋友。和蒙特利爾GERAD的教授吃飯討論，了解到MIP（混合整數規劃）試圖與深度學習（四大金剛之一）合作，不知可以起到怎樣的化學反應，初步確定了畢業後的規劃；有幸認識了普林斯頓大學終身教授，並與之深入探討了5個小時～

註：大家知道深度學習在圖像、音頻上取得了很大的成功，但是在OR的傳統領域（供應鏈、物流、決策）卻鮮有建樹，原因在於DL基於有標籤的大量訓練集以及BP演算法這樣無約束的優化。OR領域隨便一個問題都有著非常複雜的約束條件，至少目前為止DL是無法企及的。有機會我希望可以參與到這樣的交叉研究中去，探索OR和DL更深層的理論及應用聯繫。

以前參加的都是自己領域MIP的小會，看來參加OP這樣的大會是很有必要的，各個學科的學者共聚一堂，可以增加見識以及產生交叉學科的合作。不僅如此，看到運籌學（優化）在各個領域的應用，也更加增強了自己專業的學習興趣。並且此次聽到不止一次八卦--OR界泰斗試圖從優化角度把統計學教材重寫：）

溫哥華在97香港回歸前迎來了香港最大波的移民，據說粵菜最好的大廚都搬來溫哥華了，因此北美最佳中餐的美譽應該不會錯。但是除了中餐，溫哥華的日餐、韓餐也是一級棒的。加元現在才1：5點幾，價格也很良心阿。不多說了，上圖。

最後，溫哥華市區在小島上，三面環海，遠處半小時不到的車程就是雪山，因此市中心任何角落眺望遠方都能看到雪山，走路20分鐘就到海邊--實在太美了。

但是，據當地人說，溫哥華在加拿大來說工資不高、房價其高，因此適合賺夠錢了再搬來居住～

-----------------------------------------------------------------------------------

如果你是運籌學/人工智慧碩博或在讀，請添加微信號：zf13772441490（備註請務必按照：姓名/昵稱-加群類型-單位/學校-最高/在讀學位-研究方向，否則不會通過），她會拉你進全球運籌或AI學者群（群內學界、業界大佬雲集）。

如果你是運籌學/控制論/隨機優化愛好者，歡迎加qq群：686387574

如果你是人工智慧愛好者，歡迎加qq群： 685839321

敬請關注和擴散本專欄及同名公眾號，會邀請全球知名學者陸續發布運籌學、人工智慧中優化理論等相關乾貨、知乎Live及行業動態。

專欄文章匯總和有獎投稿須知：

『運籌OR帷幄』專欄文章分類匯總+面向學術界/工業界徵稿(含招聘廣告)+專欄編輯/審稿招募