【專訪】藍光輝教授：在隨機優化演算法的世界裡徜徉

來自專欄『運籌OR帷幄』大數據人工智慧時代的運籌學9 人贊了文章

文章作者：雷鋒網AI科技評論 奕欣

責任編輯：莫明 @畫火禦寒

文章已發表於微信公眾號【運籌OR帷幄】：【專訪】藍光輝教授：在隨機優化演算法的世界裡徜徉

歡迎原鏈接轉發，轉載請私信 @留德華叫獸 獲取信息，盜版必究。

敬請關注和擴散本專欄及同名公眾號，會邀請全球知名學者發布運籌學、人工智慧中優化理論等相關乾貨、知乎Live及行業動態：『運籌OR帷幄』大數據人工智慧時代的運籌學

編者按：在大規模機器學習問題的求解中，隨機優化演算法佔據著不可替代的地位。大數據在提供海量信息的同時，也暴露了傳統計算方法效率低的問題。舉例來說，從最初引發深度學習熱潮的卷積神經網路，到時下最前沿的對抗神經網路和支撐 AlphaGo 的決策神經網路，都可以被歸類為帶有非凸目標函數的優化問題。而在海量訓練集上求解此類問題都是依賴於 ADAM 和 RMSprop 等隨機演算法求解器。近些年來，隨著大數據帶動下統計學習，機器學習和深度學習等人工智慧領域的迅猛發展，大規模隨機優化演算法已經產生了廣泛的應用。我們在與喬治亞理工學院藍光輝教授交流的過程中，更深刻地理解了隨機優化演算法在凸和非凸問題上的研究進展和轉化，也感受到藍光輝教授在隨機優化問題上的深刻洞見和前瞻性。

藍光輝教授為喬治亞理工學院博士、喬治亞理工學院終身教授，他目前還擔任計算優化和應用（2014 年至今）、優化演算法頂級期刊 Mathematical Programming（數學規劃，2016 年至今），SIAM Journal on Optimization（SIAM 優化，2016 年至今）等雜誌的副主編，是國際上機器學習和深度學習演算法方向的頂級專家。藍光輝教授的主要研究領域為：隨機優化和非線性規劃的理論、演算法和應用，包括隨機梯度下降和加速隨機梯度下降，用於解決隨機凸和非凸優化問題。

藍光輝教授早在博士求學期間就專註隨機優化演算法的攻堅。彼時還是 2007 年，深度學習這個概念還僅限於專業領域學者間的交流。在當時，隨機優化演算法有一些早期的研究雛形，但仍不實用，沒有很好地發展起來。藍光輝教授在博士階段的第一個工作中，從理論及計算兩方面嚴格證明了魯棒性隨機優化演算法的可行性，並表明這一工作比以前傳統的確定演算法性能更佳。

回憶起當時博士研究的經歷，藍光輝教授認為，機器學習在當時還沒有這麼火的原因，主要在於缺乏有效的演算法去求解。「以往的演算法，需要將數據從頭至尾跑一遍，反覆多次才能得到一個有效的結果，」藍光輝教授向編者表示，在這種情境下，數據的增加不是如虎添翼的得力助手，而是羈絆研究前行的荊棘；而他提出的這一演算法解決了大數據環境下的機器學習問題，並且從理論上證明了海量數據的優勢及重要性。

在博士論文的第二個工作中，藍光輝教授證明了加速隨機梯度下降（SGD）（前述 ADAM 等演算法的基礎）在解決隨機優化模型問題中的可行性。隨機梯度下降演算法在深度學習里普遍被認為是一種非常有效的演算法，但當時業界認為加速演算法是不能用於求解隨機優化模型的，「就像人在奔跑時，加速時步伐邁得很大一樣，隨機優化問題就相當於行走在一條多變化的道路上，當時認為並不適合這種大步長的演算法。」而藍光輝教授在解決業界這一難題時證明加速演算法也能應用於隨機優化模型，並達到理想效果。此外，在不同類型的確定性問題中，這一演算法也能達到最優化的效果。

不過，藍光輝教授的這一研究工作在當時只對凸問題收斂。這又催生了他後續在非凸問題的研究。在以前，優化與統計處於井水不犯河水的境地：研究優化的學者專攻演算法，而研究統計的學者專註模型；在機器學習逐漸走向流行的時候，研究者將優化與統計結合在一起，綜合地解決問題。

機器學習本質上是一種隨機優化問題，而神經網路就是一種非凸的隨機優化問題。我們可以用更通俗的語言來理解凸問題和非凸問題。如果用登山來形容機器學習的求解過程，凸問題相當於只需要攀登一座山峰的峰頂，比較容易確定全局的最高點。而非凸優化相當於希望能夠在一整個包括多座山峰的山脈或山系中找到最高點，即找到全局最優解；但在客觀條件限制，無法一座座山峰攀登的情況下（需要快速求解），很大概率下我們只能找到在視野所限內最高的山峰，也就是局部最優值，但不一定是全山脈最高的山峰，即全局最優解。

針對這一問題，藍光輝教授開始設計隨機優化方法解決非凸問題。憑藉對非凸問題的探索，藍光輝教授獲得了美國運籌與管理學會青年教師論文獎（INFORMS JFIG Paper Competition）一等獎，並獲得國家自然科學基金會傑出新人獎。隨後，團隊又對加速非凸隨機優化演算法進行探討與研究。

對於隨機梯度下降和加速隨機梯度下降，用於解決隨機凸和非凸優化問題的矚目成果，藍光輝教授非常謙虛地表示，「我覺得自己比較幸運，因為我所做的工作具有一定前瞻性，但在發表不久能和應用層面結合在一起，並取得較好的效果。」

藍光輝教授告訴編者，作為學術界的研究者，他總會考慮這些問題存在什麼樣的需求，又有怎樣的擴展性。最近，藍光輝教授正在兩大領域進行研究探索。

首先是分散式、無中心化的隨機優化演算法。以用戶信息為例，三家企業各擁有同一用戶的不同數據，但限於隱私的敏感性，各家企業的營收數據及相關信息自然不會「拱手相讓」。但從另一個角度入手，三家企業反之可以聯合起來建立一個更為完善的用戶信用模型。「無中心化數據處理的核心在於，企業不分享數據的具體內容，只分享信息。」這一工作據藍光輝教授的介紹，目前能達到與中心化數據處理同樣的效果。

第二個研究是，如何在保證最優效果的前提下，盡量減少彼此傳輸信息的次數。在無中心化的數據處理狀態下，三者間的通訊速度很慢，且成本相對較高。「如何在保證最少化的溝通情況下減少溝通成本？理論上我們可以證明信息傳輸次數相比起採集數據來說，成本是可以忽略不計的。」

此外，藍光輝教授指出，優化模型在傳統領域上的應用也是不可小覷的存在。車輛調度、航班排期、工作排班，這些傳統問題的解決能夠顯著地看到直接效果，而且也在生活的各個方面影響人們的工作效率。傳統應用領域對機器學習的黑箱特性曾經存疑，對運籌學僅憑藉公式推算出來的結論持保留態度。但後續，得益於大數據的驅動，系統可以通過機器學習獲得更多的參數，將其反映用在傳統模型裡面的一些決策模型裡面，幫助去做出最優化的決策，目前也逐步得到了傳統行業的認可與信任。

在理論與實踐的轉化中，藍光輝教授坦承，這個鴻溝還需要大量的探索。用建優化模型的方法求解具體某一個機器學習的任務，像做一個分類器判斷股票漲還是跌，或是確定哪個方案更好。藍光輝教授認為，不論是選擇線性優化模型，還是二次優化模型，並不是一個非此即彼的選擇。可以有多種評價標準，如從演算法效率的角度，或是從模型應用是否方便的角度來看，或者從統計性質的角度等來判斷。但現在在深度學習領域，這方面的工作仍然較少。「如何從演算法或統計的角度去分析具體問題的特點，相關的工作暫時還是比較匱乏；更多地，團隊還是會從理論的角度、經驗的角度去做判斷。」

更重要的一點是，分類問題在現實生活中具備著更多的複雜性。以風險控制為例，銀行對用戶的借貸申請做出相應的評審和判斷，本質上也是綜合了多方考量得到的結論，在分類問題上的標準相對於學術界的研究而言比較模糊。藍光輝教授所做的，還是希望找到更多人工智慧可以幫助人類提升效率的結合點，「將人工智慧作為一種生產工具，把人類解放出來。」

作為喬治亞理工學院的終身副教授，藍光輝教授目前保持和國內學術界與工業界的聯繫。他和斯坦福大學、上海財經大學、明尼蘇達大學以及杉數科技科學家團隊在從事一個優化與機器學習開源求解器的開發工作。杉數科技是一家中國領先的人工智慧決策創業公司，由五位斯坦福教授及博士聯合創立，內部推崇科學家文化，服務客戶包括順豐、滴滴、京東、萬達、德邦、永輝等行業巨頭公司，通過深層次數據優化演算法和複雜決策模型的求解能力，聚焦海量數據下的複雜問題，用智能決策重塑成本端，幫助國內企業科學地提高決策水平。藍光輝教授也和順豐科技等企業進行科研方面的合作。

面對工業界與學術界的不同角色，藍光輝教授告訴編者，他與杉數科技等的合作主要有兩個層面的收穫。

首先是理論到實踐轉變中的成就感。「原本在學術界的研究只是一篇理論性的文章，但在落地的過程中，你會感覺到自己的研究成果可能會變成產品，最後得到更多的應用。」

第二點是從實際出發助力學術研究。在與企業合作的過程中，藍光輝教授也在找尋隨機優化方法在實際應用領域中值得深入探索的方向。這些具體的問題形成反饋，藍光輝教授也獲得了更多的研究啟發。

面對目前工業界與學術界的交融和火熱，藍光輝教授也面臨全職「下海」的諸多誘惑，但仍然選擇呆在學術界做科研。除了對知識傳承、教書育人的由衷熱愛外，他認為科研最重要的是自己定義研究的方向，這種方向能最大程度上地挖掘自己的潛力。

「技術永遠是一種知識積累與創新的體現。」藍光輝教授期待有更多的學生耐得住寂寞潛心科研，打好紮實的基本功，並在科學的道路上越走越遠。

文章來源申明：本篇文章來自雷鋒網：https://www.leiphone.com/news/201804/01xqJbwXzmr6KqF6.html

如需轉載請至雷鋒網後台申請授權

如果你是運籌學|人工智慧碩博或在讀，請在下圖公眾號後台留言：「加微信群」。系統會進一步提示，邀請您進全球運籌或AI學者群（群內學界、業界大佬雲集）。