【報道】在Google從事運籌學工作是怎樣的體驗？

來自專欄『運籌OR帷幄』大數據人工智慧時代的運籌學28 人贊了文章

文章作者：Brian Thomas Eck Ph.D.和 Amber Richter Ph.D. 是谷歌技術性基礎設施的運營決策支持小組的量化分析專家。

責任編輯： @姜姜 （UC Berkeley IEOR系博士在讀）

文章首發於微信公眾號【運籌OR帷幄】：【報道】在Google從事運籌學工作是怎樣的體驗？

歡迎原鏈接轉發，轉載請私信 @留德華叫獸 獲取信息，盜版必究。

敬請關注和擴散本專欄及同名公眾號，會邀請全球知名學者發布運籌學、人工智慧中優化理論等相關乾貨、知乎Live及行業動態：『運籌OR帷幄』大數據人工智慧時代的運籌學

小編註：在谷歌，數據驅動著所有的決策。量化分析家們在機構的各個方面工作，通過處理、分析和推斷巨大的數據集來幫助谷歌進行商業和技術的策略制定。那麼谷歌的運籌從業人員究竟是如何運用運籌學和統計模型來解決那些從未以「谷歌級」的規模和複雜度解決過的問題呢？一起來讀下由兩位資深運籌學工作者寫的介紹吧。

英語原文寫於2016年12月。本文在翻譯過程中有刪減。

谷歌公司的使命，是「整合全球信息，使人人都能訪問並從中受益「。這已經催生了谷歌多種多樣的嘗試，例如光纖到戶（gFiber）， 壽命研究（Calico），智能家居自動化（Nest）,YouTube視頻網站，葡萄糖檢測隱形眼鏡（Verily），自動駕駛汽車等等。穩健的搜索和廣告業務使如此廣泛的創新成為可能。

眾所周知， 谷歌的基石是網頁搜索。一個網站是重要的如果可以從另外一個網站點入這個網站，這樣的想法翻譯成數學語言就是：網頁排名演算法的重要性指數是一個巨大馬爾科夫鏈的平穩分布。從這出發，毫無疑問，谷歌的企業文化一直很重視分析能力。

作為一個運籌學（O.R.）從業者，在一個有許多極高分析能力的同事的環境中工作，「孤獨的從業者」有了新的含義。在谷歌公司中行走，隨處可見寫滿了等式、圖表、代碼和概率分布的白板。大家不僅都尊重數據引導決策的觀點，同時還保持著合理的懷疑：數據也可能是誤導性的。

各種層次的同行評審和報告的主要作用是改善分析手段。如果在一個報告中，觀眾只是禮貌地傾聽並在結束時鼓掌，這意味著糟糕的會議參與度。一個成功的報告應伴隨著不時的打斷，對假設和推理的挑戰，演講者與觀眾的活躍討論。這在執行演示中同樣成立，運籌學分析的結果會接受計算機、統計等方面的專家----這些人士有著聰明的科技頭腦同時對商業有的廣泛了解----的檢閱。不同於一些機構中高級的分析手法往往是保密的，谷歌員工們可以窺探這些分析的黑箱並且參與其中。對於那些從其他公司跳槽來的資深的運籌學從業者，這一點開始可能很困擾人，但過了一些時間，他們會發現通過這樣的開明合作，有利於他們在整個谷歌大團體中獲得信任和影響力。

整理大規模的信息依賴於軟體。每一天，谷歌系統要面對200億次網頁的點擊，數百萬小時的YouTube視頻播放和150萬台活躍的安卓設備。這樣的規模需要大量的物理基礎設施—谷歌在世界範圍內無與倫比的集群計算系統。這些基礎設施包括13個規模可觀的數據中心園區，其中在愛荷華州的Council Bluff園區是世界最大的。除此之外，谷歌在全世界超過33個國家的數個城市配備有設施，並用光纖電纜的全球網路連接了所有設施點，從而能給終端用戶帶來快速而穩定的信息服務。

建造和擴張基礎設施需要數百個分析項目提供的見解。建設過程中的時候需要同時在內部產品區和外部雲端客戶區高效率地分配計算、儲存和網路資源。進階的分析也應用於許多谷歌公司的產品的核心功能，比如改善用戶運用谷歌地圖尋找最優駕駛路線時的搜索結果。

進階的分析技巧某種意義上超越了我們對運籌學的傳統定義，因為它還應用了來自其他領域的方法，比如統計、機器人、控制系統、博弈論、微觀經濟學和風險估計。舉個例子，機器學習被用來改善搜索結果，自動化語言翻譯，保護Gmail和Chrome的用戶不受垃圾郵件和病毒軟體的打擾，甚至用以改善數據中心的能源效率。（谷歌是全球最大的可再生能源的企業買家；谷歌的數據中心也是世界能源效率最高的之一）。谷歌在機器學習方面發表了數百篇論文，也通過TensorFlow開源了很多機器學習工具。

1、一個充滿活力的工程師社區

運籌學從業者通常會感興趣於一個公司如何安排他們的運籌學員工。在谷歌，運籌學家需要能解決通用問題。他們一般以數據科學家、軟體工程師或者研究科學家的身份來開展工作。因此，他們需要遵循相應的「工作階梯」的標準。這些階梯描述了在各個層次對員工所做貢獻的期望。通過基於考核委員會的共同決策，這些階梯保證了對運籌學從業者在面試、招聘、表現評分和升職評估等方面，保持了在整個谷歌大環境內的一致性。

數據分析家，或者稱量化分析家的這個工作類別包括了數百位分析者，統計背景的佔大部分，佔比不是最大但重要的運籌背景的，以及來自如生物統計、經濟學和計算工程的一小群人。各個領域的分析者可能從數十到數百不等。前述的工作階梯能保證不同領域的細緻專業化的同時持續保持在一個更廣的技術社區進行高標準的招聘。

除了工作階梯，谷歌的各種交流平台可使專業人士們在公司內部自由地分享他們的工作，比如非正式的午餐會、科技講座、數據科學博客和更多正式的全球峰會。通過提供這些基於社區的活動和工作階梯，谷歌為它的運籌學分析人士們們提供了社區身份認同和職業導向。

谷歌的運籌學從業者們一部分在中心化小組，另一部分分散穿插在其他小組中。

接下來的部分會重點介紹兩個中心化小組的工作：一個小組致力於技術性基礎設施領域，另一個小組致力於貫穿不同應用領域的方法和工具。

2、核心 O.R.小組

運營決策支持小組（Operations Decisions Support, ODS）：這個位於加州山景城的小組由運籌學博士們組成，主要關注谷歌的技術基礎設施：優化硬體的供應鏈，規劃數據中心和網路容量，優化伺服器的部署和生命周期，和改善計算和存儲資源的使用調配。這個小組的許多項目是經典的成本優化問題的變式，比如報童問題、更新時間規劃和決定經濟批貨數量（EOQ）。ODS小組的在各種成本優化的工作使它因總體擁有成本管理而聞名。

舉個例子，谷歌在全世界的數個城市部署網路設備，從而使得互聯網服務提供商們更接近他們的終端用戶們。多少以及哪個設施應該被使用？哪個設備放哪裡？這些問題需要權衡設施成本和連接不同地點的光纖的成本。這個小組運用模擬，以成本為目標函數，優化策略地圖來動態支持谷歌網路內的互聯網服務提供商。

另一個例子是決定什麼時候將舊的伺服器替換為最新一代的伺服器，這需要同時考慮並優化很多項的成本。這一類的分析結果將影響著上千個決策，一些是大體政策，一些如簡單的計算器，以及一些複雜的決策支持工具（可周期性或按需使用）。

ODS還做預測和容量規劃。ODS進行一系列全方位的預測，比如計算、存儲和電力的需求。這些預測用於指定許多下游的決策，包括土地和獲取、新的建築和網路容量升級。預測誤差刻畫了預測的變化區間，並可以用此變化區間來設置庫存緩衝。

運籌小組（Operations Research Team, O.R.）:不同於ODS小組基於不同應用領域組建的，O.R.小組是基於不同方法組建的。這個位於巴黎的小組開發和支持組合優化軟體，並且將其應用於整個公司中的大規模現實世界問題中。這個軟體工程和研究的小組起源於谷歌街景發起的一項挑戰。

獲得谷歌街景圖像需要高效地在全世界的街道中規劃汽車路線，從而來捕捉到所有需要的圖像。解決這個經典的中國郵遞員問題可以節約人力和車輛，減少廢氣排放，並且同時通過更短更快遍歷的路線獲得更實時的圖像。這個問題促使了谷歌的車輛路徑規劃小組的成立，而在此之後小組的研究方向得到了更廣泛的拓展。

這個小組開發了它自己的優化軟體庫來處理「谷歌級」的任務所需要的速度、規模和安全性。超過150個谷歌的小組在用這些庫，並且這些庫大部分已經在GitHub上開源為工具包。這些庫包括一個曾獲金獎的約束求解器、車輛路徑規劃求解庫、線性優化求解器、0-1優化求解器、knapsack問題求解器、解決網路流和分配問題的庫。（見https://developers.google.com/optimization/）

儘管O.R.小組起家於街景，這個組現在的工作項目涉及整個谷歌。這個小組開發了優化演算法來穩定YouTube視頻，指導了Loon項目（互聯網熱氣球）的探索，甚至還研究如何指派進入升職委員會的人。這個O.R.小組還在Terra Bella工作—谷歌收購的衛星公司，前稱為Skybox Imaging。Terra Bella由環繞著地球軌道旋轉的衛星來捕捉全世界各地的高清圖像。固定的軌道路徑限制了某個地點何時在某個衛星的視野範圍內，而數據下載只能在衛星接近地面固定接受點時才能進行。這個O.R小組開發了一個混合整數規劃模型來規劃各衛星捕捉的目標點，以及衛星圖像下載的時間表和地點。

3、被孤立的運籌學從業者（並不）

除了兩個的核心專註做運籌學的小組，還有許多個人或小撮的運籌學從業者們分散在谷歌的不同崗位，以前述的社區方式聯繫起來。

一些運籌學從業者在Google Express工作—谷歌一個提供從零售商處快速配送貨物的線上配送服務的部門。 他們解決一些如需求預測、容量規劃、時間安排和路線策劃的問題，從而來幫助改善配送服務。

一個經常在谷歌基礎設施中場出現的運籌學問題，是動態的多維裝箱問題和負載均衡問題。一個例子是在谷歌的大規模並行運算環境下的任務排期。此處多維的量是需要在機器（箱）上完成的任務，同時要滿足許多硬體和軟體的約束條件，比如可用的CPU和RAM、任務偏好、優先順序和個性化的硬體需求。這方面工作的運籌從業者和相關的工程小組合作來一同改善在線動態演算法和離線混合整數規劃求解來給任務排期，為數據中心添加資源以及容量規劃問題。

位於紐約的大規模優化研究小組和相關的工程小組合作來改善谷歌計算基礎設施的效率和穩定性，特別如服務於搜索和谷歌雲的後端系統。舉個例子，這個小組應用平衡圖劃分演算法，並根據關鍵詞出現在搜索需求中的頻率將關鍵詞聚類，然後結合這個聚類來管理搜索需求在後端系統的各個機器上的分配。這個改變極大地增加了善用緩存來提供搜索結果的比例。

一個網路架構的軟體工程小組在對谷歌廣域網的光纖電纜進行容量規劃和風險分析。他們的模型希望在保證可用性、速度和可擴展性的同時最小化成本。他們應用混合整數規劃模型來決定在給定的一部分光纖損壞的情境下仍能使網路流通的最便宜的網路。一個蒙特卡洛模擬來檢測所得到的網路對抗可用性和服務延遲方面的要求時的表現，從而決定在下一輪混合整數規劃求解中所需要添加的光纖損壞情景。

4、運籌學無處不在

總而言之，高級的分析手段滲透於谷歌工作的方方面面。這裡總是有新的問題需要解決以及新的影響可以去創造。在這個仍在日益成長的高科技公司，運籌學和高級分析手段的聯繫是前所未有的強。一位同事的話很好地形容了在這裡工作的體驗，「谷歌對運籌學從業者來說就像一個糖果店。」

免責聲明：本文為作者的個人觀點，不代表谷歌官方。

參考資料：

[1] 原文

https://www.informs.org/ORMS-Today/Public-Articles/December-Volume-43-Number-6/Roundtable-Profile-Operations-research-at-Google

[2] 谷歌招聘

https://careers.google.com/jobs?hl=zh_CN#!t=jo&jid=/google/data-scientist-operations-decision-google-building-41-1600-amphitheatre-3875430142&

文章來源申明：本篇文章來自《ORMS-Today》雜誌（由運籌or帷幄編輯翻譯整理）

友情提醒：本文由運籌OR帷幄編譯整理，不作為商業用途。如有內容侵權，我們將隨時刪除。

如果你是運籌學/人工智慧碩博或在讀，請在下圖的公眾號後台留言：「加微信群」。系統會提示您進一步的加群要求和步驟，邀請您進全球運籌或AI學者群（群內學界、業界大佬雲集）。

同時我們有：【運籌|優化】【供應鏈|物流】【人工智慧】【數據科學|分析】愛好者千人QQ群，想入群的小夥伴可以關注下方公眾號點擊「加入社區」按鈕，獲得入群傳送門。

學術界|工業界招聘、徵稿等信息免費發布，請見下圖：

推薦閱讀：