【逐雲】阿里巴巴通用計算平台負責人關濤:讓計算平台成為阿里的「水電煤」
《逐雲》是雲棲社區的一檔人物記錄短視頻欄目。一共10集。鎖定雲技術領域,每期記錄1位雲技術細分領域的代表專家,見證雲技術先行者在時代潮流下的選擇與追尋、堅持與自由。了解更多雲棲專家分享,請點擊雲棲專家頻道,當然我們也歡迎你往前走一步,成為我們的雲棲專家(https://yq.aliyun.com/expert),與技術大牛一起「煮酒論英雄」。
【逐雲】阿里關濤:讓計算平台成為阿里的「水電煤」 http://v.youku.com/v_show/id_XMzE3MjgyMDEyNA==.html?spm=a2h3j.8428770.3416059.1本期人物:阿里巴巴通用計算平台負責人關濤
以下為關濤講述:
學生時代:一路保送,但可能不是你想像中的學霸
可能我不是那種大家想像中的學霸。愛讀書,但也很愛玩。我覺得興趣是最重要的。讀書經歷的話,一路基本沒考過試。初中到高中是保送,高中到大學因為數學競賽保送了南開大學,讀的計算機專業。選擇計算機,是因為從小特別愛玩遊戲,邊玩還會邊修改存檔,就這樣迷上了計算機。後來大學到研究生,是從南開推薦到了天津大學,帶我的導師在網路方面研究成果很領先,也是通過他在計算機的領域裡走得更深入。
除了遊戲,也很愛運動。工作後沒了那麼多時間玩遊戲,但會一直堅持運動。在微軟時也曾做過微軟中國網球協會主席,拿過微軟大部門網球聯賽的冠軍。很愛單板滑雪,之前也一直堅持在每年的最後一天自駕去不同的滑雪地滑雪。
初入社會:微軟最年輕的技術管理者之一,帶跨國團隊更具挑戰
研究生畢業後,拿到了微軟的offer,一做就是6年。在微軟的第一個項目,是做基礎架構,主要負責分散式系統。在當時的體量還是很大,團隊有幾千台機器可以布局。最考驗的是系統的拓展能力,這個經歷也成為了後來逐步往上做的基礎。
第二個項目,是做搜索後台,那時整個業界搜索技術也剛起步,可以理解為是從0到1的過程,到後來這個搜索後台也成為了微軟後台最重要的搜索架構之一。
做完了這兩個偏存儲層面的後台後,開始往上做,做大數據,更偏重於計算層。也就是在微軟的第三個項目:互動式查詢。從最初牽頭來做這個項目到經歷各種系統的升級更新,做到後面基本微軟一半以上的團隊都在用這個系統。
做到這裡,在微軟國內已經算是比較資深的員工,剛好在做組織架構調整,希望可以接受更大的挑戰,便決定去到美國那邊的對口組,在那邊工作了兩年的時間。這期間繼續深入做互動式查詢、優化推動等,因為在微軟比較早就開始帶團隊,在美國那邊也是帶團隊,不過這次是多國的戰隊。也是在那時積累了很多團隊管理的經驗,包括如何帶領多國成員組成的團隊,如何與遠程團隊溝通等。
阿里人:從微軟到阿里,技術信念的回歸
在微軟工作將近10年,中國美國都工作過,帶一個團隊做互動式大數據計算這個領域,當時是一個比較「得心應手」的狀態。微軟也是大型工作,內部可以換到各種不同的工作和崗位,之前大約每兩年也會make some change。過去的十年,以BAT為代表的本土公司也發展的很快,一直很好奇哪些技術、風格、文化上的特點驅動了BAT。所以當時有了阿里的機會,也很好奇希望更深入的了解,也算是make a bigger change。
從工作性質上,還是很match,都是大數據引擎(規模上有較大差異),而且阿里在國際化方面有投資,也需要跨國經驗,之前的技術,工程和管理經驗都能復用。
另外,我在很小的時候,有一次到中關村玩。有兩個廣告牌給我留下了深刻的印象,到現在我都記得,一個是聯想的「人類失去聯想,世界將會怎樣」,一個是金山軟體「為國產軟體的發展而奮鬥」,這兩個廣告體現了。。。。。。。兜兜轉轉十年,轉回到阿里,做通用計算平台,也算是為國產軟體而奮鬥了。
在微軟做了近10年,一路都是在核心項目上深挖,也是在業界比較領先的技術上向前走,當時國內的BAT也有了加速的發展,很多地方速度超越了微軟、谷歌這樣的外企,正巧阿里在西雅圖成立了分部,對阿里技術一直比較看好,再加上技術線和自己也很匹配,便來到了阿里,成為了當時阿里西雅圖分部的第22名員工。
之前也一直帶北京和美國的團隊。這次在阿里,我管這個叫「兩岸三地工作」(太平洋兩岸,北京,杭州,西雅圖),這個工作狀態,確實工作更忙一些,很多會議需要照顧兩邊的時差,但這也是必要的。杭州和北京團隊setup都很齊整,西雅圖是我們最近兩年的海外研發中心,特別的西雅圖的「雲谷」,雲計算北美的三巨頭都在,希望通過海外人才的引進,進一步提升我們競爭力。這方面需要加大投資,付出一些時間和溝通成本也是值得的。
隨著三邊團隊融合和成熟,情況已經不錯了。研發全球化一些優勢已經開始體現,例如24小時全球事情cover的值班能力,國內/海外的客戶和合作夥伴會議,可以就近參加(例如與Intel美國團隊的合作,由西雅圖同學完成)。
責任:在阿里,開啟的是一場大的硬仗
在阿里我有一種感覺,就是事比人多,可做的事情非常多。就好像帶領一個大戰隊,去打一場很大很持久的硬仗。關於計算平台,你可以想像一座航母,本身系統很複雜,周期也很長,這個航母的每次轉型都耗資巨大,但如果轉型的方向正確,戰鬥力里一定會非常地強。計算平台之於阿里,便是類似這樣一個存在。
在阿里負責的是帶整個計算平台的團隊,在之前,阿里是各個業務部門會搭自己的數據平台,現在是統一收到一個統一的大後台中,計算平台便是這個統一的平台,也是整個阿里巴巴的數據中心。阿里內部超過95%的數據都在這個平台上,每月的月活有一萬多人,也就是每4個阿里員工中就會有1個人在用這個系統,每天的獲閱量有300萬左右。阿里這麼多業務線的數據匯總在一起,數據也就具有了一加一大於二的特性,所有這些數據綜合在一起也是阿里巴巴最大的數據價值之一。如果這個平台一旦不工作,舉例說,像支付寶的商戶訂單、商家商戶的統計信息以及商品的維度信息等都會缺失掉,影響是非常難以想像的。
來到阿里,最開始就在和其他架構師一起,對這個計算平台進行一次全面的革新,將性能提升了一倍。一倍可能很多人會沒有明確的概念,舉例來說,性能提升5%可以省去的預算時一個億,那麼一倍的話其實是節省了20億的預算。
計算平台最典型的應用,便是每年的雙十一。雙十一期間我們團隊會值48小時的班,第一天支撐實時流量和互動式查詢,第二天需要支撐分量的信息,中間不能有間斷。每年雙十一結束的時候,計算平台也會迎來全年最大的洪峰期,數據量會暴漲三倍到五倍的樣子,非常考驗整個數據平台的能力,所以真的是一場很大的硬仗。
對未來的展望:讓計算平台成為阿里的「水電煤」
針對計算平台的未來,是希望它可以普及成為「水電煤」一般的基礎設施。具體的方向,一是要有匠心也要有深耕,要從以業務為主能上能下,轉變為可在某一個領域深耕,能夠打造業界影響力的一個狀態。二是生態線上有非常多的地方值得我們學習,也值得去整合,希望可以做到閉源系統與開源平台很好的互動,在保證數據資源都統一的基礎上,能夠保有既有資源系統最核心的能力,比如更安全、更高效、功能更強的優勢,也能支撐開源系統更好的生態性,從而找到這中間的結合點。我也很堅信,目前我們做的方向是對的。希望自己可以帶領阿里計算平台這座航母,開得更遠。
就我個人而言,也是希望可以以內部和外部業務為導向,把計算平台這座航母本身的戰鬥力提升上來,在業務、科研、高校等領域打造影響力,把它打造為世界上最好的計算平台。
原文鏈接
更多技術乾貨敬請關注云棲社區知乎機構號:阿里云云棲社區 - 知乎
推薦閱讀:
※Spring Cloud在國內中小型公司能用起來嗎?
※iOS架構設計之」冗餘性」思考
※大的golang工程都是怎麼從0開始構建的,代碼又是怎麼組織的?
※哪些互聯網公司在使用領域驅動設計?
※AI 公司該如何設計基於微服務的 AI SaaS 架構丨硬創公開課