微軟將未來押在這個FPGA晶元上

n n 本文來自連線，由半導體行業觀察根據原文翻譯n n

n n 將時鐘回撥到2012年12月，Doug Burger站在當時的微軟首席執行官 Steve Ballmer面前，與他暢談未來。n n

n n 以脾氣暴躁聞名的SteveBallmer坐在Building 99演講室的地板上，與四年前加入公司的計算機晶元研究員Doug Burger探討一些晶元技術，這就是Burger口中的Project Catapult。n n

n n n DougBurger.n n n

n n Burgern n n 表示，技術世界正在跨進一個新的階段。在未來，一些大型的互聯網公司會運營一些跟以往不同的複雜互聯網業務，而這些公司就需要打造一些全新的架構去運行這些業務，而這並不是通過軟體去升級就可以實現的，當中還需要硬體去配合，當中就包括了伺服器和網路設備。而Project Catapult就能解決微軟的伺服器問題，因為他們都會搭載微軟特別定製的晶元，去完成這些特殊任務。n n

n n 在Burger想向Ballmer介紹其最新的想法的時候，後者吃了一驚，因為他最初招聘Burger來微軟，只是希望他能夠升級研發中心，而不是來做策略介紹的，但Burger的表現出乎Ballmer的意料。Burger表示，再過去40年里，微軟只是聚焦在打造Windows, Word和Excel這類的計算機軟體，並不需要更多的硬體。而正是因為這樣，微軟避開了費事、昂貴且bug眾多的硬體產業。而微軟做硬體晶元就和可口可樂做魚翅湯一樣怪異。n n

n ProjectCatapultn n

n n 在演講室里，Burger娓娓道來，他對Ballmer說，谷歌和亞馬遜這樣的公司已經開始做出轉變，且現在的硬體製造商並不能提供滿足微軟在線服務所需的硬體服務。如果微軟不再做硬體的話，未來一定會落後於其他競爭者，但Ballmer並不認同他的觀點。然而一會之後，Bing的運營主管Qi Lu加入了討論。他表示，他們的團隊已經開始了相關的研究。n n

n n 現在，這個由Berger和Lu打造的FPGA晶元，將會改變這個世界。其實FPGA已經被應用在Bing搜索的支持上，在接下來的數周內，微軟將會基於神經網路（模仿人腦結構的人工智慧）推動新的搜索演算法。藉助這個晶元，其執行速度比傳統的晶元會快上很多倍，只需要24毫秒就可以實現，規避了以往長達四秒搜索空白的尷尬。n n

n n 這個全新FPGA同樣能夠支持微軟的雲計算服務Azure。在接下來的數年裡，微軟全球的數百萬部的伺服器將會裝上這個FPGA。「這個給我們帶來了很大的靈活性和容量，並帶來很大的經濟收益」，Burger說。n n

n n 「這將成為微軟的標準，全球的架構」，Breger強調。n n

n Catapultn n n 團隊成員：Adrian Caulfield,Eric Chung, Doug Burger,和Andrew Putnamn n

n n 這個項目並不是為了幫助Bing追趕Google，這是對未來全球系統轉變的一個信號。由於硅晶元的發展不能滿足人工智慧的需求，從美國的亞馬遜到中國的百度，這些互聯網都在其伺服器上使用其相關標準的晶元。n n

n n 從目前的情況看來，為了維持其網上業務運轉，微軟每年需要在硬體上投入50到60億美元，因此關於這些晶元的追求要投入到實操階段，2014年接任微軟CEO的SatyaNadella對記者說。我們要將其提到優先位置，納德拉強調。n n

n n 一種全新的傳統計算機晶元n n

n 2010n n 年聖誕節前的某一天，微軟的研究員n n AndrewPutnamn n 正在度假，突然就接到他n n Boss Burgern n 的電話。n n Burgern n 告訴n n Putnamn n ，節後他會和n n Bingn n 的老大會面，因此他需要一個可以在n n FPGAn n 上執行n n Bingn n 的機器學習演算法的硬體。n n

n Putnamn n 就立刻驅車前往最近的星巴克，打開電腦開始謀劃這個項目。n n

n 47n n 歲的n n Burgern n 和n n 39n n 歲的n n Putnamn n 之前都是學者，n n Burgern n 之前曾在德克薩斯大學奧斯汀分校擔任了九年的計算機學教授，在那裡，他專門研究微處理器，並設計了一款叫做n n EDGEn n 的晶元；而n n Putnamn n 則在華盛頓大學擔任了五年的研究員，那五年里他一直和n n FPGAn n 打交道。雖然n n FPGAn n 存在了很長一段時間，但一直以來業內都是用它來做原型驗證。n n 2009n n 年，n n Burgern n 把n n Putnamn n 招進微軟，他們開始探索一個想法——這類n n FPGAn n 晶元實際上可以加速在線服務。n n

n n 這一想法，最初連他們的老闆都不認同。n n Burgern n 小組的主管、微軟的研究所n n VP Peter Leen n 說，每隔兩年，n n FPGAn n 的時代將要到來的論斷，都會被炒熱一次。但這次不一樣了，n n Burgern n 和他的研究小組堅信，n n FPGAn n 大顯身手的時代已經到來，而n n Bingn n 則是最好的測試對象。n n

n Project Catapultn n 的第一個版本，n n Burgern n 和他的團隊在西雅圖園區數據中心測試過了這個硬體n n

n n 微軟的搜索引擎n n Bingn n 是一個運行在數千台機器上的在線服務，每台機器都是靠n n CPUn n 驅動的。雖然n n Inteln n 公司一直在推動硬體升級，但是這些硬體跟不上軟體的進步是不爭的事實。n n

n n 尤其是在人工智慧潮流興起以後，n n Inteln n 處理器的缺點被進一步放大。n n

n n 而類似n n Bingn n 這類的服務的需求已經超過了摩爾定律，大家發現，單純靠增加n n CPUn n 的數量已經不能解決問題了。n n

n n 但另一方面，如果為每個新難題打造定製化專用晶元又太過昂貴，n n FPGAn n 正好填補了其中的鴻溝。他們讓工程師打造比流水線型通用n n CPUn n 速度更快（因為n n FPGAn n 是真並行）、功耗更低的晶元。可定製化讓它能夠從容面對瞬息萬變的技術和商業模式。n n

n n 在節後會議上，n n Burgern n 主張n n Bingn n 在n n FPGAn n 上的執行能實現低功耗提速，但並不是很明朗。因此在接下來的幾個月中，他們就根據n n Putnamn n 的草圖去做了一個原型，通過這個原型可以驗證，新n n FPGAn n 可以將n n Bingn n 的機器學習演算法提速n n 100n n 倍。正是這個數據吸引了微軟對這個項目的興趣，這也讓n n Burgern n 的團隊進入了艱難的開發階段。n n

n n 原型機是一個內有n n 6n n 個n n FPGAn n 的專用盒，由滿滿一架子伺服器共享。當盒子過熱到滋滋作響，或者機器學習演算法的複雜度增加到需要多於六個n n FPGAn n ，整個系統就會奔潰。這讓n n Bingn n 的工程師無比抓狂。n n

n n 因此n n Burgern n 的團隊又花了好幾個月去改進，推出了第二個版本的原型，這是一個能被接入每台伺服器的電路板，每個電路板只含有一個n n FPGAn n ，但每個n n FPGAn n 板都可以連接到其餘所有伺服器。這樣就打造了一大批可以讓任何n n Bingn n 機器接入的可編程晶元組。n n

n n 正是這個原型，讓n n Bingn n 的老大n n Qi Lun n 大感興趣。他給了n n Burgern n 一大筆錢，讓他可以用n n FPGAn n 建立一個擁有n n 1600n n 台伺服器的測試環境。在台灣和中國大陸製造商的幫助下，n n Burgern n 的團隊還是花了六個月才打造好這個測試環境。他們最初是在微軟園區的數據中心進行了相關測試，但碰上了事故，經過了三天的搶修，一切又回到了正常軌跡。n n

n n 在n n 2013n n 和n n 2014n n 年的好幾個月里，測試表明n n Bingn n 的「決策樹」機器學習演算法速度在新晶元的支持下有了四十倍的提升。在n n 2014n n 年夏天，微軟聲稱會將這個項目移植到n n Bingn n 的數據中心中，但稍後他們暫停了這一計劃。n n

n n 除n n Bingn n n 之外，搜索更多應用n n

n n 在早些年，n n Bingn n 承載了微軟的在線野心，但到了n n 2015n n 年。微軟又多了兩個大型的在線業務，一個是商務應用n n Office 365n n ；另一個是雲計算服務n n Azuren n 。和他的所有競爭者一樣，微軟的掌門人意識到，要讓其在線帝國高效的運行，那就需要打造一個統一的穩固基礎。如果n n Project Catapultn n 將會對改變n n Bingn n ，那它也應該進入n n Azuren n 和n n Office 365n n 的「內芯」。n n

n n 問題是n n Azuren n 高管並不在意如何加速機器學習，他們需要的幫助在於網路連接。而n n Azuren n 的數據中心在面對大流量時，也逐漸顯得力不從心，因為傳統的n n CPUn n 已經跟不上他們的步伐了。n n

n n 終於，n n Azuren n 的首席架構師n n Mark Russinovichn n 將目光頭投向了n n Project Catapultn n ，因為他們的伺服器同樣需要n n FPGAn n 晶元，只不過這次需要在伺服器和網路之間布置n n FPGAn n 。n n

n n 第一個n n FPGAn n 架構原型是一個被所有伺服器共享的的盒子（版本n n 0n n ）；之後就每個伺服器有一個n n FPGAn n （版本n n 1n n ）；之後就是在伺服器和整體網路之間布置n n FPGAn n 。n n

n FPGAn n 團隊需要再次重構硬體。因為在第三個版本的原型中，n n FPGAn n 是放置在每個伺服器的「邊緣」，能夠直接和網路連接，n n FPGAn n 組依然能讓任意機器直接接入，這就讓它可以為n n Office 365n n 助力。n n

n Project Catapultn n 終於能夠活下去了。n n

n n 據介紹，這個晶元的重構過程是非常痛苦的，不僅僅是因為要建新的硬體，而且每次都需要重新對n n FPGAn n 編程。相對於軟體編程來說，這簡直就是一個噩夢。不但寫程序艱難，正確的寫程序更是難上加難。n n

n n 這是一個極度繁瑣的工作，就像在晶元上改一個微小的邏輯門那麼繁瑣。n n

n n 既然晶元已經有了，那麼對於微軟來說，他們每次需要面對的挑戰就是重新編程這些晶元。去了解這個世界是很艱難的。n n Project Catapultn n 比傳統的架構節省了n n 30%n n 的花費和n n 10%n n 的功耗，而速度則提高了兩倍，這些優點讓企業離不開它了。n n

n n 微軟n n Project Catapultn n 的首次展示的陣仗非常大，n n Azuren n 用它去傳送數據，而在佔有全球n n 20%n n 桌面搜索和n n 10%n n 移動搜索的n n Bingn n 上，n n Project Catapultn n 能夠推動其n n AIn n 神經網路更進一步。而n n Office 365n n 則表示，使用了新的架構，能夠大大提高了其壓縮和加密的機器學習能力。n n Burgern n 表示，這些晶元將會逐漸走進微軟的伺服器。n n

n n 不過，這真的奏效嗎？n n

n n 微軟n n Nextn n 研究所的負責人n n Peter Leen n 表示，n n Project Catapultn n 還是讓他有些困惑。n n

n n 在納德拉擔任n n CEOn n 以後，他一直推進n n Nextn n 的創新。他希望可以從中看到未來十年或者二十年的趨勢。他希望從現在開始，能夠改變微軟的軌跡。n n Project Catapultn n 是當中的一個先行者，展望未來，他們希望在業內締造一個更龐大的轉變，而這一切來源於一個不需要n n CPUn n 的技術。n n

n Peter Leen

n n 包括微軟在內的互聯網巨頭現在是用n n GPUn n 去彌補n n CPUn n 的不足，在這些巨頭的人臉識別等神經網路應用中，n n GPUn n 擔任很重要的工作。同樣，微軟這些巨頭也使用硅的替代品去執行神經網路操作。甚至是昂貴的定製晶元，他們也會去嘗試。n n

n n 現在看來，谷歌在自製神經網路晶元上面，走得比較遠。那就是早前推出的讓n n Inteln n 聞風喪膽的n n TPUn n 。n n

n n 在n n TPUn n 上面，谷歌為了速度犧牲了其長期的靈活性，他這樣做是為了消滅手機上發起命令的延遲。問題是一旦谷歌的神經網路模式轉變，谷歌就需要重新做一個新晶元。n n

n n 而微軟的n n FPGAn n 則具有更高的靈活性，從長遠來看，是更具備價值的。雖然這個n n FPGAn n 並沒有谷歌的定製化晶元那麼快。但微軟可以隨著需求的改變重新定義晶元，以滿足全新人工智慧模式的需求。n n

n 新版本的硬體，版本n n 2n n ，能夠直接接入微軟的伺服器和網路。n n

n n 微軟的服務項目是如此龐大，因此對n n FPGAn n 的需求也是海量的，一旦成熟的話，就將會改變晶元市場。n n

n n 去年n n Inteln n 耗費巨資收購了n n FPGAn n 老二n n Alteran n ，英特爾的執行副總裁n n Diane Bryantn n 表示，這筆收購的出發點就是n n Inteln n 認為到n n 2020n n 年，三分之一的伺服器將由n n FPGAn n 提供計算能力。n n

n n 在技術領域，n n GPUn n 、n n CPUn n 、n n TPUn n 和n n FPGAn n 都是一些不同的而定義。在雲計算時代，微軟、谷歌和亞馬遜這些企業推動技術的大踏步發展，它們所推出的那些替代晶元也會讓n n APPn n 和在線服務的應用範圍更廣。n n Peter Leen n 認為，到n n 2030n n 年，微軟還能擴大其超級計算機的全球影響力，而在那之後，將會是量子計算的時代。n n

n n 在最後，納德拉談到了微軟的量子計算計劃，雖然這看起來有點像空中樓閣，但多年前的n n Project Catapultn n 又何嘗不是這樣？n n

n n n 摩爾精英n n

n n n 【關於轉載】：轉載僅限全文轉載並完整保留文章標題及內容，不得刪改、添加內容繞開原創保護，且文章開頭必須註明：轉自「n n 半導體行業觀察icbankn n 」微信公眾號。謝謝合作！n n n n n

n n 【關於投稿】：歡迎半導體精英投稿，一經錄用將署名刊登，紅包重謝！來稿郵件請在標題標明「投稿」，並在稿件中註明姓名、電話、單位和職務。歡迎添加我的個人微信號MooreRen001或發郵件到 jyzhang@moore.renn n

推薦閱讀：