參加世界三大超算競賽是怎樣一種體驗?


SC16、SC17 SCC參賽隊員不請自來。

本人中國科大SC16 SCC參賽隊副隊長,當屆冠軍隊。目前正在Denver參加SC17 SCC,比賽剛剛結束十三個小時。

ISC和ASC我不了解,就來說一下SCC吧。

1. 累。累成死狗。(尤其是一整個隊就只有一個人配得懂系統的時候-SC17帶學弟學妹有感)四天睡了不到20個小時,期間心態大起大落、盯著各種事情、處理緊急情況,壓力真的很大(尤其是在作為隊伍扛把子大鴿的時候-SC17有感*2)

2. 刺激。你永遠不知道下一分鐘會發生什麼。SC16的時候Supermicro忘了寄CPU,踩線送了過來(此處感謝賽前華科隊借我們的一板子E5 2699v4);SC17則更慘,benchmark開始前幾個小時我們才剛剛確認整個系統安裝問題不大,然後跑HPCG五分鐘系統過熱降頻,跟Supermicro核對才發現他們忘了給我們寄兩個GPU散熱扇,然而已經來不及送過來了(於是SC17至此基本GG,我們只能把V100主頻降到600MHz慢慢跑,儘力了)。不過可能也就只有我們這種到現場前沒碰過機子的才這麼刺激吧,羨慕隔隔隔隔隔壁THU。

3. 好玩。這是多方面的,和全世界的同齡同興趣人才交流(沒錯就是左右前後的隔壁隊員們),和已經進入行業的領域人士交流,感受HPC的行業現狀和工作方式,還有就是順便逛逛SC這個HPC領域最大型的會議兼展覽之一(然而對我隊這種來一次就累躺一次的是不可能的);最後當然就是拿各種信仰流紀念品啦。

每年都會有好些企業的人來發各種紀念品,nv今年發了一包東西,裡面最美滋滋的莫過於這條尺子:

(你以為這是m*i軟廣告?才不是,這是師兄的筆記本,我可是阿蘇斯粉)

前幾天一個帶著紅帽子的小哥來問我們比賽的機子有沒有用RHEL,我想了想說沒有。愣了一下之後我又想起來我們用了CentOS,我就問了他一句CentOS算不算,他回身掏出了一把CentOS的貼紙。。某信仰CentOS的師兄高興的不行。不過我沒留,就沒有照片了。

Google Cloud也來給我們發了貼紙,質感蠻不錯的。

信仰!為了信仰!

(被拖走


不請自來。

利益相關:NTU ASC16/ISC16/SC16隊員,ISC17/SC17隊長。

我覺得從一個學生的角度來看,這類比賽無疑是給了我極大的鍛煉。主要是因為這種比賽涉及到的知識面太廣了,你需要懂怎麼部署Linux伺服器,怎麼配置成集群,怎麼編譯和優化程序,怎麼優化功耗(3000W功耗閑置),等等。我覺得只有親自參加一次比賽才可以體會到。第一次去ASC的時候我連InfiniBand都不會配置(之前沒摸過。。)。經過這兩年的比賽和學習,我覺得我學到了很多東西。這些東西是對於學校學習到的知識的一種良好的補充。另外比賽場上總會有意想不到的事發生,如何臨場應對也是一種鍛煉(和「樂趣」)。

另外像 @曹煥琦 說的,和同齡人交流這些方面也都很有意義,我也從其他隊伍那裡學到了很多東西。至於累啥的。。不說了,SC17五天睡了18個小時。。

總而言之,如果真的對CS感興趣,尤其是偏底層一點的領域(相比app和web這些),想學習學校學不到的或者沒機會實踐的知識的話,參加這個比賽很值得。現在ASC預賽誰都可以報名參加,也讓更多的人有機會接觸並且體驗這種比賽。如果感興趣的話千萬不要錯過。


借用Dan Olds在 HPCwire 的封面文章,回答一下這個問題。

另外,ASC世界大學生超算競賽18年已經開始了。和清華、北航等學霸一較高低的時候到了。

報名傳送貼:ASC18

-------------------------以下是Dan Olds的回答,我只是一個搬運工--------------------------

到底什麼是世界大學生超算競賽?

無論你是該競賽的狂熱追隨者(觀賽、贊助、參與等)還是第一次聽說該競賽,你一定會有一些疑問。

該競賽有一些需遵守的規則和傳統,這類似於板球、足球和世界空氣吉他錦標賽。了解比賽規則和傳統將讓賽事更加有趣。

超算競賽一般由本科生、甚至是高中生組成的隊伍相互對抗,比較哪支隊伍可組建、優化和調整出最快速的集群超級計算機。對參賽隊伍的硬體的唯一限制是不得超過3000W功率。

目前全球主要有三大大學生超算競賽:1)每年11月在美國舉行的SC大會期間的大學生超算競賽; 2)每年6月在歐洲舉行的ISC大會期間的大學生超算競賽; 3)每年春季在中國舉行的ASC世界大學生超算競賽。

SC16參賽選手合影

這三大競賽的某些規則是通用的。例如,功率限制均為3000W。競賽一旦開始,參賽隊伍將無法獲得任何外界幫助。三大競賽均要求參賽隊伍運行HPCC基準測試和獨立HPL(LINPACK),以及一組實際的科學應用程序。

參賽隊伍根據其系統性能以及結果的質量和精度獲得分值。除運行基準測試和應用程序外,HPC專家組還對參賽隊伍進行提問,以了解他們對系統及其執行的科學任務的理解程度。

ASC16

三大競賽均設置最高LINPACK性能獎、冠軍獎以及一些其他獎項。每場競賽有12至20支參賽隊伍。SC和ISC超算競賽分別在各大會的展廳內進行,而ASC超算競賽經常在中國最大的超級計算機旁舉辦。

SC超算競賽歷史最為悠久,首屆比賽於2007年舉辦。2012年開始的ISC至今已舉辦6屆。ASC超算競賽2013年在上海舉行。

雖然某些競賽規則和程序通用,但也存在差異:

SC競賽長達48小時,如同一場艱辛的馬拉松。學生們周一早上開始進行HPCC和獨立LINPACK測試,當天下午5點需得出結果。這通常很輕鬆;因為大多數的參賽隊伍可多次運行基準測試,並可邊運行邊睡覺。周一晚上發布科學應用程序的數據集後才真正開始進行操作。應用程序和附帶的數據集非常複雜,參賽隊伍幾乎不可能完成每項任務。從周一晚上到周三下午最終結果出來前,學生要一直努力工作,儘可能完成任務。能高效分配處理資源的參賽隊伍將佔據很大優勢。

SC13競賽中

ISC競賽歷時三天。第一天下午進行HPCC和LINPACK性能測試,第二天早上獲得應用程序數據集。第二天和第三天完成當天的工作量,並在當天下午提交結果。通常情況下,數據集不會很大,因此不會花費太多時間來運行,學生將擁有大量時間來優化應用程序,從而獲得最佳性能。然而,組織者每天會發布未知的應用程序。由於參賽隊伍並不知道應用程序將會是什麼,無法提前準備。因此,團隊合作、HPC以及科學知識非常重要。

ASC世界大學生超算競賽相當於ISC和SC賽事的結合。比賽第一天,學生們依然要進行HPC基準測試(包括LINPACK性能測試),然後拿到應用程序的數據集。但需在規定時間內提交各應用程序的結果,有時需要幾個小時,有時需要一天以上。他們通常有足夠時間來運行各應用程序,因此決勝之處在於是否能在運行中優化並獲得比競爭隊伍更好的性能。

學生超算競賽充滿了技術挑戰,既有理論的學習,也有實操的學習,同時也樂趣十足。誰不想爭分奪秒地組建HPC平台並在測試上打敗對手呢?

比賽是如何運轉的?

三個組織均採用大致相同的流程。第一步是組建隊伍,包括六名在校本科生(任何專業)和至少一名指導老師。每支參賽隊伍向賽事管理者提交申請,回答有關「為什麼參加競賽」、「大學HPC和計算機科學課程」、「團隊技能」等問題。幾周後,選拔委員會將決定哪些隊伍符合標準,哪些隊伍需在下年重新申請。

在參賽前,被選中的隊伍有幾個月的時間做一些準備工作。他們需要尋找贊助商(通常是硬體廠商)並確保資金能夠滿足其基本預算。在ASC世界大學生超算競賽中,這個過程相對容易,因為浪潮公司會為學生隊伍提供所有硬體設備。

ASC17競賽中

在其他競賽中,贊助商通常也會提供最新和最好的裝備、建議和一些行程財務支持等費用支持。順便提一下,獲得贊助商贊助並非一件十分艱難的事。大會主辦單位或者其他一些賽事支持者(包括我)都會幫助參賽隊伍聯繫供應商。

參賽前的其餘時間用來設計、配置、測試、調試集群,並儘可能地學習即將面臨的應用程序。然後,參賽隊伍將這些系統帶到賽場,並與其他參賽隊伍在現場基準測試對抗中相互競爭。

在硬體方面是沒有任何限制的。過去幾年,我們看到傳統CPU系統被CPU+GPU混合集群所取代。還有一些雄心勃勃的隊伍使用直連式液體冷卻模塊甚至是全液浸冷卻方式進行冷卻。參賽隊伍帶到賽場的裝備數量或硬體類型是沒有限制的。但需注意:所有運行設備的總功率不得超過3000W。

這一功率限制適用於所有計算節點、文件伺服器,交換機、存儲器以及除管理系統的PC之外的所有其他設備。為期三天的競賽中不可出現漏洞即整套系統必須持續連通電源並持續運行。這意味著,不可使用休眠或暫停模式來降低群集的部分功率,從而減少電力負荷。僅當系統發生故障或掛機時才允許重啟。如果超出功率限制,則參賽隊伍將獲得警告並可能被扣分。

在軟體方面,團隊可使用任何操作系統、集群或管理軟體,但需確保配置能夠承載所需工作負載。根據往年經驗,絕大多數隊伍均採用Linux系統,但也有例外,2010年和2011年,俄羅斯隊伍採用Microsoft軟體參加競賽,並在於西雅圖舉辦的SC11上贏得最高LINPACK獎。

極具吸引力的競賽

對於像我一樣的世界各地的數百萬瘋狂粉絲而言,這些競賽非常引人注目。我經常聽到學生們說「我學到了很多」。這不僅是指他們學到有關HPC系統和集群的知識,而是他們對科學與研究的認識。他們在談論這些新知識和可以用它做什麼時充滿了渴望和熱情,這種精神是可以非常感染人的。

對於一些參與者而言,參加超算大賽是人生中重大的轉折點。這可幫助一些學生加強或改變自己的職業規劃——有時甚至是一種根本性的改變。這些競賽可帶來實習甚至是全職工作機會。

對於許多本科生而言,這是他們首次接觸超算的世界並認識到本行業或本研究領域的現有職業。看著他們,我開始意識到他們的機會非常多;這甚至侵入到我典型的憤世嫉俗世界觀中。

參賽隊伍的學校也可從競賽中受益。一些大學將世界大學生超算競賽作為跳板來設立更強大的計算機科學和HPC課程——有時會設立與競賽相關的課程來幫助他們的隊伍準備競賽。同時,競賽也使學校有機會宣傳學生的成就,無論是否獲勝,都可以將此作為宣傳點。

新加坡南洋理工大學參加ASC

被選中去參賽,這本身就是一項成就。隨著這些競賽得到更多關注,申請參賽的學校數量逐年增加。在中國舉辦的最近ASC競賽中,共有近300支來自世界各地的參賽隊伍。

除上述內容外,我認為這些競賽引人注目是原因還包括它本身就具有很純粹的樂趣。所有年輕人都非常友善,個性十足,即使他們之間存在語言溝通障礙。他們很熱情、充滿活力。他們非常想要獲勝,但這就是競爭精神所在。我們可以看到,幾乎每一年,每當某支參賽隊伍的硬體在運輸途中出現問題時,其他參賽隊伍都樂於向他們捐獻所需的硬體。

ASC15 16強合影

正是這種精神以及學生們對學習的熱情和對比賽的享受真正定義了賽事。

關於作者

Dan是OrionX的首席分析師之一,同時也是GabrielConsulting Group(GCG)的創始人,擔任該集團的首席分析師長達15年。該集團是一家從事IT研究和諮詢的精品公司,其業務現已成為OrionX產品的一部分。

除伺服器、存儲器和網路技術外,Dan還緊隨大數據、雲端和HPC市場。他是負責報道和分析超算行業的國際大學生超算競賽的聯絡人。


推薦閱讀:

應該向系統里加入怎樣的邏輯,使得交易系統能夠根據市場情況調整參與頻率?
國內的股票型公募是如何在資金量如此巨大(單只產品數十億)的情況下進行交易的?組合中通常包含多少只股票?
如何準備藍橋杯,以及現階段一些迷茫?
多線程排序C++怎麼實現才是編寫效率和運行效率都很高的方案?
大學成績的加權平均分的不同演算法間有什麼區別?

TAG:演算法 | 運維 | 超級計算機 | 程序設計競賽 |