HBM火了,它到底是什麼?
來自專欄 EDA學習
開工第一天給大家來點乾貨,公共號【EDA學習】楓哥帶大家了解HBM技術:
- WHAT? 什麼是HBM?
- WHERE? HBM技術特色
- WHY? 為什麼需要HBM?
- HOW? HBM推動AI成功
1:什麼是HBM:
HBM==High Bandwidth Memory 是一款新型的CPU/GPU 內存晶元(即 「RAM」),其實就是將很多個DDR晶元堆疊在一起後和GPU封裝在一起,實現大容量,高位寬的DDR組合陣列。先看個平面圖:
中間的die是GPU/CPU,左右2邊4個小die就是DDR顆粒的堆疊。在堆疊上,現在一般只有2/4/8三種數量的堆疊,立體上最多堆疊4層.
- 再看一個HBM DRAM 3D圖形:
- DRAM通過堆疊的方式,疊在一起,Die之間用TVS方式連接
- DRAM下面是DRAM邏輯控制單元, 對DRAM進行控制
- GPU和DRAM通過uBump和Interposer(起互聯功能的矽片)連通
- Interposer再通過Bump和 Substrate(封裝基板)連通到BALL
- 最後BGA BALL 連接到PCB上。
2:HBM技術特色:到現在為止生產的只有1-2代,第3代的SPEC剛剛被定義。
老鐵們,1024位寬, 256Gbps帶寬,靠!有沒有搞錯,沒有,這個真沒有。
另據悉,AMD及NVIDIA下代顯卡都會搭配4組HBM顯存,等效位寬4096bit,總帶寬可達1024GB/s,也就是NVIDIA之前宣傳的TB/s級別帶寬。
這是要逆天呀!
3:為什麼要HBM:
- 更高速,更高帶寬
HBM 堆棧沒有以物理方式與 CPU 或 GPU 集成,而是通過中介層緊湊而快速地連接,HBM 具備的特性幾乎和晶元集成的 RAM一樣。
- 更高位寬
HBM 堆棧方式可以實現更多的IO數量,1024位。
- 更低功耗
隨著顯卡晶元的快速發展,人們對快速傳輸信息(「帶寬」)的要求也在不斷提高。GDDR5 已經漸漸不能滿足人們對帶寬的需要,技術發展也已進入了瓶頸期。每秒增加 1 GB 的帶寬將會帶來更多的功耗,這不論對於設計人員還是消費者來說都不是一個明智、高效或合算的選擇。因此,GDDR5 將會漸漸阻礙顯卡晶元性能的持續增長。HBM 重新調整了內存的功耗效率,使每瓦帶寬比 GDDR5 高出 3 倍還多。也即是功耗降低3倍多!
- 更小外形
除了性能和功耗外,HBM 在節省產品空間方面也獨具匠心。隨著遊戲玩家對更輕便高效的電腦追求,HBM 應運而生,它小巧的外形令人驚嘆,使遊戲玩家可以擺脫笨重的 GDDR5 晶元,盡享高效。此外,HBM 比 GDDR5 節省了 94% 的表面積!
如上圖所示,將原本在PCB上的GDDR5顆粒,全部集成到封裝里和GPU一起。老鐵們說來個實際的尺寸圖看看:好的,如下圖:
那GPU+HBM的整個晶元到底有多大尺寸呢?如下: 和掌心類似。
那用手上的HBM,做成一個顯卡需要多大的PCB呢?接著上圖
4:HOW? HBM推動AI成功
人工智慧,雲計算,深度學習出現3個算力階段
第一,早期,AI處理器架構的探討源於學術界的半導體和體系架構領域,此時模型層數較少,計算規模較小,算力較低。
第二,模型逐漸加深,對算力需求相應增加,導致了帶寬瓶頸,即IO問題,此時可通過增大片內緩存、優化調度模型來增加數據復用率等方式解決
第三,雲端AI處理需求多用戶、高吞吐、低延遲、高密度部署。計算單元劇增使IO瓶頸愈加嚴重,要解決需要付出較高代價(如增加DDR介面通道數量、片內緩存容量、多晶元互聯)
此時,片上HBM(High Bandwidth Memory,高帶寬存儲器)的出現使AI/深度學習完全放到片上成為可能,集成度提升的同時,使帶寬不再受制於晶元引腳的互聯數量,從而在一定程度上解決了IO瓶頸。
上圖為寒武紀公司的DiaoNao AI ASIC設計,緩存占面積的66.7%(NBin+NBout+SB)
儘管片上分布的大量緩存能提供足夠的計算帶寬,但由於存儲結構和工藝制約,片上緩存佔用了大部分的晶元面積(通常為1/3至2/3),限制了算力提升。
而以HBM為代表的存儲器堆疊技術,將原本一維的存儲器布局擴展到三維,大幅度提高了片上存儲器的密度,使AI進入新的發展階段,
HBM需要克服的2大主要問題:
1:HBM需要較高的工藝而大幅度提升了成本。
2:大量DRAM堆疊,和GPU封裝在一起,產生大量的熱,如何散熱是極大的挑戰。
總結一句話:HBM就是將很多DRAM通過3D技術集成在一個封裝內,滿足各種計算對高帶寬的需求。
最後,如果大家想了解HBM技術細節, 關注【EDA學習】後,回復 HBM 給你HBM標準和其他相關文章。
2018年之往期精彩:
http://weixin.qq.com/r/UCjP1wXEwVi_rUG0931C (二維碼自動識別)
掃描二維碼關注
推薦閱讀:
TAG:電子封裝技術 |