HBM火了，它到底是什麼？

來自專欄 EDA學習

開工第一天給大家來點乾貨，公共號【EDA學習】楓哥帶大家了解HBM技術：

1. WHAT? 什麼是HBM？
2. WHERE? HBM技術特色
3. WHY? 為什麼需要HBM？
4. HOW? HBM推動AI成功

1：什麼是HBM：

HBM==High Bandwidth Memory 是一款新型的CPU/GPU 內存晶元（即 「RAM」），其實就是將很多個DDR晶元堆疊在一起後和GPU封裝在一起，實現大容量，高位寬的DDR組合陣列。先看個平面圖：

中間的die是GPU/CPU，左右2邊4個小die就是DDR顆粒的堆疊。在堆疊上，現在一般只有2/4/8三種數量的堆疊，立體上最多堆疊4層.

• 再看一個HBM DRAM 3D圖形：

• DRAM通過堆疊的方式，疊在一起，Die之間用TVS方式連接
• DRAM下面是DRAM邏輯控制單元, 對DRAM進行控制
• GPU和DRAM通過uBump和Interposer（起互聯功能的矽片）連通
• Interposer再通過Bump和 Substrate(封裝基板）連通到BALL
• 最後BGA BALL 連接到PCB上。

2：HBM技術特色：到現在為止生產的只有1-2代，第3代的SPEC剛剛被定義。

老鐵們，1024位寬， 256Gbps帶寬，靠！有沒有搞錯，沒有，這個真沒有。

另據悉，AMD及NVIDIA下代顯卡都會搭配4組HBM顯存，等效位寬4096bit，總帶寬可達1024GB/s，也就是NVIDIA之前宣傳的TB/s級別帶寬。

這是要逆天呀！

3:為什麼要HBM:

• 更高速，更高帶寬

HBM 堆棧沒有以物理方式與 CPU 或 GPU 集成，而是通過中介層緊湊而快速地連接，HBM 具備的特性幾乎和晶元集成的 RAM一樣。

• 更高位寬

HBM 堆棧方式可以實現更多的IO數量，1024位。

• 更低功耗

隨著顯卡晶元的快速發展，人們對快速傳輸信息（「帶寬」）的要求也在不斷提高。GDDR5 已經漸漸不能滿足人們對帶寬的需要，技術發展也已進入了瓶頸期。每秒增加 1 GB 的帶寬將會帶來更多的功耗，這不論對於設計人員還是消費者來說都不是一個明智、高效或合算的選擇。因此，GDDR5 將會漸漸阻礙顯卡晶元性能的持續增長。HBM 重新調整了內存的功耗效率，使每瓦帶寬比 GDDR5 高出 3 倍還多。也即是功耗降低3倍多！

• 更小外形

除了性能和功耗外，HBM 在節省產品空間方面也獨具匠心。隨著遊戲玩家對更輕便高效的電腦追求，HBM 應運而生，它小巧的外形令人驚嘆，使遊戲玩家可以擺脫笨重的 GDDR5 晶元，盡享高效。此外，HBM 比 GDDR5 節省了 94% 的表面積！

如上圖所示，將原本在PCB上的GDDR5顆粒，全部集成到封裝里和GPU一起。老鐵們說來個實際的尺寸圖看看：好的，如下圖：

那GPU+HBM的整個晶元到底有多大尺寸呢？如下： 和掌心類似。

那用手上的HBM，做成一個顯卡需要多大的PCB呢？接著上圖

4：HOW? HBM推動AI成功

人工智慧，雲計算，深度學習出現3個算力階段

第一，早期，AI處理器架構的探討源於學術界的半導體和體系架構領域，此時模型層數較少，計算規模較小，算力較低。

第二，模型逐漸加深，對算力需求相應增加，導致了帶寬瓶頸，即IO問題,此時可通過增大片內緩存、優化調度模型來增加數據復用率等方式解決

第三，雲端AI處理需求多用戶、高吞吐、低延遲、高密度部署。計算單元劇增使IO瓶頸愈加嚴重，要解決需要付出較高代價（如增加DDR介面通道數量、片內緩存容量、多晶元互聯）

此時,片上HBM（High Bandwidth Memory，高帶寬存儲器）的出現使AI/深度學習完全放到片上成為可能，集成度提升的同時，使帶寬不再受制於晶元引腳的互聯數量，從而在一定程度上解決了IO瓶頸。

上圖為寒武紀公司的DiaoNao AI ASIC設計，緩存占面積的66.7%（NBin+NBout+SB）

儘管片上分布的大量緩存能提供足夠的計算帶寬，但由於存儲結構和工藝制約，片上緩存佔用了大部分的晶元面積（通常為1/3至2/3），限制了算力提升。

而以HBM為代表的存儲器堆疊技術，將原本一維的存儲器布局擴展到三維，大幅度提高了片上存儲器的密度，使AI進入新的發展階段，

HBM需要克服的2大主要問題：

1：HBM需要較高的工藝而大幅度提升了成本。

2：大量DRAM堆疊，和GPU封裝在一起，產生大量的熱，如何散熱是極大的挑戰。

總結一句話：HBM就是將很多DRAM通過3D技術集成在一個封裝內，滿足各種計算對高帶寬的需求。

最後，如果大家想了解HBM技術細節， 關注【EDA學習】後，回復 HBM 給你HBM標準和其他相關文章。

2018年之往期精彩：

http://weixin.qq.com/r/UCjP1wXEwVi_rUG0931C (二維碼自動識別)

掃描二維碼關注

推薦閱讀：