伴隨著英偉達(dá)AI芯片的熱賣，HBM（高帶寬內(nèi)存）成為了時(shí)下存儲(chǔ)中最為火熱的一個(gè)領(lǐng)域，不論是三星、海力士還是美光，都投入了大量研發(fā)人員與資金，力圖走在這條賽道的最前沿。

HBM 的初衷，是為了向 GPU 和其他處理器提供更多的內(nèi)存，但隨著GPU 的功能越來(lái)越強(qiáng)大，需要更快地從內(nèi)存中訪問(wèn)數(shù)據(jù)，以縮短應(yīng)用處理時(shí)間。例如，在機(jī)器學(xué)習(xí)訓(xùn)練運(yùn)行中，大型語(yǔ)言模型 (LLM) 可能需要重復(fù)訪問(wèn)數(shù)十億甚至數(shù)萬(wàn)億個(gè)參數(shù)，而這可能需要數(shù)小時(shí)或數(shù)天才能完成。

這也讓傳輸速率成為了HBM的核心參數(shù)，而已有的HBM都采用了標(biāo)準(zhǔn)化設(shè)計(jì)：HBM 存儲(chǔ)器堆棧通過(guò)微凸塊連接到 HBM 堆棧中的硅通孔（TSV 或連接孔），并與放置在基礎(chǔ)封裝層上的中間件相連，中間件上還安裝有處理器，提供 HBM 到處理器的連接。與普通的DRAM相比，如此設(shè)計(jì)的HBM能夠垂直連接多個(gè)DRAM，能顯著提升數(shù)據(jù)處理速度，

目前，HBM 產(chǎn)品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開(kāi)發(fā)，最新的HBM3E是HBM3的擴(kuò)展版本，速率達(dá)到了8Gbps。

但對(duì)于AI芯片來(lái)說(shuō)，光靠傳統(tǒng)的硅通孔已經(jīng)無(wú)法滿足廠商對(duì)于速率的渴求，內(nèi)存廠商和標(biāo)準(zhǔn)機(jī)構(gòu)正在研究如何通過(guò)使用光子等技術(shù)或直接在處理器上安裝 HBM，從而讓像GPU 這樣的加速處理器可以獲得更快的內(nèi)存訪問(wèn)速度。

誰(shuí)才是新方向？

雖然目前業(yè)界都在集中研發(fā)HBM3的迭代產(chǎn)品，但是廠商們?yōu)榱藸?zhēng)奪市場(chǎng)的話語(yǔ)權(quán)，對(duì)于未來(lái)HBM技術(shù)開(kāi)發(fā)有著各自不同的見(jiàn)解與想法。

三星

三星正在研究在中間件中使用光子技術(shù)，光子通過(guò)鏈路的速度比電子編碼的比特更快，而且耗電量更低。光子鏈路可以飛秒速度運(yùn)行。這意味著10-1?個(gè)時(shí)間單位，即四十億分之一（十億分之一的百萬(wàn)分之一）秒。在最近舉行的開(kāi)放計(jì)算項(xiàng)目（OCP）峰會(huì)上，以首席工程師李彥為代表的韓國(guó)巨頭先進(jìn)封裝團(tuán)隊(duì)介紹了這一主題。

除了使用光子集成電路外，另一種方法是將 HBM 堆棧更直接地連接到處理器（上圖中的三星邏輯圖）。這將涉及謹(jǐn)慎的熱管理，以防止過(guò)熱。這意味著隨著時(shí)間的推移，HBM 堆?？梢陨?jí)，以提供更大的容量，但這需要一個(gè)涵蓋該領(lǐng)域的行業(yè)標(biāo)準(zhǔn)才有可能實(shí)現(xiàn)。

SK海力士

據(jù)韓媒報(bào)道，SK海力士還在研究 HBM 與邏輯處理器直接連接的概念。這種概念是在混合使用的半導(dǎo)體中將 GPU 芯片與 HBM 芯片一起制造。芯片制造商將其視為 HBM4 技術(shù)，并正在與英偉達(dá)和其他邏輯半導(dǎo)體供應(yīng)商洽談。這個(gè)想法涉及內(nèi)存和邏輯制造商共同設(shè)計(jì)芯片，然后由臺(tái)積電（TSMC）等晶圓廠運(yùn)營(yíng)商制造。

這有點(diǎn)類似于內(nèi)存處理（PIM）的想法，如果最終不能成為行業(yè)標(biāo)準(zhǔn)的話，很可能會(huì)變成事實(shí)上的廠商獨(dú)占。

美光

Tom's Hardware 報(bào)道稱，美光與市場(chǎng)上的其他公司正在開(kāi)展 HBM4 和 HBM4e 活動(dòng)。美光目前正在生產(chǎn) HBM3e gen-2 內(nèi)存，采用 8層垂直堆疊的 24GB 芯片。美光的 12 層垂直堆疊 36GB 芯片將于 2024 年第一季度開(kāi)始出樣。它正與半導(dǎo)體代工運(yùn)營(yíng)商臺(tái)積電合作，將其 gen-2 HBM3e 用于人工智能和 HPC 設(shè)計(jì)應(yīng)用。

美光表示，其目前的產(chǎn)品具有高能效，對(duì)于安裝了1000萬(wàn)個(gè)GPU的設(shè)備來(lái)說(shuō)，每個(gè)HBM堆棧能節(jié)省約5瓦的功耗，預(yù)計(jì)五年內(nèi)將比其他HBM產(chǎn)品節(jié)省高達(dá)5.5億美元的運(yùn)營(yíng)開(kāi)支。

下一代HBM

2015年以來(lái)，從HBM1到HBM3e，它們都保留了相同的1024位(每個(gè)堆棧)接口，即具有以相對(duì)適中的時(shí)鐘速度運(yùn)行的超寬接口，為了提高內(nèi)存?zhèn)鬏斔俾剩乱淮鶫BM4可能需要對(duì)高帶寬內(nèi)存技術(shù)進(jìn)行更實(shí)質(zhì)性的改變，即從更寬的2048位內(nèi)存接口開(kāi)始。

出于多種技術(shù)原因，業(yè)界打算在不增加 HBM 存儲(chǔ)器堆棧占用空間的情況下實(shí)現(xiàn)這一目標(biāo)，從而將下一代 HBM 存儲(chǔ)器的互連密度提高一倍。HBM4 會(huì)在多個(gè)層面上實(shí)現(xiàn)重大技術(shù)飛躍。在 DRAM 堆疊方面，2048 位內(nèi)存接口需要大幅增加內(nèi)存堆疊的硅通孔數(shù)量。同時(shí)，外部芯片接口需要將凸塊間距縮小到遠(yuǎn)小于 55 微米，而 HBM3 目前的凸塊總數(shù)（約）為 3982 個(gè)，因此需要大幅增加微型凸塊的總數(shù)。

內(nèi)存廠商表示，他們還將在一個(gè)模塊中堆疊多達(dá) 16 個(gè)內(nèi)存模塊，即所謂的 16-Hi 堆疊，從而增加了該技術(shù)的復(fù)雜性。(從技術(shù)上講，HBM3 也支持 16-Hi 堆疊，但到目前為止，還沒(méi)有制造商真正使用它）這將使內(nèi)存供應(yīng)商能夠顯著提高其 HBM 堆疊的容量，但也帶來(lái)了新的復(fù)雜性，即如何在不出現(xiàn)缺陷的情況下連接更多的 DRAM 凸塊，然后保持所產(chǎn)生的 HBM 堆疊適當(dāng)且一致地短。

在阿姆斯特丹舉行的臺(tái)積電 OIP 2023 會(huì)議上，臺(tái)積電設(shè)計(jì)基礎(chǔ)設(shè)施管理主管這樣說(shuō)道："因?yàn)閇HBM4]不是將速度提高了一倍，而是將[接口]引腳增加了一倍。這就是為什么我們要與所有三家合作伙伴合作，確保他們的 HBM4（采用我們的先進(jìn)封裝方法）符合標(biāo)準(zhǔn)，并確保 RDL 或 interposer 或任何介于兩者之間的產(chǎn)品都能支持（HBM4 的）布局和速度。因此，我們會(huì)繼續(xù)與三星、SK 海力士和美光合作"。

目前，臺(tái)積電的 3DFabric 存儲(chǔ)器聯(lián)盟目前正致力于確保 HBM3E/HBM3 Gen2 存儲(chǔ)器與 CoWoS 封裝、12-Hi HBM3/HBM3E 封裝與高級(jí)封裝、HBM PHY 的 UCIe 以及無(wú)緩沖區(qū) HBM（由三星率先推出的一項(xiàng)技術(shù)）兼容。

美光公司今年早些時(shí)候表示，"HBMNext "內(nèi)存將于 2026 年左右面世，每堆棧容量介于 36 GB 和 64 GB 之間，每堆棧峰值帶寬為 2 TB/s 或更高。所有這些都表明，即使采用更寬的內(nèi)存總線，內(nèi)存制造商也不會(huì)降低 HBM4 的內(nèi)存接口時(shí)鐘頻率。

總結(jié)

與三星和 SK海力士不同，美光并不打算把 HBM 和邏輯芯片整合到一個(gè)芯片中，在下一代HBM發(fā)展上，韓系和美系內(nèi)存廠商涇渭分明，美光可能會(huì)告訴AMD、英特爾和英偉達(dá)，大家可以通過(guò) HBM-GPU 這樣的組合芯片獲得更快的內(nèi)存訪問(wèn)速度，但是單獨(dú)依賴某一家的芯片就意味著更大風(fēng)險(xiǎn)。

美國(guó)的媒體表示，隨著機(jī)器學(xué)習(xí)訓(xùn)練模型的增大和訓(xùn)練時(shí)間的延長(zhǎng)，通過(guò)加快內(nèi)存訪問(wèn)速度和提高每個(gè) GPU 內(nèi)存容量來(lái)縮短運(yùn)行時(shí)間的壓力也將隨之增加，而為了獲得鎖定的 HBM-GPU 組合芯片設(shè)計(jì)（盡管具有更好的速度和容量）而放棄標(biāo)準(zhǔn)化 DRAM 的競(jìng)爭(zhēng)供應(yīng)優(yōu)勢(shì)，可能不是正確的前進(jìn)方式。

但韓媒的態(tài)度就相當(dāng)曖昧了，他們認(rèn)為HBM可能會(huì)重塑半導(dǎo)體行業(yè)秩序，認(rèn)為IP（半導(dǎo)體設(shè)計(jì)資產(chǎn)）和工藝的重大變化不可避免，還引用了業(yè)內(nèi)人士說(shuō)："除了定制的'DRAM 代工廠'之外，可能還會(huì)出現(xiàn)一個(gè)更大的世界，即使是英偉達(dá)和 AMD 這樣的巨頭也將不得不在三星和 SK 海力士制造的板材上進(jìn)行設(shè)計(jì)。"

當(dāng)然SK 海力士首席執(zhí)行官兼總裁 Kwak No-jeong的發(fā)言更值得玩味，他說(shuō)：“HBM、計(jì)算快速鏈接（CXL）和內(nèi)存處理（PIM）的出現(xiàn)將為內(nèi)存半導(dǎo)體公司帶來(lái)新的機(jī)遇，這種濱化模糊了邏輯半導(dǎo)體和存儲(chǔ)器之間的界限，內(nèi)存正在從一種通用商品轉(zhuǎn)變?yōu)橐环N特殊商品，起點(diǎn)將是 HBM4。”

由此看來(lái)，下一代HBM技術(shù)路線的選擇，可能會(huì)引發(fā)業(yè)界又一輪重大的洗牌，誰(shuí)能勝出，我們不妨拭目以待。

審核編輯：黃飛