繼英偉達(dá)之后，全球科技巨頭實(shí)際上正在通過向 SK 海力士索取第五代高帶寬內(nèi)存 （HBM） HBM3E 樣品來進(jìn)行預(yù)訂。

半導(dǎo)體業(yè)內(nèi)人士7月3日報(bào)道稱，全球各大科技巨頭已陸續(xù)向SK海力士索取HBM3E樣品。該名單包括 AMD、微軟和亞馬遜。

樣品請求是下訂單之前的強(qiáng)制性流程，旨在證明其 GPU、其他半導(dǎo)體芯片或云系統(tǒng)以及內(nèi)存半導(dǎo)體之間的兼容性。這表明產(chǎn)品的良率足夠穩(wěn)定，可以進(jìn)行量產(chǎn)，標(biāo)志著交付前的最后階段。HBM3E是當(dāng)前頂級第四代HBM3的下一代產(chǎn)品。SK海力士是目前全球唯一一家量產(chǎn)HBM3芯片的公司。

SK海力士正忙于處理來自客戶的大量HBM3E樣品請求。英偉達(dá)首先要求提供樣品，這次的出貨量幾乎是千鈞一發(fā)。這些索取樣品的客戶公司可能會在今年年底收到樣品。全球領(lǐng)先的GPU公司Nvidia此前曾向SK海力士供應(yīng)HBM3，并已索取HBM3E樣品。各大科技公司都在熱切地等待 SK 海力士的樣品。

隨著HBM3E需求的爆炸性增長，產(chǎn)量顯著增加。SK 海力士決定使用最新的尖端 10 納米級第五代 （1b） 技術(shù)大幅提高明年的產(chǎn)量。大部分增量將由 HBM3E 填充。這表明SK海力士正在以HBM為首要業(yè)務(wù)戰(zhàn)略，全力克服半導(dǎo)體低迷。據(jù)悉，SK海力士約40%的營業(yè)利潤來自HBM。

所有向 SK 海力士索取 HBM3E 樣品的公司都是人工智能行業(yè)的主要參與者。AMD 與 Nvidia 一起引領(lǐng) GPU 市場。GPU 對于處理大量數(shù)據(jù)至關(guān)重要，是 ChatGPT 等生成型人工智能的大腦。為此，諸如 HBM 之類的高性能、大容量存儲器至關(guān)重要。瓜分GPU市場的Nvidia和AMD都已向SK海力士伸出了援手。

AMD最近發(fā)布了其下一代GPU MI300X，并表示將從SK海力士和三星電子獲得HBM3供應(yīng)。此次，似乎是向SK海力士索取了HBM3E樣品，以確定第五代HBM的供應(yīng)商。MI300X配備的HBM是Nvidia去年底推出的最新旗艦GPU H100的2.4倍。

亞馬遜和微軟是云服務(wù)領(lǐng)域的兩大巨頭。他們的市場份額加起來超過了50%。作為生存策略，云服務(wù)公司優(yōu)先引入生成式AI技術(shù)，并大幅增加投資。亞馬遜旗下運(yùn)營的全球第一云服務(wù)提供商（CSP）亞馬遜網(wǎng)絡(luò)服務(wù)近期投資1億美元建立人工智能創(chuàng)新中心。與此同時(shí)，微軟的Azure云服務(wù)正在擴(kuò)大與ChatGPT開發(fā)商OpenAI的合作關(guān)系。

市場研究公司TrendForce表示：“亞馬遜網(wǎng)絡(luò)服務(wù)和谷歌等主要云服務(wù)公司正在開發(fā)自己的專用集成電路（ASIC）和配備Nvidia GPU的AI服務(wù)器，是當(dāng)前HBM激增的推動力要求。”

以DRAM 4月的指標(biāo)性產(chǎn)品DDR4 8Gb為例，批發(fā)價(jià)為每個(gè)1.48美元左右，環(huán)比下跌1%；4Gb產(chǎn)品價(jià)格為每個(gè)1.1美元左右，環(huán)比下跌8%。

在DRAM的整體頹勢之中，HBM（高帶寬內(nèi)存，High Bandwidth Memory）卻在逆勢增長。身為DRAM的一種，與大部隊(duì)背道而馳，價(jià)格一路水漲船高。據(jù)媒體報(bào)道，2023年開年后三星、SK海力士兩家存儲大廠HBM訂單快速增加，HBM3規(guī)格DRAM價(jià)格上漲5倍。HBM3原本價(jià)格大約30美元每GB，現(xiàn)在的價(jià)格怕是更加驚人。

一邊是總體DRAM跌到成本價(jià)，一邊是“尖子生”HBM價(jià)格漲5倍。

6 月 18 日據(jù) businesskorea 以及 etnews 報(bào)道，SK 海力士將擴(kuò)展其 HBM3 后道工藝生產(chǎn)線，并已收到英偉達(dá)要求其送測 HBM3E 樣品的請求

據(jù)稱，考慮到對人工智能 （AI） 半導(dǎo)體的需求增加，S 海力士正在考慮將 HBM 的產(chǎn)能翻倍的計(jì)劃。

業(yè)內(nèi)消息稱 SK 海力士于 6 月 14 日收到了 NVIDIA 對 HBM3E 樣品的請求，并正在準(zhǔn)備發(fā)貨。HBM3E 是當(dāng)前可用的最高規(guī)格 DRAM HBM3 的下一代，被譽(yù)為是第五代半導(dǎo)體產(chǎn)品。

SK 海力士目前正致力于開發(fā)該產(chǎn)品，目標(biāo)是在明年上半年實(shí)現(xiàn)量產(chǎn)。SK 海力士副總裁樸明秀在今年 4 月的第一季度收益公告電話會議上透露：“我們正在為今年下半年準(zhǔn)備 8Gbps HBM3E 產(chǎn)品樣品，并計(jì)劃在明年上半年實(shí)現(xiàn)量產(chǎn)。”

半導(dǎo)體產(chǎn)業(yè)聯(lián)盟查詢發(fā)現(xiàn)，目前 SK 海力士在 HBM 市場已經(jīng)領(lǐng)先于三星電子。據(jù)市場研究公司 TrendForce 稱，截至去年，SK 海力士在全球 HBM 市場上占據(jù) 50% 的市場份額，而三星電子則保持在 40% 左右。

去年 6 月，SK 海力士成為世界上第一個(gè)大規(guī)模生產(chǎn)高性能 HBM3 的公司，從而一舉奠定其市場領(lǐng)導(dǎo)地位。在通過 HBM3 樣品的嚴(yán)格性能評估后，成功滿足了高端客戶的需求，目前已經(jīng)在為 NVIDIA H100 供應(yīng)。

如果他們成功交付第五代 HBM 產(chǎn)品，將進(jìn)一步鞏固他們在超快速 AI 半導(dǎo)體市場上的領(lǐng)先地位。

HBM的優(yōu)勢

直接地說，HBM將會讓服務(wù)器的計(jì)算能力得到提升。由于短時(shí)間內(nèi)處理大量數(shù)據(jù)，AI服務(wù)器對帶寬提出了更高的要求。HBM的作用類似于數(shù)據(jù)的“中轉(zhuǎn)站”，就是將使用的每一幀、每一幅圖像等圖像數(shù)據(jù)保存到幀緩存區(qū)中，等待GPU調(diào)用。與傳統(tǒng)內(nèi)存技術(shù)相比，HBM具有更高帶寬、更多I/O數(shù)量、更低功耗、更小尺寸，能夠讓AI服務(wù)器在數(shù)據(jù)處理量和傳輸速率有大幅提升。

來源：rambus

可以看到HBM在帶寬方面有著“碾壓”級的優(yōu)勢。如果 HBM2E 在 1024 位寬接口上以 3.6Gbps 的速度運(yùn)行，那么就可以得到每秒 3.7Tb 的帶寬，這是 LPDDR5 或 DDR4 帶寬的 18 倍以上。

除了帶寬優(yōu)勢，HBM可以節(jié)省面積，進(jìn)而在系統(tǒng)中安裝更多GPU。HBM 內(nèi)存由與 GPU 位于同一物理封裝上的內(nèi)存堆棧組成。

這樣的架構(gòu)意味著與傳統(tǒng)的 GDDR5/6 內(nèi)存設(shè)計(jì)相比，可節(jié)省大量功耗和面積，從而允許系統(tǒng)中安裝更多 GPU。隨著 HPC、AI 和數(shù)據(jù)分析數(shù)據(jù)集的規(guī)模不斷增長，計(jì)算問題變得越來越復(fù)雜，GPU 內(nèi)存容量和帶寬也越來越大是一種必需品。H100 SXM5 GPU 通過支持 80 GB（五個(gè)堆棧）快速 HBM3 內(nèi)存，提供超過 3 TB/秒的內(nèi)存帶寬，是 A100 內(nèi)存帶寬的 2 倍。

過去對于HBM來說，價(jià)格是一個(gè)限制因素。但現(xiàn)在大模型市場上正處于百家爭鳴時(shí)期，對于布局大模型的巨頭們來說時(shí)間就是金錢，因此“貴有貴的道理”的HBM成為了大模型巨頭的新寵。隨著高端GPU需求的逐步提升，HBM開始成為AI服務(wù)器的標(biāo)配。

目前英偉達(dá)的A100及H100，各搭載達(dá)80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper芯片中，單顆芯片HBM搭載容量再提升20%，達(dá)96GB。

AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高端MI300X則達(dá)192GB，提升了50%。

預(yù)期Google將于2023年下半年積極擴(kuò)大與Broadcom合作開發(fā)AISC AI加速芯片TPU也計(jì)劃搭載HBM存儲器，以擴(kuò)建AI基礎(chǔ)設(shè)施。