新應(yīng)用需要深入了解不同類型 DRAM 的權(quán)衡。

如何構(gòu)建高性能芯片的選擇越來越多，但附加內(nèi)存的選擇幾乎沒有變化。為了在汽車、消費和超大規(guī)模計算中實現(xiàn)最大性能，選擇歸結(jié)為一種或多種 DRAM，而最大的權(quán)衡是成本與速度。

DRAM 仍然是任何這些架構(gòu)中的重要組成部分，盡管多年來一直在努力用更快、更便宜或更通用的內(nèi)存取代它，甚至將其嵌入到 SoC 中。但 DRAM 制造商并沒有保持不變，而是根據(jù)性能、功耗和成本推出了多種選擇。這些仍然是基本的權(quán)衡，要駕馭這些因素，需要深入了解內(nèi)存的使用方式、所有部件的連接方式，以及芯片或系統(tǒng)的關(guān)鍵屬性是什么。

Rambus產(chǎn)品管理高級總監(jiān) Frank Ferro 表示：“我們繼續(xù)看到對更多帶寬內(nèi)存需求的非常激進(jìn)的趨勢，即使在宏觀經(jīng)濟形勢下也是如此。有很多公司都在研究不同類型的內(nèi)存架構(gòu)。這包括解決帶寬問題的各種方法，無論是具有大量片上內(nèi)存的處理器還是其他方式。雖然這種方法將是最便宜和最快的，但容量非常低，因此人工智能算法必須針對這種類型的架構(gòu)進(jìn)行定制?！?/p>

Chiplets

Chiplets沒有減少對附加內(nèi)存的需求?？傮w而言，向異構(gòu)計算（尤其是小芯片）的發(fā)展只會加速對高帶寬內(nèi)存的需求，無論是 HBM、GDDR6 還是 LPDDR6。

HBM 是三者中最快的。但到目前為止，HBM 一直基于 2.5D 架構(gòu)，這限制了它的吸引力?！爸谱?2.5D 中介層仍然是相對昂貴的技術(shù)，”Ferro 說?！肮?yīng)鏈問題并沒有太大幫助。在過去的兩年里，這種情況有所緩解，但它確實凸顯了當(dāng)你在做這些復(fù)雜的 2.5D 系統(tǒng)時的一些問題，因為你必須組合很多組件和基板。如果其中任何一件不可用，就會擾亂整個流程或造成很長的交付周期?！?/p>

用于最大數(shù)據(jù)吞吐量的 HBM 堆棧。來源：Rambus

將 HBM 連接到其他一些封裝方法（例如扇出）或使用不同類型的中介層或橋接器堆疊芯片的工作已經(jīng)進(jìn)行了一段時間。這些將變得必不可少，因為更多的前沿設(shè)計包括某種類型的高級封裝，這些封裝具有可能在不同工藝節(jié)點開發(fā)的異構(gòu)組件。

“很多 HBM 空間實際上更多地是關(guān)于制造問題而不是 IP 問題，” Cadence的 IP 集團(tuán)產(chǎn)品營銷集團(tuán)總監(jiān) Marc Greenberg 說?！爱?dāng)你有一個內(nèi)部帶有硅中介層的系統(tǒng)時，你需要弄清楚如何構(gòu)建一個帶有硅中介層的系統(tǒng)。首先，如何在那里制造硅中介層？它比普通的硅芯片大得多。它必須變薄。它必須綁定到將要在其上的各種芯片。它需要封裝。HBM 解決方案涉及很多專業(yè)制造。這最終超出了 IP 領(lǐng)域，更多地進(jìn)入了 ASIC 供應(yīng)商和 OSAT 所做的領(lǐng)域。”

汽車中的高帶寬存儲器

HBM 獲得極大興趣的領(lǐng)域之一是汽車。但仍有一些障礙需要克服，目前還沒有解決這些障礙的時間表。

Synopsys產(chǎn)品營銷總監(jiān) Brett Murdock表示：“HBM3 具有高帶寬、低功耗和良好的密度”. “唯一的問題是它很貴。那是那個記憶的一個失敗。HBM 的另一個缺點是它還沒有資格用于汽車，盡管它非常適合汽車。在汽車領(lǐng)域，正在發(fā)生的一件有趣的事情是所有電子設(shè)備都在集中化。隨著集中化的發(fā)生，基本上現(xiàn)在你的主干中有一個服務(wù)器。發(fā)生的事情太多了，不一定總是發(fā)生在單個 SoC 或單個 ASIC 上。因此，現(xiàn)在汽車公司開始關(guān)注小芯片，以及他們?nèi)绾卧谒麄兊脑O(shè)計中使用小芯片來獲得他們在該集中域中所需的所有計算能力。巧妙的是，小芯片的潛在用途之一是使用中介層。如果他們現(xiàn)在使用內(nèi)插器，他們并沒有解決 HBM 的內(nèi)插器問題。他們正在解決小芯片的插入器問題，也許 HBM 會加入進(jìn)來。然后，如果他們已經(jīng)在為車輛進(jìn)行小芯片設(shè)計，也許就不再那么昂貴了?！?/p>

HBM 非常適合這一領(lǐng)域，因為需要在車輛周圍快速移動大量數(shù)據(jù)。“想想汽車中的攝像頭數(shù)量，所有這些攝像頭的數(shù)據(jù)速率和處理所有信息的速度都是天文數(shù)字。HBM 是所有汽車行業(yè)人士都想去的地方，”Murdock說。“成本對他們來說可能并沒有那么高，因為它只是整理技術(shù)，整理汽車中的中介層，以及整理 HBM 設(shè)備的汽車溫度。

不過，這可能需要一段時間。與此同時，GDDR 似乎是一顆冉冉升起的新星。雖然它的吞吐量比 HBM 更有限，但對于許多應(yīng)用來說仍然足夠，并且已經(jīng)通過汽車認(rèn)證。

Rambus 的 Ferro 說：“HBM 絕對會進(jìn)入汽車應(yīng)用領(lǐng)域，在這些應(yīng)用中，汽車會與不動的東西對話?！?“但在車輛方面，GDDR 做得很好。LPDDR 已經(jīng)在汽車中，您可以用 GDDR 替換多個 LPDDR，獲得更小的占用空間和更高的帶寬。然后，隨著 AI 處理的提升，LPDDR5 和 LPDDR6 開始達(dá)到一些相當(dāng)可觀的速度 [現(xiàn)在分別接近 8Gbps 和 10Gbps]，它們也將成為汽車中非常可行的解決方案。仍然會有一些 DDR，但 LPDDR 和 GDDR 將成為汽車最喜歡的技術(shù)?！?/p>

根據(jù) Cadence 的 Greenberg 的說法，這種方法可能會在相當(dāng)長的一段時間內(nèi)運作良好?！皟H使用標(biāo)準(zhǔn) PCB 和標(biāo)準(zhǔn)制造技術(shù)的解決方案似乎比嘗試在方程式中引入硅中介層并使其符合溫度或振動或 10 年的要求更明智。一生。與 GDDR-6 相比，在車輛中驗證 HBM 解決方案似乎是一個更大的挑戰(zhàn)，在 GDDR-6 中，可以將內(nèi)存放在 PCB 上。如果我在一家汽車公司負(fù)責(zé)一些汽車項目，我只會選擇 HBM 作為最后的選擇?！?/p>

邊緣 AI/ML 內(nèi)存

GDDR 和 LPDDR5，甚至可能是 LPDDR6，在一些邊緣加速卡上也開始看起來像是可行的解決方案。

“對于進(jìn)行邊緣 AI 推理的 PCIe 卡，多年來我們已經(jīng)在 NVIDIA 等公司的加速卡中看到了 GDDR，”Ferro 說?！艾F(xiàn)在我們看到越來越多的公司愿意考慮替代方案。例如，Achronix 正在其加速卡中使用 GDDR6，并開始研究如何使用 LPDDR，盡管其速度仍然只有 GDDR 的一半左右。它在爬升，它提供了更多的密度。這是另一種解決方案。這些給出了一個很好的權(quán)衡。它們提供了性能和成本優(yōu)勢，因為它們?nèi)匀皇褂脗鹘y(tǒng)的 PCB。如果過去使用過 DDR，則可以扔掉很多 DDR，并用一個 GDPR 或兩個 LPDDR 替換它們。這就是我們現(xiàn)在看到的很多情況，因為開發(fā)人員試圖弄清楚如何在成本、功率和價格之間取得適當(dāng)?shù)钠胶?。這始終是邊緣的挑戰(zhàn)?！?/p>

與往常一樣，權(quán)衡是許多因素的平衡。

格林伯格指出，在當(dāng)前 AI 革命的早期階段，第一批 HBM 存儲器正在被使用?！叭藗冋诓捎靡环N成本是無目標(biāo)/帶寬是無目標(biāo)的方法。HBM 很自然地融入其中，有人希望有一個典型的例子來說明他們可以從系統(tǒng)中獲得多少帶寬。他們會基于 HBM 構(gòu)建一個芯片，根據(jù)他們對該芯片的性能指標(biāo)獲得風(fēng)險投資資金，而且沒有人真的太擔(dān)心這一切的成本。現(xiàn)在我們看到的是，也許您需要一些好的指標(biāo)，也許是您可以使用 HBM 實現(xiàn)的 75%，但您希望它的成本降低一半。我們該怎么做？我們所看到的 GDDR 的吸引力在于它可以實現(xiàn)成本更低的解決方案，但帶寬絕對接近 HBM 空間?！?/p>

默多克也看到了做出正確記憶選擇的困難?！皩τ诟邘捯螅ǔＫ麄儠龀龀杀緳?quán)衡決定。我是否會去 HBM，如果不是因為成本因素，它通常非常適合該應(yīng)用程序？我們有客戶詢問我們有關(guān) HBM 的信息，試圖在 HBM 和 LPDDR 之間做出選擇。這確實是他們做出的選擇，因為他們需要帶寬。他們可以在這兩個地方的任何一個地方得到它。我們已經(jīng)看到工程團(tuán)隊在 SoC 周圍放置了多達(dá) 16 個 LPDDR 接口實例，以滿足他們的帶寬需求。當(dāng)你開始談?wù)撃敲炊鄬嵗龝r，他們會說，'哦，哇，HBM 真的非常適合這個要求。但這仍然歸結(jié)為成本，因為很多這些公司只是不想支付 HBM3 帶來的溢價?！?/p>

HBM 還需要考慮架構(gòu)方面的問題?！癏BM 一開始就是一個多通道接口，因此使用 HBM，您可以在一個 HBM 堆棧上擁有 32 個偽通道，”Murdock 說。“有 16 個頻道，所以實際上是 32 個偽頻道。偽通道是您在每個偽通道的基礎(chǔ)上執(zhí)行實際工作負(fù)載的地方。因此，如果您在那里有 16 個偽通道，而不是如果您將大量不同的 LPDDR 實例放到您的 SoC 上，在這兩種情況下，必須弄清楚您的流量將如何定位整個通道中的整體地址空間定義?！?/p>

對于 AI/機器學(xué)習(xí)開發(fā)人員，LPDDR 通常采用 bi-32 封裝，然后具有 2-16 位通道。

“你可以在你的架構(gòu)中做出一個基本的選擇，”他解釋道?！皬南到y(tǒng)的角度來看，是否將內(nèi)存上的這兩個 16 位通道視為真正獨立的通道？或者是否將它們放在一起并使其看起來像一個 32 位通道？他們總是選擇 16 位通道，因為這給了他們更高性能的接口。在內(nèi)存中，我有兩個通道。我有兩倍的打開頁面，我可能會從中點擊并通過頁面點擊減少我的整體系統(tǒng)延遲。它使性能更好的系統(tǒng)擁有更多更小的通道，這就是我們在 HBM 上看到的情況。從 HBM2e 到 HBM3，我們非常明確地放棄了該通道和偽通道大小以應(yīng)對此類市場。我們甚至在 DDR4 的 DDR5 中看到了這一點。

對于邊緣 AI 推理，Greenberg 一直在觀察這些應(yīng)用走在前沿，并發(fā)現(xiàn) GDDR-6 是一項很棒的技術(shù)?！坝泻芏嘈酒枷Ｍ哂性摴δ?。這使 AI 推理接近邊緣，因此可能會接收多個攝像頭輸入或多個其他傳感器輸入。然后，在邊緣使用人工智能，你可以深入了解你正在處理的數(shù)據(jù)，而不是將所有數(shù)據(jù)發(fā)送回服務(wù)器來執(zhí)行該功能。”

Greenberg 預(yù)計很快就會有大量芯片問世，這些芯片將具有各種有趣的功能，而無需將大量數(shù)據(jù)發(fā)送回服務(wù)器。他希望 GDDR6 在那里發(fā)揮重要作用。

“前幾代 GDDR 主要針對顯卡，”他說?！癎DDR6 具有很多特性，使其更適合作為通用內(nèi)存。事實上，雖然我們確實有用戶將其用于顯卡，但大多數(shù)人實際上將其用于 AI 邊緣應(yīng)用程序，”Greenberg說。“如果需要盡可能多的帶寬，而且不關(guān)心成本多少，那么 HBM 是很好的解決方案。但是，如果不需要那么多的帶寬，或者如果成本是一個問題，那么 GDDR6 在該領(lǐng)域發(fā)揮有利作用。GDDR6的優(yōu)勢在于可以在標(biāo)準(zhǔn)的FR4 PCB上完成。制造過程中不需要特殊材料。沒有特殊工藝，甚至PCB本身也不需要背鉆。它不需要有隱藏的過孔或類似的東西。”

最后，GDDR 領(lǐng)域的最后一個趨勢是努力使 GDDR 對消費者更加友好?！八匀挥幸恍┓浅Ｓ欣趫D形引擎的規(guī)范部分，但作為一項技術(shù)，GDDR 正在朝著消費者的方向發(fā)展，”他說。“隨著 GDDR 類技術(shù)的更廣泛部署，它將繼續(xù)朝著這個方向發(fā)展?！?/p>

審核編輯：劉清