【产业信息速递】HBM 4，更多细节曝光

（信息来源：block&files）

供应商和 JEDEC 正在提前推进他们的 HBM4 计划，因为他们怀疑预测的 Gen AI 热潮意味着即将到来的 Nvidia GPU 将更快地需要它。

高带宽内存 ( HBM ) 通过将内存芯片堆叠在逻辑层之上，并通过互连 TSV 通道，绕过 X86 插槽连接的DRAM 容量和带宽限制，所有这些都通过中介层组件连接到 GPU，从而提供比 X86 插槽更高的带宽。联合电子设备工程委员会 ( JEDEC ) 确认并发布了 HBM 标准，当前标准是其第五个标准，即 HBM3E（扩展版）。

HBM 的主要供应商是 SK 海力士，其次是三星和美光。SK 海力士2024 年第一季度收入飙升144%，这要归功于 Nvidia 对 HBM 芯片的需求，后者将 HBM 芯片与其 GPU 一起封装。TrendForce表示，受价格溢价和 AI 芯片产能需求增加的推动，HBM 市场有望实现“强劲增长”。

美光正在打造 24 GB HBM3e芯片，配备 8 x 3 GB 堆叠 DRAM 芯片（8 高），供 Nvidia 在其H200 Tensor Core GPU 中使用。它还有一款 12 高设备，容量为 36 GB，性能超过 1.2 TBps。三星拥有自己的 12 高、36 GB HBM3e 设备，带宽高达 1.28 TBps。

JEDEC 表示将在今年年底前发布完整的 HBM4 规范——就在几个月前，该计划还计划于 2025 年交付。HBM4 的初步特性已经出现。

HBM4 控制器将能够控制 HBM3E DRAM。HBM3E 芯片具有 1024 位宽的通道，而 HBM4 则将其加倍至 2048 位。HBM3E堆叠的 DRAM 芯片的最大数量为 12 个。HBM4 将其增加三分之一至 16 个，同时支持 24 Gb 和 32 Gb 层。这将提高容量，最高支持 512 Gb（64GB），带宽最高可达6.4 GTps，这意味着主机 GPU 可以更快地获取更多数据，从而处理更大的大型语言模型。

16 层堆叠显然比 12 层堆叠高，JEDEC 正在考虑将 HBM 芯片最大高度参数从 720μm 提高到 775μm。降低高度的方法之一是采用更小的工艺技术。

台积电和 SK 海力士最初计划使用12nm 12FFC+ 工艺，但现在打算增加 5nm N5 工艺技术。三星表示，它将在其 HBM4 逻辑芯片中使用 4nm 技术，与 HBM3E 芯片使用的 10nm 工艺相比，这将提高芯片的性能并降低其功耗。

直接 将HBM 连接到 GPU ，无需中介层组件，可以缩短 DRAM 和 GPU 之间的距离，从而加快数据访问速度。然而，热设计限制可能会阻止 HBM4 堆栈直接与 GPU 结合。两个发热的设备可能会使单个发热的设备难以冷却。

无论这些问题的结果如何，我们都可以相信，SK 海力士、三星和美光之间的激烈竞争将产生具有 HBM4 的 GPU 系统，以更快地访问更多内存，并使 Gen AI LLM 开发更加经济实惠，并能够扩展到更大的模型。