IT时代网11月6日消息，英伟达发布技术解读指出，随着大模型参数规模、上下文长度和智能体应用快速增长，GPU 显存正面临前所未有的压力，HBM 供应趋紧、价格上行的态势有望延续。
为了破解 AI 内存瓶颈，英伟达提出“全栈协同设计”理念，把 GPU、CPU、网络、存储和软件作为一个整体协同设计，让每一字节内存在 AI 工厂各层级都产生更高价值。推理过程中，昂贵的 HBM 既要承载模型权重，也要保存记录上下文的 KV 缓存；智能体工作流会在多次模型调用和工具调用间持续携带历史上下文，部分场景需处理多达 300 万个 token，检索增强生成还会把企业资料加入提示词，进一步推高内存占用。
英伟达将 HBM 比作仓库、内存带宽比作装卸口：容量再大，若数据进出速度跟不上，也会形成“内存墙”，新增容量无法有效转化为服务能力。NVFP4 低精度格式可压缩模型权重和 KV 缓存；NVL72 系统中模型权重可分散至最多 72 颗 GPU；Vera CPU 的大容量 LPDDR 内存为暂停的上下文提供就近缓冲；推理软件 Dynamo 将不活跃上下文迁移至 CMX 上下文存储，并在复用前取回，RAG 索引则保留在 CPU 与存储侧，避免长期占用 HBM。
英伟达援引外部基准测试数据称，在每用户每秒 125 token 的条件下，Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量仅增加约 3%；GB300 NVL72 相较 H200 平台，每用户每秒 100 token 条件下每美元吞吐量最高提升 10 倍。这表明，AI 算力竞争的关键正从“显存多少”转向“每字节、每瓦特能产出多少有效 token”。
而在英伟达看来，这一轮内存方案的优化正是其从硬件到软件的整体调整所致。
注：本文配图由AI生成，文中包含AI辅助创作的内容。
编辑：林一舟
