【英伟达提出 AI 内存全栈协同设计方案 Vera Rubin 平台每 GPU 内存容量仅增约 3% 推理吞吐量提升最高 30 倍】财联社 11 月 6 日电，英伟达 11 月 5 日发布文章称，随着 AI 模型规模扩大、上下文窗口延长以及智能体应用普及，GPU 内存压力持续上升，HBM 供应趋紧、价格上涨。英伟达提出通过 GPU、CPU、网络、存储及软件协同设计，提高内存使用效率，而非单纯增加 GPU 内存容量。具体来看，英伟达通过 NVFP4 低精度格式压缩模型权重和 KV Cache，将暂时不活跃的上下文转移至成本更低的存储层，并利用多 GPU 分布式部署释放 HBM 空间。英伟达披露，在 SemiAnalysis AgentX 测试中，GB300 NVL72 在特定工作负载下的单位成本推理吞吐量最高达到 H200 平台的 10 倍；Vera Rubin NVL72 相较 GB300 NVL72，单位成本推理吞吐量最高提升 30 倍，而单 GPU HBM 容量仅增加约 3%。
财联社-深度
31分钟前
英伟达提出 AI 内存全栈协同设计方案 Vera Rubin 平台每 GPU 内存容量仅增约 3% 推理吞吐量提升最高 30 倍
相关标签
