NVIDIA 全栈协同设计缓解推理内存压力

NVIDIA 发布技术讲解，说明其如何通过 GPU、CPU、网络、存储与软件的全栈协同设计，缓解 AI 工厂的 HBM 内存压力，在内存层级的每一层提高推理效率。 具体做法包括 NVFP4 低精度格式、KV cache 卸载、CMX、RAG 嵌入压缩等内存优化方法。NVIDIA 称，从 Blackwell Ultra 到 Vera Rubin 平台，每 GPU HBM 容量仅提升约 3%，但在 SemiAnalysis AgentX 上的智能体吞吐每美元最高提升 30 倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。