联想肖利民介绍存算融合池化技术应对KV Cache瓶颈
热点事件历史事件
联想肖利民介绍存算融合池化技术应对KV Cache瓶颈
1 篇报道1 个报道来源11 天前更新
先了解这件事
AI 综述
联想集团首席科学家肖利民介绍了一条面向大模型推理的存算融合池化技术路线：把内存池化和近存计算结合，用内存池化解决KV Cache的大容量扩容和跨实例共享，并在内存池内嵌计算单元。按其给出的测试结果，在内存池卸载场景下，与NVMe层池化方案对比，固定输入长度场景的首Token延迟（TTFT）可降低3.5倍。目前团队实现的是G2.5层次的存算融合池化系统。 他给出的背景是，大模型推理中KV Cache带来的存储墙问题正随推理规模放大。肖利民称，中国每日Token消耗量已从2024年的1000亿增至2025年8月的500万亿，这一增长放大了该问题。 以上性能数字与系统进展均出自肖利民在技术分享中的介绍，属联想一方表述，尚无独立验证结果。
AI 根据报道生成 · 7 天前更新
最新进展10月23日 10:28
每天500万亿Token背后，KV Cache正把存储墙推到台前——联想肖利民谈存算融合池化方案报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- 钛媒体每天500万亿Token背后，KV Cache正把存储墙推到台前——联想肖利民谈存算融合池化方案
联想集团首席科学家肖利民介绍，中国每日Token消耗量已从2024年的1000亿增至2025年8月的500万亿，放大了大模型推理中的KV Cache存储墙问题。