量子位· 一水·· 7 天前AI 评分68
岩山科技联合港科大、CMU开源EdgeRock-4B:KV Cache减少99.1%,单卡吞吐达源模型6.42倍
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,在256K上下文下KV Cache固定在72MiB,相比源模型减少99.1%;单张80GB显卡可同时跑512路长推理,输出吞吐12124 tokens/s,是源模型Qwen3.5-4B的6.42倍。
来源:量子位 · qbitai.com