量子位· 听雨·· 7 天前AI 评分67
百度发布并开源文心Unlimited OCR 2,峰值KV缓存从47GB降至1.77GB
KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%
AI 导读
百度发布并开源文心Unlimited OCR 2,可连续解析超长文档,实测一口气读完3600+页《哈利·波特》全集。其采用稀疏参考滑动窗口注意力SR-SWA与无限解码机制,百页级单序列测试中峰值KV缓存从47GB降至1.77GB,减少约96%;16路并发吞吐量从360提升至1315 Token/秒。
来源:量子位 · qbitai.com