跳到正文
量子位· 听雨·· 7 天前AI 评分67

百度发布并开源文心Unlimited OCR 2,峰值KV缓存从47GB降至1.77GB

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度发布并开源文心Unlimited OCR 2,可连续解析超长文档,实测一口气读完3600+页《哈利·波特》全集。其采用稀疏参考滑动窗口注意力SR-SWA与无限解码机制,百页级单序列测试中峰值KV缓存从47GB降至1.77GB,减少约96%;16路并发吞吐量从360提升至1315 Token/秒。

来源:量子位 · qbitai.com

事件百度发布并开源文心 Unlimited OCR 2,称可解析任意页数文档

查看事件综述