跳到正文
雷锋网·· 4 天前AI 评分67

DeepSeek 开源推理引擎 DeepInfer,披露单集群日处理约 155 万亿 Token

DeepSeek 又一开源重器!深挖 DeepInfer 究竟藏着多少技术狠活?

AI 导读

DeepSeek 在 GitHub 开源推理引擎 DeepInfer,它是 DeepSeek-V4.1-Flash 背后的推理引擎,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术。

来源:雷锋网 · leiphone.com

事件DeepSeek开源推理框架DeepInfer,线上组件未全公开

查看事件综述