如何设计一套可持续演进的 AI 服务框架

EXL 研究人员在 Engineering the Harness 系列中探讨企业 AI 的服务框架设计，涵盖服务架构、内存管理、调度与推理优化如何协同。文章指出生产环境的瓶颈常来自 KV cache 随并发和上下文增长导致的 GPU 内存压力，应先测量再优化，按工作负载而非模型选型决定架构。框架的适应性让模型更换成为评估与配置决策，而非架构重建。