构建可持续的企业级 AI 推理服务架构（serving harness）：EXL 的工程设计视角

EXL 在 MIT Technology Review 发文指出，企业 AI 的竞争力正从模型能力转向模型周边的 serving harness（推理服务架构），包括内存管理、调度与推理优化。文章强调应从工作负载而非模型出发设计架构，先测量再优化以定位瓶颈（如 KV cache 导致的 GPU 内存压力），并构建可适应模型更迭的系统，让换模型成为配置决策而非架构重构。