如何设计一套可持续演进的 AI 服务框架
EXL 在《Engineering the Harness》系列中探讨企业 AI 的生产化挑战：决定智能能否可靠、经济、规模化交付的关键，是模型之外的 serving harness，涵盖架构、内存管理、调度与推理优化。文章主张从工作负载而非模型出发，先测量再优化，并以适配变化为目标，让换模型成为评估与配置决策而非架构重建。
#推理
MIT Technology Review · AIAI 评分2020
Berkeley AI ResearchAI 评分3838 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队综述并行推理进展，重点分析自适应并行推理：让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有 self-consistency、Best-of-N、Tree of Thoughts、MCTS 及 ParaThinker、GroupThink、Hogwild! Inference 等方法，其并行结构与搜索策略多由模型外部预先设定。