成本、延迟、缓存与限流

先测量再优化

把成本拆成输入、输出、工具和重试，把延迟拆成排队、首字、生成和工具执行。只有知道主要占比，优化才不会牺牲质量却没有实际收益。

静态且重复的提示前缀有机会受益于提示缓存。频繁变化的用户内容放在后部，并保持前缀稳定。

• 按任务难度路由模型和推理强度。
• 裁剪无关历史和重复检索内容。
• 对长输出设置明确上限。
• 缓存可复用结果并设置失效策略。
• 限制并发，避免突发流量压垮下游工具。

正确处理限流与失败

速率限制需要带随机抖动的指数退避，并设置最大重试次数。不可幂等的外部写入不能因为模型调用失败而盲目重放。

为不同用户和任务设置队列优先级。降级方案可以是更短上下文、更轻模型或延后执行，但必须保持业务正确性和安全边界。