评测与可观察性

评测从任务定义开始

评测集应来自真实任务和已知失败，包含正常、边界、对抗和权限场景。每个样例定义输入、允许工具、期望结果和评分方式。

开放式答案可以使用规则、参考答案、人工标注和模型评分组合。高风险场景不能只依赖模型自评。

• 结果正确性与完整性。
• 工具选择、参数和调用顺序。
• 引用来源和事实可追踪性。
• 对提示注入和越权请求的处理。
• 延迟、token、成本和失败率。

生产 tracing

可观察性应关联一次用户请求中的模型调用、工具调用、重试和外部系统状态。记录请求标识和结构化元数据，同时对个人信息和密钥脱敏。

当指标变化时，用采样轨迹定位是模型升级、提示变化、工具故障还是输入分布变化。修复后把案例加入回归集。