LangSmith 评估 - 以编程方式使用文档

LangSmith 支持两种类型的评估，基于它们运行的时间和地点：

发布前测试 在开发过程中对精选数据集运行评估，以比较版本、基准测试性能并捕获回归。

生产环境监控 实时评估真实用户互动，以检测问题并衡量实时流量质量。

评估工作流程

创建数据集，包含示例，来自手动策划的测试用例、历史生产追踪或合成数据生成。

创建评估器来评分性能： - 人工审查 - 代码规则 - LLM-as-judge - 成对比较

在数据集上执行应用程序以创建实验。配置重复次数、并发数和缓存以优化运行。

每次交互都会创建一个没有参考输出的运行。

设置评估器以在生产追踪上自动运行：安全检查、格式验证、质量启发式和无参考的 LLM 评判。应用过滤器和采样率来控制成本。

评估器自动在运行 or 线程上运行，提供实时监控、异常检测和告警。

将失败的生产追踪添加到您的数据集，创建针对性评估器，使用离线实验验证修复，然后重新部署。

开始使用离线评估。

通过 UI 或 SDK 创建和管理评估数据集。

探索评估类型、技术和框架，进行全面测试。

查看和分析评估结果，对比实验，筛选数据，并导出发现。

从可观测性标签页实时监控生产质量。

通过分步教程学习，从简单的聊天机器人到复杂的智能体评估。