以编程方式使用文档

评估器 在 LangSmith 中是 workspace-level 资源。您可以将单个评估器附加到多个 追踪项目 和 数据集，因此您可以在整个工作中应用一致的评估逻辑，而无需每次重新创建。

查看评估器

在 LangSmith UI中选择 **评估器** ，即可在工作区中查看所有评估器。

评估器表显示以下列：

列描述
名称评估器名称
类型**LLM 即评判** or **代码**。复合分数评估器作用于单个追踪项目和数据集，不会显示在此处。
反馈键评估器生成的反馈键
项目和数据集此评估器附加到的追踪项目和数据集
评估器追踪计数（本周）此评估器在过去一周运行的追踪数量。仅在启用支出追踪时显示； **–** 用于代码评估器或没有附加规则的评估器。
支出（本周）此评估器过去一周的预估美元支出。仅在启用支出追踪时显示； **–** 用于代码评估器或没有附加规则的评估器。
支出状态评估器是 **在限制内**, **无限**，还是已触及一个或多个配置的支出限制。仅在启用支出追踪时显示； **–** 用于代码评估器。
创建者创建评估器的工作区成员
更新时间评估器上次修改时间
创建时间评估器创建时间

创建评估器

1. 在 LangSmith UI中选择 **评估器** 在左侧边栏中。 1. 点击 **+ 评估器** 打开新建评估器面板。 1. 该面板允许您： - **从头创建**：构建新的 LLM-as-a-Judge or 代码 evaluator. - **从模板创建**：从现成的评估器（也称为预构建评估器）开始，用于常见评估模式。推荐 **推荐** 部分首先展示热门模板，然后按以下类别组织模板：

类别描述
安全性检测泄露、注入和对抗性输入。
安全性评估内容安全性和审核。
质量衡量输出质量和准确性。
对话评估对话质量和用户体验。
轨迹评估智能体工具使用和决策路径。
图像评估评估图像内容质量和安全性。
语音评估评估语音和音频交互质量。

您也可以直接从 追踪项目 or 数据集添加评估器。在此流程中，您还可以 **附加工作区中的现有评估器** ，或创建 复合 评估器。请参阅 设置 LLM 即评判在线评估器 和 在实验上自动运行评估器.

查看评估器详情

点击表格中的任何评估器以打开其详情视图。详情视图有四个标签页：

  • 概览：评估器的反馈配置和提示或代码定义。
  • 追踪记录：此评估器在所有附加资源上处理的追踪记录。
  • 日志：此评估器在所有附加资源上的执行日志。
  • 资源：此评估器附加的追踪项目和数据集。

编辑评估器

打开评估器。在 **概览** 标签页中，点击 **编辑评估器** 图标以打开 **配置评估器** 面板。更新评估器的配置。点击 **保存**.

由于评估器是共享的，更改将应用于它附加的所有追踪项目和数据集。

管理评估器追踪记录保留

当在线评估器对追踪记录进行评分时，它会向该追踪记录附加反馈，这 自动将追踪记录升级为扩展保留。扩展保留会延长追踪记录的保存时间，但成本更高。当您在 追踪项目，您可以选择退出此升级，使评分痕迹保持在项目的基础保留期。

此控件仅在项目的基础保留期为 默认保留期 时可用 基础层。如果项目默认使用扩展保留期（在项目或工作区级别设置），评估器评分的痕迹会遵循该默认设置，且此选项会被锁定。

要退出延长评分痕迹的保留期：

  1. 当您 创建 or 编辑 在线评估器时，将源设置为 追踪项目，而不是 数据集.
  2. 展开 **高级** 部分，在评估器配置面板中。
  3. 清除 **延长痕迹保留期**.

此更改适用于您在保存评估器后评分的痕迹。现有评分痕迹保持其当前保留层。

删除评估器

评估器在附加到追踪项目或数据集时无法删除。要删除评估器，请先通过 **资源** 选项卡将其从所有资源中移除，然后删除。