以编程方式使用文档

当您迭代LLM应用程序时(例如更改模型或提示词),您可能想要比较不同 实验.

LangSmith支持比较视图,让您能够识别不同实验之间的关键差异、退步和改进。

打开比较视图

  1. 要访问实验比较视图,请导航至 **数据集与实验** page.
  2. 选择一个数据集,这将打开 **实验** tab.
  3. 选择两个或更多实验,然后点击 **比较**.
UI中的实验视图,选中了3个实验并高亮显示了比较按钮,浅色模式。 UI中的实验视图,选中了3个实验并高亮显示了比较按钮,深色模式。

调整表格显示

您可以在比较视图右上角的不同显示选项之间切换。

表格显示选项,浅色模式。 表格显示选项,深色模式。

筛选器

点击 图标以应用筛选器到比较视图,缩小到特定示例。筛选器的常见示例包括:

  • - 包含特定 input / output.
  • - 状态为 success or error.
  • - 运行时间超过x秒的 latency.
  • - 特定的 metadata, tag, or feedback.

除了在整体实验视图上应用筛选器外,您还可以在单独的列上应用筛选器。选择任意列顶部的 图标以查看该列数据可用的筛选器。

点击 图标以在比较视图中显示或隐藏单个反馈键或指标。

表格视图

在比较视图的右上角选择三个表格视图图标之一:

  • 紧凑:显示每个示例的实验结果预览。
  • 完整:显示每次运行的输入、输出和参考输出的完整文本。如果输出在表格中太长无法显示,您可以点击 **展开** 查看完整内容。
  • 差异:显示每次运行的实验输出之间的文本差异。这仅支持同时比较2个实验。参见 查看并排差异 更多详情。

显示类型

有三个内置的实验视图,涵盖了多种显示类型: **默认**, **YAML**, **JSON**.

查看退化和改进

在比较视图中,红色高亮显示 *退化的* 在与源实验的任何反馈指标上表现更差的运行,而绿色高亮显示 *改进的*。在每个反馈列的顶部,你可以看到有多少运行比源实验表现更好或更差。

点击每列顶部的退化或改进按钮,可以仅显示在该实验中退化或改进的运行。

比较视图,比较了4个实验,分别用红色和绿色显示退化和改进。 比较视图,比较了4个实验,分别用红色和绿色显示退化和改进。

查看并排差异

当比较两个实验时,对于JSON和YAML显示样式,您可以切换实验差异模式来比较实验输出。差异模式会高亮显示输出之间的修改,这对于结构化输出比较特别有用。

浅色模式下的比较差异模式。 深色模式下的比较差异模式。

更新源实验和指标

要追踪实验间的退化,您可以:

  1. 在比较视图顶部,将鼠标悬停在一个实验图标上,然后从下拉菜单中选择 **设为源实验** 。您也可以从该下拉菜单中添加或删除实验。默认情况下,第一个选定的实验被设为源实验。
从比较视图顶部的实验图标设置源实验。 从比较视图顶部的实验图标设置源实验。
  1. 在 **反馈** 列中,您可以配置每个反馈指标是否假设分数越高越好。此偏好设置将被保存。默认情况下,假设分数越高越好。
反馈指标列的下拉菜单,配置分数是否越高越好,浅色模式。 下拉菜单,用于反馈指标列,配置较高分数是否更好,深色模式。

展开详情面板

点击任意行可打开该示例在对比实验中的详情面板。

使用面板右上角的切换开关在两种模式之间切换:

  • 详情:显示反馈键和分数,以及该示例的指标摘要,还有每个实验的输入、输出、参考输出和属性。
展开的对比实验视图中的示例,浅色模式。 展开的对比实验视图中的示例,深色模式。
  • 跟踪:并排显示每个实验的跟踪。
展开的对比实验视图中的示例,浅色模式。 展开的对比实验视图中的示例,深色模式。

当对比超过两个实验时,面板一次显示两个实验。使用标题栏切换要对比的实验。

使用实验元数据作为图表标签

您可以根据 实验元数据.

配置图表的 x 轴标签。从 **图表** 下拉菜单中选择元数据键以更改 x 轴标签,该下拉菜单位于对比视图的右上角。

x 轴下拉菜单高亮显示,列出附加到实验的元数据,浅色模式。 x 轴下拉菜单高亮显示,列出附加到实验的元数据,深色模式。