当您迭代LLM应用程序时(例如更改模型或提示词),您可能想要比较不同 实验.
LangSmith支持比较视图,让您能够识别不同实验之间的关键差异、退步和改进。
打开比较视图
- 要访问实验比较视图,请导航至 **数据集与实验** page.
- 选择一个数据集,这将打开 **实验** tab.
- 选择两个或更多实验,然后点击 **比较**.
调整表格显示
您可以在比较视图右上角的不同显示选项之间切换。
筛选器
点击 图标以应用筛选器到比较视图,缩小到特定示例。筛选器的常见示例包括:
- - 包含特定
input/output. - - 状态为
successorerror. - - 运行时间超过x秒的
latency. - - 特定的
metadata,tag, orfeedback.
除了在整体实验视图上应用筛选器外,您还可以在单独的列上应用筛选器。选择任意列顶部的 图标以查看该列数据可用的筛选器。
列
点击 图标以在比较视图中显示或隐藏单个反馈键或指标。
表格视图
在比较视图的右上角选择三个表格视图图标之一:
- 紧凑:显示每个示例的实验结果预览。
- 完整:显示每次运行的输入、输出和参考输出的完整文本。如果输出在表格中太长无法显示,您可以点击 **展开** 查看完整内容。
- 差异:显示每次运行的实验输出之间的文本差异。这仅支持同时比较2个实验。参见 查看并排差异 更多详情。
显示类型
有三个内置的实验视图,涵盖了多种显示类型: **默认**, **YAML**, **JSON**.
查看退化和改进
在比较视图中,红色高亮显示 *退化的* 在与源实验的任何反馈指标上表现更差的运行,而绿色高亮显示 *改进的*。在每个反馈列的顶部,你可以看到有多少运行比源实验表现更好或更差。
点击每列顶部的退化或改进按钮,可以仅显示在该实验中退化或改进的运行。
查看并排差异
当比较两个实验时,对于JSON和YAML显示样式,您可以切换实验差异模式来比较实验输出。差异模式会高亮显示输出之间的修改,这对于结构化输出比较特别有用。
更新源实验和指标
要追踪实验间的退化,您可以:
- 在比较视图顶部,将鼠标悬停在一个实验图标上,然后从下拉菜单中选择 **设为源实验** 。您也可以从该下拉菜单中添加或删除实验。默认情况下,第一个选定的实验被设为源实验。
- 在 **反馈** 列中,您可以配置每个反馈指标是否假设分数越高越好。此偏好设置将被保存。默认情况下,假设分数越高越好。
展开详情面板
点击任意行可打开该示例在对比实验中的详情面板。
使用面板右上角的切换开关在两种模式之间切换:
- 详情:显示反馈键和分数,以及该示例的指标摘要,还有每个实验的输入、输出、参考输出和属性。
- 跟踪:并排显示每个实验的跟踪。
当对比超过两个实验时,面板一次显示两个实验。使用标题栏切换要对比的实验。
使用实验元数据作为图表标签
您可以根据 实验元数据.
配置图表的 x 轴标签。从 **图表** 下拉菜单中选择元数据键以更改 x 轴标签,该下拉菜单位于对比视图的右上角。