仪表板为您提供关于您的 追踪 数据的高级洞察，帮助您发现趋势并监控应用程序的健康状况。仪表板可在 **监控** 中的 LangSmith UI.
LangSmith 提供两种仪表板类型：
- 预构建仪表板：为每个追踪项目自动生成。
- 自定义仪表板：完全可配置的图表集合，根据您的需求定制。
预构建仪表板
预构建仪表板为每个项目自动创建，涵盖基本指标，例如追踪数量、错误率、令牌使用量等。默认情况下，您可以使用追踪项目页面右上角的 **仪表板** 按钮访问预构建仪表板。
仪表板部分
预构建仪表板分为以下几个部分：
| 部分 | 显示内容 |
|---|---|
| 追踪 | 追踪数量、延迟和错误率。 追踪 是单个操作相关的 运行 集合。例如，如果用户请求触发了代理，则该代理调用的所有运行将成为同一追踪的一部分。 |
| LLM 调用 | LLM 调用数量和延迟。包括运行类型为 "llm" 的所有运行。 |
| 成本和令牌 | 按令牌类型细分的总令牌数和每追踪令牌数及成本。成本使用 LangSmith 的成本追踪. |
| 工具 | 按工具名称细分的运行数量、错误率和延迟统计。包括运行类型为 "tool" 的运行。限制为前 5 个最频繁出现的工具。 |
| 运行类型 | 根运行直接子运行的运行数量、错误率和延迟统计。这有助于理解代理的高级执行路径。限制为前 5 个最频繁出现的运行名称。 |
| 反馈分数 | 前 5 个最频繁出现的反馈类型的聚合统计。图表显示数值反馈的平均分数和分类反馈的类别计数。 |
分组依据
您可以使用 运行标签或元数据 按对您的应用程序重要的属性拆分数据。全局分组设置显示在仪表板右上角。请注意 **工具** 和 **运行类型** 图表已经应用了分组，因此全局分组不会生效。全局分组将应用于所有其他图表。
自定义仪表板
创建定制化的图表集合，用于追踪对您的应用程序最重要的指标。
创建新仪表板
- 导航到 **监控** 左侧边栏中的标签页。
- 点击 **+ 新建仪表板** button.
- 为您的仪表板命名并添加描述。
- 点击 **创建**.
向仪表板添加图表
- 在仪表板中，点击 **+ 新建图表** 按钮打开图表创建窗格。
- 为您的图表命名并添加描述。
- 配置图表。
图表配置
选择追踪项目并筛选运行
- - 选择一个或多个追踪项目来追踪指标。
- - 使用 **图表筛选器** 部分来优化匹配的运行。此筛选器适用于图表中的所有数据系列。更多信息，请参阅 应用程序中的追踪筛选.
选择指标
- - 从下拉菜单中选择一个指标来设置图表的 y 轴。选择项目和一个指标后，您将看到图表预览和匹配的运行。
- - 对于某些指标（如延迟、令牌使用量、成本），LangSmith 支持比较具有相同单位的多个指标。例如，您可能想要一个图表来查看提示令牌和完成令牌。每个指标显示为一条单独的线。
拆分数据
在图表中创建多个系列有两种方法（即创建多条线）：
- **分组依据**：按 运行标签或元数据、运行名称或运行类型分组。分组会自动根据所选字段将数据拆分为多个系列。请注意，分组仅限于频率最高的前 5 个元素。
- **数据系列**：使用单独的筛选条件手动定义多个系列。这对于比较单个指标内的细粒度数据很有用。
选择图表类型
- - 在折线图和条形图之间进行选择以进行可视化。
保存和管理图表
- - 点击 **保存** 将您的图表保存到仪表板。
- - 通过点击图表右上角的三个点按钮来编辑或删除图表。
- - 通过点击图表右上角的三条线按钮并选择来克隆图表 **+ 克隆**。这将打开一个与原始图表具有相同配置的新图表创建窗格。
从追踪项目链接到仪表板
您可以直接从追踪项目链接到任何仪表板。默认情况下，已选择您的追踪项目的预构建仪表板。如果您想改为链接自定义仪表板：
- 在您的追踪项目中，点击三个点旁边的 **仪表板** button.
- 选择一个仪表板作为新的默认值。
示例：用户旅程监控
使用监控图表来映射代理在特定节点做出的决策。
以邮件助手代理为例。在特定节点，它会对邮件做出以下决策：
- - 回复邮件。
- - 通知用户。
- - 无需回复。
您可以创建图表来追踪和可视化这些决策的细分。
创建图表
1. **指标选择**：选择指标 Run count. 1. **图表筛选器**：添加树筛选器以包含所有名称为的追踪记录 triage_input。这意味着您仅包含到的追踪记录 triage_input 节点。还添加一个图表筛选器用于 Is Root is true，这样计数就不会因追踪记录中的节点数量而膨胀。 1. **数据系列**：为在 triage_input 节点做出的每个决策创建一个数据系列。决策的输出存储在 triage.response 输出对象的字段中，决策的值可以是 no, email, or notify。每个决策都会在图表中生成一个单独的数据系列。 !节点处的决策
现在您可以可视化在 triage_input 节点随时间做出的决策。