虽然您可以手动筛选和处理来自 LLM 应用程序的生产日志，但随着应用程序扩展到更多用户，这通常会变得困难。LangSmith 提供了 **自动化** 功能，允许您对追踪数据触发某些操作。您可以通过 **过滤器**, **采样率**和 **操作**.
自动化规则可以触发以下操作：将追踪添加到数据集、添加到标注队列、触发 webhook（例如用于远程评估）或延长数据保留期。以下是您可以设置的一些自动化示例：
- - 将所有带有负面反馈的追踪发送到标注队列进行人工审核。
- - 将 10% 的所有追踪发送到标注队列进行人工审核以抽查问题。
- - 将所有带有错误的追踪升级以延长数据保留期。
自动化规则的执行方式
每个自动化规则按照独立的轮询计划运行。如果您在同一项目上有多个规则，webhook 规则可能在评估器规则对其评分之前处理运行，反之亦然。
在单个规则内，如果配置了多个操作，它们将按以下顺序执行：
- 添加到标注队列。
- 添加到数据集。
- 触发 webhook。
- 运行在线评估器。
- 运行自定义代码评估器。
- 触发告警。
如果您的工作流需要一条规则产生的数据在另一条规则触发时存在（例如，您希望 webhook 包含评估分数），请使用下游规则上的过滤器来显式创建该依赖关系。有关示例，请参阅 确保 webhook 触发前评估已完成.
查看自动化规则
在 UI中，导航到侧边栏中的 **追踪** 并选择一个追踪项目。要查看该追踪项目的现有自动化规则，请点击 **自动化** tab.
创建规则
- 在 UI中，导航到侧边栏中的 **追踪** 并选择一个追踪项目。点击追踪项目页面右上角的 **+ 新建** ，然后点击 **新建自动化**.
- 为规则命名。
- 创建筛选器。自动化规则筛选器的工作方式与应用于项目中追踪的筛选器相同。有关筛选器的更多信息，请参阅 筛选追踪.
- 配置 **采样率** 来控制触发自动化操作的过滤运行次数的百分比。您可以为自动化指定0到1之间的采样率。这将控制发送到自动化操作的过滤运行次数的百分比。例如，如果您将采样率设置为0.5，那么50%通过筛选器的追踪将被发送到操作。
- （可选）通过切换 **应用于过去的运行** 并输入 **回填起始日期** 将规则应用于过去的运行。这仅在创建规则时可行。
- 选择应用规则时要触发的操作。自动化规则可以有四种操作：
- **添加到数据集**：将追踪的输入和输出添加到 数据集. - **添加到标注队列**：将追踪添加到 标注队列. - **触发 Webhook**：使用追踪数据触发 webhook 。 - **延长数据保留期**：延长使用基础保留期的匹配追踪的数据保留期 （有关更多详细信息，请参阅数据保留文档）. 请注意，所有其他规则也会通过数据保留文档中描述的 自动升级机制 延长匹配追踪的数据保留期，但此规则不会执行其他操作。
查看自动化日志
日志让您可以确信规则按预期工作。您可以通过导航到追踪项目中的 **自动化** 标签页并点击您创建的规则的 **日志** 按钮来查看自动化日志。
日志标签页允许您：
- - 查看在所选时间段内由给定规则处理的所有运行。
- - 如果某个规则执行触发了错误，您可以通过将鼠标悬停在错误图标上来查看错误消息。
- - 您可以通过筛选到规则的创建时间戳来监控回填作业的进度。这是因为回填从规则创建时开始。
- - 使用 **查看运行** 按钮检查自动化规则应用的运行。对于将运行作为示例添加到数据集的规则，您可以查看生成的示例。