Configure Slack notifications via webhook

以下是通过 chat.postMessage API.

前提条件

• - 访问 Slack 工作区的权限。
• - 一个用于设置告警的 LangSmith 项目。
• - 创建 Slack 应用程序的权限。

步骤 1：创建 Slack 应用

1. 访问 Slack API 应用程序页面.
2. 点击 **创建新应用**.
3. 选择 **从头开始**.
4. 提供 **应用名称** （例如 "LangSmith 告警"）。
5. 选择要安装应用的工作区。
6. 点击 **创建应用**.

步骤 2：配置机器人权限

1. 在 Slack 应用配置的左侧边栏中，点击 **OAuth 与权限**. 2. 向下滚动到 **机器人令牌范围** 在 **范围** 下，点击 **添加 OAuth 范围**. 3. 添加以下范围： - chat:write （以应用身份发送消息）。 - chat:write.public （向应用不在的频道发送消息）。 - channels:read （查看基本频道信息）。

步骤 3：将应用安装到您的工作区

1. 向上滚动到页面顶部的 **OAuth 与权限** page.
2. 点击 **安装到工作区**.
3. 查看权限并点击 **允许**.
4. 复制出现的 **机器人用户 OAuth 令牌** （以 xoxb-).

步骤 4：将机器人添加到 Slack 频道

将机器人添加到您想要接收告警的特定频道。您可以通过在消息字段中 @ 机器人来将其添加到 Slack 频道（例如， @botname).

您还需要频道 ID 来在 LangSmith 中配置 webhook 告警。您可以通过打开频道详情 > 关于来找到频道 ID。

步骤 5：在 LangSmith 中配置 webhook 告警

1. 在 LangSmith 中，导航到您的项目。
2. 选择 **告警 → 创建告警**.
3. 定义您的告警指标和条件。
4. 在通知部分，选择 **Webhook**.
5. 使用以下设置配置 webhook：

Webhook URL

      https://slack.com/api/chat.postMessage
      

请求头 <aside class="callout"><strong>提示</strong> 替换 xoxb-your-token-here 替换为您的机器人的用户 OAuth 令牌 </aside>

      {
        "Content-Type": "application/json",
        "Authorization": "Bearer xoxb-your-token-here"
      }
      

请求体模板 <aside class="callout"><strong>提示</strong> 必须填写 {channel_id} 的值（第 4 步中找到的值）。 <br /><br />其余字段： alert_name, project_name 和 project_url 可选：向警报消息添加其他上下文。您可以在 project_url 中找到您的项目 ID。复制浏览器地址栏中 URL 的项目 ID 部分，不包括查询参数。 </aside>

      {
        "channel": "{channel_id}",
        "text": "{alert_name} triggered for {project_name}",
        "blocks": [
          {
            "type": "section",
            "text": {
              "type": "mrkdwn",
              "text": "🚨{alert_name} has been triggered"
            }
          },
          {
            "type": "section",
            "text": {
              "type": "mrkdwn",
              "text": "Please check the following link for more information:"
            }
          },
          {
            "type": "section",
            "text": {
              "type": "mrkdwn",
              "text": "<{project-url}|View in LangSmith>"
            }
          }
        ]
      }
      

1. 点击 **保存** 以激活 webhook 配置。

第 6 步：测试集成

1. 在 LangSmith 警报配置中，点击 **测试警报**.
2. 检查您指定的 Slack 频道是否收到测试通知。
3. 验证消息是否包含预期的警报信息。

（可选）第 7 步：在请求体中链接到警报预览

创建警报后，您可以选择在 webhook 请求体中链接其预览。

!警报预览窗格

配置方法：

1. 保存您的警报。 2. 在警报表中找到您保存的警报并点击它。 3. 复制显示的 URL。 4. 点击"编辑警报"。 5. 将现有项目 URL 替换为复制的警报预览 URL。

Configure Microsoft Teams notifications via webhook

以下是一个配置示例，说明如何使用 Workflows 应用 （Power Automate）将 LangSmith 警报配置为向 Microsoft Teams 频道发送通知。此方法推荐使用，因为它在流程内提取传入 JSON 中的字段，因此自动填充的 LangSmith 警报字段可以在 Teams 消息中正确呈现。

前提条件

• - 拥有 Microsoft Teams 工作区的访问权限，且有添加 Workflows 的权限。
• - 一个用于设置警报的 LangSmith 项目。

第 1 步：在 Teams 中创建 Workflow

1. 在 Microsoft Teams 中，导航到您希望接收警报的频道。
2. 点击频道名称旁边的 **...** （更多选项）菜单。
3. 选择 **Workflows**.
4. 搜索并选择 **收到 webhook 请求时发布到频道** template.
5. 登录以确认连接，然后点击 **下一步**.
6. 确认要发布警报的团队和频道，然后点击 **添加 workflow**.
7. 复制生成的 **HTTP POST URL**—在 LangSmith 中使用此 URL。

步骤 2：在 Power Automate 中自定义消息（可选）

默认工作流会将原始 JSON 正文作为卡片发布。要格式化警报详情，请在 Power Automate 中编辑流程：

1. 打开 Power Automate 门户 并编辑您创建的工作流。
2. 点击 **在聊天或频道中发布卡片** action.
3. 在 **自适应卡片** 字段中，使用 triggerOutputs()?['body/alert_rule_name'], triggerOutputs()?['body/project_name'], triggerOutputs()?['body/triggered_metric_value'], triggerOutputs()?['body/triggered_threshold'], triggerOutputs()?['body/timestamp']和 triggerOutputs()?['body/alert_rule_url'].
4. 保存流程。

步骤 3：在 LangSmith 中配置 Webhook 警报

1. 在 LangSmith 中，导航到您的项目。
2. 选择 **警报 → 创建警报**.
3. 定义您的警报指标和条件。
4. 在通知部分，选择 **Webhook**.
5. 使用以下设置配置 Webhook：

Webhook URL

粘贴 Teams 工作流中的 HTTP POST URL：

      https://prod-XX.westus.logic.azure.com:443/workflows/.../triggers/manual/paths/invoke?...
      

请求头

      {
        "Content-Type": "application/json"
      }
      

请求正文模板

LangSmith 会自动合并自动填充的警报字段（alert_rule_name, project_name, triggered_metric_value, triggered_threshold, timestamp, alert_rule_url及其他）到请求正文中作为顶级 JSON 键。Power Automate 直接从传入的有效负载中读取这些字段，因此空正文就足够了：

      {}
      

1. 点击 **保存** 以激活 Webhook 配置。

步骤 4：测试集成

1. 在 LangSmith 警报配置中，点击 **发送测试警报**.
2. 检查您指定的 Teams 频道中的测试通知。
3. 验证卡片包含预期的警报信息。

参考实现

有关将 LangSmith Webhook 负载（阈值警报、运行规则和通用事件）转换为格式化的 Teams 自适应卡片的完整示例，请参阅 langsmith-teams-webhook 示例仓库。该示例作为一个小型的 Python 服务运行在 Teams 工作流 URL 前面，这样就无需自定义 Power Automate 流程本身。

Configure email notifications via webhook

以下是一个示例，介绍如何配置 LangSmith 警报以使用 SendGrid 的邮件发送 API发送电子邮件通知。您可以使用任何公开 HTTP API 的事务性邮件服务商（例如 Mailgun、Amazon SES、Postmark）。

前提条件

• - 一个已验证发件人身份的 SendGrid 账户。
• - 一个具有 **邮件发送** permissions.
• - 权限的 SendGrid API 密钥。

步骤 1：创建 SendGrid API 密钥

1. 登录您的 SendGrid 控制台.
2. 导航到 **设置 → API 密钥**.
3. 点击 **创建 API 密钥**.
4. 选择 **受限访问** 并启用 **邮件发送 → 完全访问**.
5. 点击 **创建并查看**，复制密钥，并安全存储。

步骤 2：验证您的发件人邮箱

1. 在 SendGrid 中，导航至 **设置 → 发件人身份验证**.
2. 完成以下任一操作 **域名身份验证** （推荐）或 **单发件人验证** 用于您要发送的地址。

步骤 3：在 LangSmith 中配置 Webhook 警报

1. 在 LangSmith 中，导航至您的项目。
2. 选择 **警报 → 创建警报**.
3. 定义您的警报指标和条件。
4. 在通知部分，选择 **Webhook**.
5. 使用以下设置配置 Webhook：

Webhook URL

      https://api.sendgrid.com/v3/mail/send
      

请求头

      {
        "Content-Type": "application/json",
        "Authorization": "Bearer SG.your-api-key-here"
      }
      

请求正文模板

      {
        "personalizations": [
          {
            "to": [
              {
                "email": "oncall@your-company.com"
              }
            ],
            "subject": "LangSmith alert triggered"
          }
        ],
        "from": {
          "email": "alerts@your-company.com",
          "name": "LangSmith Alerts"
        },
        "content": [
          {
            "type": "text/plain",
            "value": "A LangSmith alert was triggered. Open your LangSmith workspace to view the alert details, including the project, metric value, threshold, and timestamp."
          }
        ]
      }
      

1. 点击 **保存** 以激活 Webhook 配置。

步骤 4：测试集成

1. 在 LangSmith 警报配置中，点击 **发送测试警报**.
2. 检查收件人收件箱中的测试通知。
3. 验证电子邮件包含预期的警报信息。

使用其他电子邮件提供商

相同的模式适用于其他接受静态身份验证标头的交易电子邮件 API。更改 **Webhook URL** 和 **请求头** 以匹配您的提供商：

调整 **请求正文模板** 以匹配每个提供商的预期负载格式。Amazon SES 不直接兼容，因为 SES API 需要对每个请求进行 AWS SigV4 签名，而这无法表示为静态标头。要使用 SES，请通过中间件路由（例如，带有 HTTP 触发器的 Lambda 函数）。