以编程方式使用文档

一次性设置，为您的LangSmith启用LLM网关 组织. 组织管理员 应在个人用户通过网关路由调用之前完成此操作。

前提条件

您需要 organization:manage 权限 在LangSmith中。 步骤3 选项A 还需要一个包含以下内容的计划 RBAC （自定义角色）。

1. 启用LLM网关

在私人测试期间，必须由LangChain为您的组织启用网关。一旦您被接受进入测试版， llm_gateway_enabled 功能标志将为您启用。

在正式发布时，这将是一个自助服务设置。

2. 添加提供商密钥

网关从您工作区的提供商密钥中解析提供商API密钥——这是它向上游提供商代理调用的方式，无需各个用户本地存储提供商密钥副本。

Go to **设置 → 集成 → 提供商密钥** 并添加您希望通过网关代理的提供商的密钥：

密钥名称提供商
ANTHROPIC_API_KEYAnthropic
AWS_BEARER_TOKEN_BEDROCKAWS Bedrock
BASETEN_API_KEYBaseten
FIREWORKS_API_KEYFireworks
GOOGLE_API_KEYGoogle Gemini
OPENAI_API_KEYOpenAI
VERTEX_SERVICE_ACCOUNT_JSONGoogle Vertex AI

仅添加您组织使用的提供商。如果用户尝试调用其密钥未添加的提供商，网关将返回错误。

3. 为用户配置网关访问权限

内置角色 WORKSPACE_USER 和 WORKSPACE_VIEWER 不包含 gateway:invoke 权限，且无法编辑。您有两个选项用于授予网关访问权限：

选项A：创建自定义工作区角色（推荐）

需要启用RBAC的计划。

  1. Go to **Settings → Members/Roles**.
  2. 创建一个新的工作区角色。
  3. 至少授予其 gateway:invoke 和 workspaces:read.
  4. 将需要网关访问权限的用户分配给此角色。

当您想向特定用户授予网关访问权限但不希望授予其完整的工作区管理员权限时使用此选项。这使您可以最大程度地控制谁可以使用网关。

选项B：使用工作区管理员角色

无计划要求。

该 WORKSPACE_ADMIN 角色已同时包含 gateway:invoke 和 workspaces:read 。默认分配此角色给需要网关访问权限的用户。

如果不需要细粒度访问控制，或者未启用 RBAC，请使用此选项。

4. 配置策略（可选）

网关策略管理需要 organization:manage permission.

Go to **设置 → 网关 → LLM 网关** 来创建治理策略。您可以配置：

  • 消费限额： 在组织、工作区、API 密钥或用户级别设置硬性上限。请参阅 消费策略.
  • PII 和密钥脱敏： 在数据到达模型之前检测并脱敏敏感数据。请参阅 PII 和密钥脱敏.

策略在初始设置阶段为可选配置。在您配置策略之前，网关将自由放行所有调用。

5. 向用户分发 API 密钥

为需要网关访问权限的用户创建工作区范围的 服务密钥 。每个密钥应附加到包含 gateway:invoke 和 workspaces:read.

的角色的密钥。使用工作区范围的密钥，而非组织范围的密钥。请参阅 API 密钥范围 了解详情。

与每位用户共享密钥和网关端点，或通过 MDM（移动设备管理）进行分发以实现公司范围的编码代理部署。有关按代理的配置说明，请参阅 设置编码代理.

验证

请用户运行 快速入门中的验证 curl 命令. A 200 响应确认网关、API 密钥、提供商密钥和角色权限均已正确配置。调用将作为跟踪记录显示在工作区的 **网关** 跟踪项目中。

后续步骤