LLM 网关是一个代理，位于您的代理（或任何 LLM 客户端）与其调用的 LLM 提供商之间。密钥不再由每个客户端在本地存储提供商 API 密钥，而是作为提供商密钥在 LangSmith 中存储一次。客户端使用 LangSmith API 密钥.
当请求通过网关时，它会：
- 使用调用方的 LangSmith API 密钥对调用方进行身份验证。
- 从您工作区的提供商密钥中解析实际的提供商 API 密钥。
- 评估治理策略（消费限制、个人信息删除、密钥删除）。
- 将请求代理到上游提供商。
- 将调用追踪到 LangSmith。
每个通过网关代理的调用都作为 追踪 出现在 LangSmith 中。当策略触发时，事件流入 LangSmith Engine 进行分类——您可以从被阻止的请求转到触发它的追踪再到修复，全部在一个产品中完成。
功能可用性
| 功能 | 描述 |
|---|---|
| **消费限制** | 在 组织, 工作区, API 密钥层级强制硬性阻止。当达到上限时，调用方会收到 402 响应以及可操作的错误消息。 |
| **消费可见性** | 按工作区、用户、API 密钥汇总的实时成本。通过自定义图表可以获得按模型的可见性。 |
| **个人信息删除** | 在请求到达模型之前检测并删除其中的姓名、地点、国籍、宗教、政治派别和年龄。 |
| **密钥删除** | 检测并删除请求中的美国电话号码、美国社会安全号码、API 密钥、令牌和凭证。覆盖 AWS、GitHub、GitLab、OpenAI、Anthropic、GCP、Azure、Slack、Datadog、PyPI、npm、私钥和 LangSmith 令牌。 |
| **LangSmith Engine 集成** | 策略违规在 LangSmith Engine 中显示为问题。单击可从违规追溯到生成它的追踪。 |
| **审计日志** | 网关配置的管理变更和网关调用都会被记录。 |
| **追踪** | 每个通过网关代理的调用都出现在与您代理其他追踪相同的 LangSmith 工作区中。通过网关路由不会分散您的可观测性。 |
支持的提供商
| 提供商 | 网关路径 | 密钥名称 |
|---|---|---|
| Anthropic | /anthropic | ANTHROPIC_API_KEY |
| AWS Bedrock | /bedrock | AWS_BEARER_TOKEN_BEDROCK |
| Baseten | /baseten | BASETEN_API_KEY |
| Fireworks | /fireworks | FIREWORKS_API_KEY |
| Google Gemini | /gemini | GOOGLE_API_KEY |
| Google Vertex AI | /vertex | VERTEX_SERVICE_ACCOUNT_JSON |
| OpenAI | /openai | OPENAI_API_KEY |
已知限制
- Claude Desktop： 不支持市场插件。聊天标签不可见，但协作功能正常。
- Codex Desktop： 不支持市场插件。
- Cursor: IDE 集成尚不可用。
- ChatGPT Desktop / Gemini Desktop: 不可配置。
资源
Spend policies
在整个组织中设置和管理成本限制。
PII and secrets redaction
防止敏感数据被发送到 LLM 提供商或追踪存储。
如有关于 LLM Gateway 的其他问题，请联系 support.langchain.com.