除了 内置提供商，LLM 网关还可以将请求代理到 **任何 OpenAI 兼容的端点**，例如通过推理服务器（vLLM、Ollama 等）服务的自托管开源模型。
工作原理
自定义提供商由一个 **OpenAI 兼容端点** 模型配置 定义，您将其保存在 **设置 → 模型配置** 中的 LangSmith UI。网关使用配置中的以下选项：
- - A **基础 URL**：网关转发请求的上游端点。
- - A **模型名称**：注入到每个请求中，因此调用者无需指定。
- - An **API 密钥**：存储为 工作区密钥，从不由客户端发送。
然后您可以通过 https://gateway.smith.langchain.com/providers/{configName} 路由按名称寻址保存的配置。当请求进入时，网关查找配置、解析密钥，并将调用代理到配置的上游 URL。
1. 创建自定义提供商配置
- 在 **设置 → 集成 → 提供商密钥**下将上游端点的 API 密钥添加为工作区密钥。给它一个描述性名称（例如，
MY_PROVIDER_API_KEY). - Go to **设置 → 模型配置** 并创建一个配置，提供商选择 **OpenAI 兼容端点** 。
- 将 **基础 URL** 设置为您上游端点（例如
https://my-inference-server.example.com/v1）和 **模型名称** 设置为端点期望的模型标识符。 - 将 **API 密钥名称** 指向你创建的密钥。
- 使用以下内容保存配置 **名称**。此名称是你在网关路由中使用的名称。
2. 发起调用
通过名称调用已保存的配置。路由为 https://gateway.smith.langchain.com/providers/{configName}，其中 {configName} 是你在 **设置 → 模型配置** (my-custom-endpoint 中保存的配置名称（见以下示例）。
curl https://gateway.smith.langchain.com/providers/my-custom-endpoint/v1/chat/completions \
-H "Authorization: Bearer $LANGSMITH_API_KEY" \
-H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"ping"}]}'网关会覆盖请求体中的 model 字段使用已保存配置中的模型名称，因此你从客户端传递的值会被忽略。
支持的端点
自定义提供程序使用与内置 OpenAI 提供程序相同的允许列表： POST /v1/chat/completions （包括流式传输）， POST /v1/responses以及 GET /v1/models 列表端点。任何其他路径返回 501 Not Implemented.