以编程方式使用文档

Playground 允许您使用任何符合 OpenAI API 的模型。您可以通过在 Playground 中设置代理提供程序来使用您的模型。

部署 OpenAI 兼容模型

许多提供商提供 OpenAI 兼容模型或代理服务。例如包括:

您可以使用这些提供商来部署模型并获取符合 OpenAI API 的 API 端点。

请查看完整 规格说明 了解更多。

在 Playground 中使用模型

部署模型服务器后,您可以在 Playground.

要访问 **提示词设置** menu:

  1. 在 **提示词** 标题下选择模型名称旁边的齿轮 图标。
  2. 在 **模型配置** 标签页中,从下拉菜单中选择要编辑的模型。
  3. 对于 **提供程序** 下拉菜单,选择 **OpenAI 兼容端点**.
  4. 将您的 OpenAI 兼容端点添加到 **基础 URL** 输入框。参见 基础 URL 格式 的示例。
LangSmith UI 中的模型配置窗口,已选择一个模型,提供程序下拉菜单中已选择 OpenAI 兼容端点。 LangSmith UI 中的模型配置窗口,已选择一个模型,提供程序下拉菜单中已选择 OpenAI 兼容端点。

如果一切设置正确,您应该在 Playground 中看到模型的响应。您还可以使用此功能调用下游管道。

有关如何存储模型配置的信息,请参阅 配置提示词设置.

如果您的 OpenAI 兼容端点位于 OAuth2 网关后面,请将 OAuth client_credentials 存储在模型配置上,而不是将静态 API 密钥作为工作区密钥分发。参见 OAuth 客户端凭据.

基础 URL 格式

基础 URL **应指向 OpenAI 兼容 API 服务器的根目录。** 基础 URL LangSmith 会自动追加 /chat/completions ——请勿将其包含在基础 URL 中。

示例基础 URL

提供程序示例基础 URL
Ollama (本地)http://localhost:11434/v1
LiteLLM Proxy (本地)http://localhost:4000
vLLM (本地)http://localhost:8000/v1
自托管 (远程)https://my-model-server.example.com/v1

支持自定义路径前缀。如果您的服务器在以下位置提供补全功能 /api/v2/chat/completions, 将 Base URL 设置为 https://my-server.example.com/api/v2.