以编程方式使用文档

配置编码代理通过 LLM Gateway 路由 LLM 调用，为您的组织提供开发者 LLM 使用的成本控制、可观测性和审计追踪，而无需更改代理代码。

大多数编码代理允许您通过环境变量或配置文件覆盖 LLM 提供商端点。通过将它们指向 LLM Gateway 而不是直接指向提供商，所有 LLM 调用都通过网关流动。网关对调用者进行身份验证，从工作区密钥中解析实际提供商密钥，执行策略并追踪调用。无需更改代理代码。

该网关支持 Anthropic、AWS Bedrock、Baseten、Fireworks、Google Gemini、Google Vertex AI 和 OpenAI。如需完整列表和所需密钥，请参阅 支持的提供商.

前提条件

支持的客户端

  • - Claude Code CLI
  • - Codex CLI
  • - Gemini CLI
  • - Deep Agents

Claude Code CLI

除了 环境变量外无需额外配置。运行：

claude

Claude Code 将使用 ANTHROPIC_BASE_URL 和 ANTHROPIC_API_KEY 从您的环境中自动获取。

Codex CLI

Codex 除了环境变量外还需要一个 TOML 配置文件。

将此添加到 ~/.codex/config.toml:

model_provider = "langsmith-gateway"

[model_providers.langsmith-gateway]
name = "LangSmith Gateway"
base_url = "https://gateway.smith.langchain.com/openai/v1"
env_key = "LANGSMITH_API_KEY"
supports_websockets = false

确保 LANGSMITH_API_KEY 环境变量已 设置，然后运行：

codex

Gemini CLI

除了 环境变量外无需额外配置。运行：

gemini

Gemini CLI 将使用 GOOGLE_GEMINI_BASE_URL 和 GEMINI_API_KEY 从您的环境中自动获取。

Deep Agents

除 环境变量外无需额外配置。详情请参阅 提供商选择文档。运行：

deepagents

Python SDK 使用

如果您通过 Python 脚本调用 LLM 提供商，而不是通过编码代理，请将 base_url:

OpenAI SDK

    from openai import OpenAI

    client = OpenAI(
        base_url="https://gateway.smith.langchain.com/openai/v1",
        api_key=os.environ["LANGSMITH_API_KEY"],
    )
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": "Say hello!"}],
    )
    print(response.choices[0].message.content)

Anthropic SDK

    client = anthropic.Anthropic(
        base_url="https://gateway.smith.langchain.com/anthropic",
        api_key=os.environ["LANGSMITH_API_KEY"],
    )
    message = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=1024,
        messages=[{"role": "user", "content": "Say hello!"}],
    )
    print(message.content[0].text)

全公司部署

对于将网关推广给所有开发人员的组织，请通过 MDM（移动设备管理）或共享 shell 配置文件分发配置。需要分发的关键内容包括：

  1. 网关基础 URL（https://gateway.smith.langchain.com).
  2. 一个工作区范围的 LangSmith API 密钥 每个用户（或每个团队，根据您的策略粒度）。
  3. Codex config.toml （如果您的组织使用 Codex）。

提供商 API 密钥保留在 LangSmith 工作区密钥中。

验证设置

配置编码代理后，进行一次测试调用并确认：

  1. 调用成功（代理收到响应）。
  2. 一条追踪记录出现在 gateway 和 gateway-<short_api_key>-<api_key_id> 您 LangSmith 工作区中的追踪项目。

如果调用失败并显示 403，请检查您的 API 密钥角色是否包含 gateway:invoke 和 workspaces:read。如果失败并显示 400 提到缺少提供商密钥，请让您的组织管理员将提供商的密钥添加到工作区密钥中。

后续步骤