以编程方式使用文档

前提条件

在开始之前，请确认：

  • - 您的 组织管理员 已启用 LLM Gateway 并将提供商 API 密钥添加到工作区密钥中。设置方法请参阅 管理员设置.
  • - 您拥有工作区范围的 LangSmith API 密钥 附加到具有以下权限的角色 gateway:invoke 和 workspaces:read 权限。如有疑问，请咨询您的组织管理员。

1. 设置环境变量

在终端中设置以下内容（或将它们添加到您的 ~/.zshrc 以跨会话持久化）：

这会将所有提供商 SDK 指向 LangSmith Gateway，并使用您的 LangSmith API 密钥进行身份验证。网关会从您的工作区提供商密钥中解析实际的提供商密钥——您无需在本地保存提供商 API 密钥。

2. 发起调用

curl https://gateway.smith.langchain.com/openai/v1/chat/completions \
    -H "Authorization: Bearer $LANGSMITH_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"ping"}]}'
from openai import OpenAI

client = OpenAI(
    base_url=os.environ["OPENAI_BASE_URL"],
    api_key=os.environ["LANGSMITH_API_KEY"],
)
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "ping"}],
)
print(response.choices[0].message.content)
client = anthropic.Anthropic(
    base_url=os.environ["ANTHROPIC_BASE_URL"],
    api_key=os.environ["LANGSMITH_API_KEY"],
)
message = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{"role": "user", "content": "ping"}],
)
print(message.content[0].text)
from langchain.agents import create_agent
from langchain.chat_models import init_chat_model

# Anthropic shown here; OpenAI and Gemini are also supported by swapping base_url and model_provider.
model = init_chat_model(
    model="claude-sonnet-4-6",
    model_provider="anthropic",
    base_url=os.environ["ANTHROPIC_BASE_URL"],
    api_key=os.environ["LANGSMITH_API_KEY"],
)
agent = create_agent(model=model, system_prompt="You are a helpful assistant.")
result = agent.invoke({"messages": [{"role": "user", "content": "ping"}]})
print(result["messages"][-1].content)

A 200 带有聊天补全的响应确认了网关、您的 API 密钥和您的角色权限均正常工作。

3. 查看您的跟踪记录

打开 LangSmith UI 并导航到与您的 API 密钥关联的工作区中名为 gateway or gateway-<short_api_key>-<api_key_id> 的跟踪项目。您应该会看到刚刚发起的调用的新跟踪记录。

4. 设置消费策略（可选）

Go to **设置 → 网关 → LLM Gateway** 在 LangSmith 中创建消费策略。例如，您可以设置 API 密钥每日 10 美元的上限。当达到上限时，网关会返回一个 402 响应，并附带消息： "Request blocked by gateway policies: R&D Spend Cap".

请参阅 消费策略 获取有关策略维度、时间窗口和冲突解决的完整指南。

网关如何处理请求

以下是您在发起调用时网关执行的操作：

  1. **已验证** 使用 LangSmith API 密钥验证您的请求。
  2. **已解析** 实际的提供商 API 密钥（例如， OPENAI_API_KEY）从您的工作区提供商密钥中。
  3. **已评估** 任何活跃策略（支出限制、PII 脱敏、密钥脱敏）。
  4. **已代理** 将请求代理到上游提供商。
  5. **已追踪** 对 LangSmith 的调用，包括令牌数量、成本和任何策略事件。

通过网关路由无需更改应用程序代码。

下一步