以编程方式使用文档

This guide helps you get started with AI/ML API 聊天模型.

AI/ML API 提供对数百个托管基础模型的高可用性、高吞吐量统一访问。

概述

集成详情

类包可序列化JS 支持下载量版本
ChatAIMLAPIlangchain-aimlapibeta❌!PyPI - 下载量!PyPI - 版本

模型特性

工具调用结构化输出图像输入音频输入视频输入Token 级流式传输原生异步Token 使用量对数概率
✅✅✅✅✅✅✅✅✅

设置

To access AI/ML API models you'll need to create an account, get an API key, and install the langchain-aimlapi 集成包。

凭证

前往 aimlapi.com 注册并生成 API 密钥。完成后设置 AIMLAPI_API_KEY 环境变量：

if not os.getenv("AIMLAPI_API_KEY"):
    os.environ["AIMLAPI_API_KEY"] = getpass.getpass("Enter your AI/ML API key: ")

要启用模型调用的自动追踪，请设置您的 LangSmith API 密钥：

os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
os.environ["LANGSMITH_TRACING"] = "true"

安装

The LangChain AI/ML API integration lives in the langchain-aimlapi package:

pip install -qU langchain-aimlapi

实例化

现在我们可以实例化模型对象并生成聊天补全：

from langchain_aimlapi import ChatAIMLAPI

llm = ChatAIMLAPI(
    model="meta-llama/Llama-3-70b-chat-hf",
    temperature=0.7,
    max_tokens=512,
    timeout=30,
    max_retries=3,
)

调用

messages = [
    ("system", "You are a helpful assistant that translates English to French."),
    ("human", "I love programming."),
]
ai_msg = llm.invoke(messages)
ai_msg
AIMessage(content="J'adore la programmation.", response_metadata={'token_usage': {'completion_tokens': 9, 'prompt_tokens': 23, 'total_tokens': 32}, 'model_name': 'meta-llama/Llama-3-70b-chat-hf'}, id='run-...')
print(ai_msg.content)
J'adore la programmation.

流式调用

您也可以逐 token 流式传输响应：

stream = llm.stream_events("List top 5 programming languages in 2025 with reasons.", version="v3")
for token in stream.text:
    print(token, end="", flush=True)