以编程方式使用文档

聊天模型 是使用一系列 消息 作为输入并返回消息作为输出的语言模型 (与传统纯文本 LLM 相反).

精选模型

| 模型 | 工具调用 | 结构化输出 | 多模态 | |-|-|-|-| | ChatOpenAI | ✅ | ✅ | ✅ | | ChatAnthropic | ✅ | ✅ | ✅ | | ChatVertexAI (已弃用) | ✅ | ✅ | ✅ | | ChatGoogleGenerativeAI | ✅ | ✅ | ✅ | | AzureChatOpenAI | ✅ | ✅ | ✅ | | ChatGroq | ✅ | ✅ | ❌ | | ChatAmazonNova | ✅ | ❌ | ✅ | | ChatHuggingFace | ✅ | ✅ | ❌ | | ChatOllama | ✅ | ✅ | ❌ | | ChatXAI | ✅ | ✅ | ❌ | | ChatNVIDIA | ✅ | ✅ | ✅ | | ChatCohere | ✅ | ✅ | ❌ | | ChatMistralAI | ✅ | ✅ | ❌ | | ChatTogether | ✅ | ✅ | ❌ | | ChatDeepSeek | ✅ | ✅ | ❌ | | ChatDatabricks | ✅ | ✅ | ❌ | | ChatOpenRouter | ✅ | ✅ | ✅ | | ChatLiteLLM | ✅ | ✅ | ✅ |

请参阅 聊天模型集成完整列表 以获取更多选项。

路由器和代理

路由器和代理让您通过单一 API 和凭证访问来自多个提供商的模型。它们可以简化计费,让您无需更改集成即可在模型之间切换,并提供自动回退等功能。

| 提供商 | 集成 | 描述 | |-|-|-| | OpenRouter | ChatOpenRouter | 统一访问 OpenAI、Anthropic、Google、Meta 等模型 | | LiteLLM | ChatLiteLLMRouter | 统一接口,支持 OpenAI、Anthropic、Azure、Hugging Face 等,具有路由和回退功能 |

聊天补全 API

某些模型提供商提供与 OpenAI 兼容的端点 聊天补全 API。在这种情况下,您可以使用 ChatOpenAI 与自定义 base_url 连接这些端点以获得基本聊天功能。

所有聊天模型

Abso

AI21 Labs

AI/ML API

Amazon Nova

Anthropic

AzureAIOpenAIApiChatModel

Azure OpenAI

Baseten

Cerebras

CloudflareWorkersAI

Cohere

ContextualAI

Crusoe

Databricks

DeepSeek

Featherless AI

Google Gemini

Google Cloud Vertex AI

Google Anthropic on Vertex AI

DigitalOcean Gradient

GreenNode

Groq

ChatHuggingFace

IBM watsonx.ai

Kinetica

LiteLLM

MistralAI

ModelScope

Naver

Nebius

Netmind

NVIDIA AI Endpoints

OCIGenAI

OCI Data Science

Ollama

OpenAI

OpenRouter

Parallel

Pipeshift

ChatPredictionGuard

Qwen QwQ

Qwen

RunPod Chat Model

SambaNova

ChatSeekrFlow

Together

Upstage

vLLM Chat

ChatWriter

xAI

Xinference