RunPod 提供 GPU 云基础设施，包括针对 AI 模型部署和扩展优化的无服务器端点。

本指南介绍如何使用 langchain-runpod 集成包将 LangChain 应用程序连接到托管在 RunPod 无服务器.

该集成同时提供标准语言模型 (LLM) 和聊天模型的接口。

安装

安装专用的合作伙伴包：

pip install -qU langchain-runpod

设置

1. 在 RunPod 上部署端点

• - 导航至您的 RunPod 无服务器控制台.
• - Create a \"New Endpoint\", selecting an appropriate GPU and template (e.g., vLLM, TGI, text-generation-webui) compatible with your model and the expected input/output format (see component guides or the package README).
• - 配置设置并部署。
• 关键的是，复制端点 ID 部署后。

2. 设置 API 凭证

该集成需要您的 RunPod API 密钥和端点 ID。将它们设置为环境变量以确保安全访问：

os.environ["RUNPOD_API_KEY"] = getpass.getpass("Enter your RunPod API Key: ")
os.environ["RUNPOD_ENDPOINT_ID"] = input("Enter your RunPod Endpoint ID: ")

*（可选）* 如果对 LLM 和聊天模型使用不同的端点，您可能需要设置 RUNPOD_CHAT_ENDPOINT_ID 或在初始化期间直接传递 ID。

组件

此包提供两个主要组件：

1. LLM

用于与标准文本补全模型交互。

参见 RunPod LLM 集成指南 了解更多详情

from langchain_runpod import RunPod

# Example initialization (uses environment variables)
llm = RunPod(model_kwargs={"max_new_tokens": 100})  # Add generation params here

# Example Invocation
try:
    response = llm.invoke("Write a short poem about the cloud.")
    print(response)
except Exception as e:
    print(
        f"Error invoking LLM: {e}. Ensure endpoint ID and API key are correct and endpoint is active."
    )

2. 聊天模型

用于与对话模型交互。

参见 RunPod 聊天模型集成指南 了解更多详情和功能支持。

from langchain.messages import HumanMessage
from langchain_runpod import ChatRunPod

# Example initialization (uses environment variables)
chat = ChatRunPod(model_kwargs={"temperature": 0.8})  # Add generation params here

# Example Invocation
try:
    response = chat.invoke(
        [HumanMessage(content="Explain RunPod Serverless in one sentence.")]
    )
    print(response.content)
except Exception as e:
    print(
        f"Error invoking Chat Model: {e}. Ensure endpoint ID and API key are correct and endpoint is active."
    )