这将帮助您开始使用 LangChain 与 IBM 文本补全模型 (LLM)。有关 IBM watsonx.ai 功能和配置选项的详细文档，请参阅 IBM watsonx.ai.

概述

集成详情

设置

要访问 IBM WatsonxAI 模型，您需要创建一个 IBM watsonx.ai 账户，获取 API 密钥或任何其他类型的凭证，并安装 @langchain/ibm 集成包。

凭证

前往 IBM Cloud 注册 IBM watsonx.ai 并生成 API 密钥或提供如下所示的任何其他身份验证形式。

IAM 身份验证

Bearer 令牌身份验证

IBM watsonx.ai 软件身份验证

将这些放入环境变量并初始化对象后，身份验证将自动进行。

也可以通过将这些值作为参数传递给新实例来完成身份验证。

IAM 身份验证

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "",
  projectId: "",
  watsonxAIAuthType: "iam",
  watsonxAIApikey: "",
};
const instance = new WatsonxLLM(props);

Bearer 令牌身份验证

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "",
  projectId: "",
  watsonxAIAuthType: "bearertoken",
  watsonxAIBearerToken: "",
};
const instance = new WatsonxLLM(props);

IBM watsonx.ai 软件身份验证

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "",
  projectId: "",
  watsonxAIAuthType: "cp4d",
  watsonxAIUsername: "",
  watsonxAIPassword: "",
  watsonxAIUrl: "<url>",
};
const instance = new WatsonxLLM(props);

如果您想获取模型调用的自动跟踪，您还可以设置您的 LangSmith API 密钥（通过取消注释下面的内容）：

# export LANGSMITH_TRACING="true"
# export LANGSMITH_API_KEY="your-api-key"

安装

LangChain IBM watsonx.ai 集成位于 @langchain/ibm package:

npm install @langchain/ibm @langchain/core

yarn add @langchain/ibm @langchain/core

pnpm add @langchain/ibm @langchain/core

实例化

现在我们可以实例化模型对象并生成聊天补全：

const props = {
  decoding_method: "sample",
  maxNewTokens: 100,
  minNewTokens: 1,
  temperature: 0.5,
  topK: 50,
  topP: 1,
};
const instance = new WatsonxLLM({
  version: "YYYY-MM-DD",
  serviceUrl: process.env.API_URL,
  projectId: "",
  // spaceId: "",
  // idOrName: "",
  model: "",
  ...props,
});

Note:

• - 您必须提供 spaceId, projectId or idOrName（部署 ID），除非您使用轻量级引擎，该引擎无需指定两者（请参阅 watsonx.ai 文档)
• - 根据您配置的服务实例所在区域，使用正确的 serviceUrl。
• - 您需要通过 model 指定要用于推理的模型_id.

使用模型网关

const props = {
  decoding_method: "sample",
  maxNewTokens: 100,
  minNewTokens: 1,
  temperature: 0.5,
  topK: 50,
  topP: 1,
};

const instance = new WatsonxLLM({
  version: "YYYY-MM-DD",
  serviceUrl: process.env.API_URL,
  model: "",
  modelGateway: true,
  ...props,
});

要通过 Langchain 使用模型网关，您需要先通过以下方式创建提供商并添加模型 @ibm-cloud/watsonx-ai SDK 或 watsonx.ai API。请按照此文档操作： - API. - SDK.

调用和生成

const result = await instance.invoke("Print hello world.");
console.log(result);

const results = await instance.generate([
  "Print hello world.",
  "Print bye, bye world!",
]);
console.log(results);

print('Hello world.')<|endoftext|>
{
  generations: [ [ [Object] ], [ [Object] ] ],
  llmOutput: { tokenUsage: { generated_token_count: 28, input_token_count: 10 } }
}

链式调用

我们可以像这样将补全模型与提示模板链接：

const prompt = PromptTemplate.fromTemplate("How to say {input} in {output_language}:\n")

const chain = prompt.pipe(instance);
await chain.invoke(
  {
    output_language: "German",
    input: "I love programming.",
  }
)

Ich liebe Programmieren.

To express that you are passionate about programming in German,

属性覆盖

初始化时传入的属性将持续整个对象生命周期，但您可以通过如下传递第二个参数来覆盖单个方法调用的属性

const result2 = await instance.invoke("Print hello world.", {
  parameters: {
    maxNewTokens: 100,
  },
});
console.log(result2);

print('Hello world.')<|endoftext|>

分词

此包具有自定义的 getNumTokens 实现，可返回将使用的准确 token 数量。

const tokens = await instance.getNumTokens("Print hello world.");
console.log(tokens);

4

API 参考

有关所有功能的详细文档 IBM watsonx.ai 特性和配置，请参阅 API 参考： API 文档