Cloudflare Workers AI 集成 - 以编程方式使用文档

这将帮助您开始使用 LangChain 的 Cloudflare Workers AI 文本补全模型（LLM）。有关详细文档，请参阅 CloudflareWorkersAI 功能和配置选项，请参阅 API 参考.

概述

集成详情

类	包	本地	可序列化	Python 支持	下载量	版本
`CloudflareWorkersAI`	`@langchain/cloudflare`	❌	✅	❌	!NPM - 下载量	!NPM - 版本

设置

要访问 Cloudflare Workers AI 模型，您需要创建一个 Cloudflare 账户，获取 API 密钥，并安装 @langchain/cloudflare 集成包。

凭证

前往此页面注册 Cloudflare 并生成 API 密钥。完成此操作后，请在环境中设置您的凭证：

安装

LangChain Cloudflare 集成位于 @langchain/cloudflare package:

npm install @langchain/cloudflare @langchain/core

yarn add @langchain/cloudflare @langchain/core

pnpm add @langchain/cloudflare @langchain/core

实例化

现在我们可以实例化模型对象并生成聊天补全：

// @lc-docs-hide-cell

// @ts-expect-error Deno is not recognized
const CLOUDFLARE_ACCOUNT_ID = Deno.env.get("CLOUDFLARE_ACCOUNT_ID");
// @ts-expect-error Deno is not recognized
const CLOUDFLARE_API_TOKEN = Deno.env.get("CLOUDFLARE_API_TOKEN");

const llm = new CloudflareWorkersAI({
  model: "@cf/meta/llama-3.1-8b-instruct", // Default value
  cloudflareAccountId: CLOUDFLARE_ACCOUNT_ID,
  cloudflareApiToken: CLOUDFLARE_API_TOKEN,
  // Pass a custom base URL to use Cloudflare AI Gateway
  // baseUrl: `https://gateway.ai.cloudflare.com/v1/{YOUR_ACCOUNT_ID}/{GATEWAY_NAME}/workers-ai/`,
});

调用

const inputText = "Cloudflare is an AI company that "

const completion = await llm.invoke(inputText);
completion

"Cloudflare is not an AI company, but rather a content delivery network (CDN) and security company. T"... 876 more characters

API 参考

有关所有 CloudflareWorkersAI 功能和配置的详细文档，请前往 API 参考.