以编程方式使用文档

LangChain 提供的是一种内存中的临时向量存储,它在内存中存储嵌入向量,并对最相似的嵌入向量进行精确的线性搜索。默认的相似度度量是余弦相似度,但可以更改为 ml-distance.

由于它是为演示而设计的,目前尚不支持 id 或删除功能。

本指南提供快速入门 MemoryVectorStore 向量存储.

概述

集成详情

PY 支持版本
MemoryVectorStorelangchain!NPM - 版本

设置

要使用内存向量存储,你需要安装 langchain package:

本指南还将使用 OpenAI 嵌入,你需要安装 @langchain/openai 集成包。你也可以使用 其他支持的嵌入模型 (如果你愿意的话)。

npm install langchain @langchain/openai @langchain/core
yarn add langchain @langchain/openai @langchain/core
pnpm add langchain @langchain/openai @langchain/core

凭证

使用内存向量存储没有必需的凭证。

如果你在本指南中使用 OpenAI 嵌入,你需要将你的 OpenAI 密钥设置好:

process.env.OPENAI_API_KEY = "YOUR_API_KEY";

如果你想对模型调用进行自动追踪,你也可以设置你的 LangSmith API 密钥,方法是将下面的注释取消:

// process.env.LANGSMITH_TRACING="true"
// process.env.LANGSMITH_API_KEY="your-api-key"

实例化

const embeddings = new OpenAIEmbeddings({
  model: "text-embedding-3-small",
});

const vectorStore = new MemoryVectorStore(embeddings);

管理向量存储

向向量存储添加项目

const document1: Document = {
  pageContent: "The powerhouse of the cell is the mitochondria",
  metadata: { source: "https://example.com" }
};

const document2: Document = {
  pageContent: "Buildings are made out of brick",
  metadata: { source: "https://example.com" }
};

const document3: Document = {
  pageContent: "Mitochondria are made out of lipids",
  metadata: { source: "https://example.com" }
};

const documents = [document1, document2, document3];

await vectorStore.addDocuments(documents);

查询向量存储

一旦你的向量存储被创建并且相关文档已添加,你很可能希望在运行链或代理时对其进行查询。

直接查询

执行简单的相似性搜索可以按如下方式进行:

const filter = (doc) => doc.metadata.source === "https://example.com";

const similaritySearchResults = await vectorStore.similaritySearch("biology", 2, filter)

for (const doc of similaritySearchResults) {
  console.log(`* ${doc.pageContent} [${JSON.stringify(doc.metadata, null)}]`);
}
* The powerhouse of the cell is the mitochondria [{"source":"https://example.com"}]
* Mitochondria are made out of lipids [{"source":"https://example.com"}]

过滤器是可选的,必须是一个谓词函数,它接受一个文档作为输入,并根据 true or false 文档是否应该被返回来决定返回值。

如果你想执行相似性搜索并获取相应的分数,你可以运行:

const similaritySearchWithScoreResults = await vectorStore.similaritySearchWithScore("biology", 2, filter)

for (const [doc, score] of similaritySearchWithScoreResults) {
  console.log(`* [SIM=${score.toFixed(3)}] ${doc.pageContent} [${JSON.stringify(doc.metadata)}]`);
}
* [SIM=0.165] The powerhouse of the cell is the mitochondria [{"source":"https://example.com"}]
* [SIM=0.148] Mitochondria are made out of lipids [{"source":"https://example.com"}]

转换为检索器进行查询

你也可以将向量存储转换为 检索器 ,以便在链中更方便地使用:

const retriever = vectorStore.asRetriever({
  // Optional filter
  filter: filter,
  k: 2,
});

await retriever.invoke("biology");
[
  Document {
    pageContent: 'The powerhouse of the cell is the mitochondria',
    metadata: { source: 'https://example.com' },
    id: undefined
  },
  Document {
    pageContent: 'Mitochondria are made out of lipids',
    metadata: { source: 'https://example.com' },
    id: undefined
  }
]

最大边际相关性

该向量存储还支持最大边际相关性(MMR),这是一种首先获取更多结果的技术(由 searchKwargs.fetchK指定),然后使用经典相似性搜索,接着重新排序以增加多样性,并返回顶部 k 个结果。这有助于防止冗余信息:

const mmrRetriever = vectorStore.asRetriever({
  searchType: "mmr",
  searchKwargs: {
    fetchK: 10,
  },
  // Optional filter
  filter: filter,
  k: 2,
});

await mmrRetriever.invoke("biology");
[
  Document {
    pageContent: 'The powerhouse of the cell is the mitochondria',
    metadata: { source: 'https://example.com' },
    id: undefined
  },
  Document {
    pageContent: 'Buildings are made out of brick',
    metadata: { source: 'https://example.com' },
    id: undefined
  }
]

用于检索增强生成的用法

有关如何使用此向量存储进行检索增强生成(RAG)的指南,请参阅以下部分: