LangChain 提供的是一种内存中的临时向量存储,它在内存中存储嵌入向量,并对最相似的嵌入向量进行精确的线性搜索。默认的相似度度量是余弦相似度,但可以更改为 ml-distance.
由于它是为演示而设计的,目前尚不支持 id 或删除功能。
本指南提供快速入门 MemoryVectorStore 向量存储.
概述
集成详情
| 类 | 包 | PY 支持 | 版本 |
|---|---|---|---|
MemoryVectorStore | langchain | ❌ | !NPM - 版本 |
设置
要使用内存向量存储,你需要安装 langchain package:
本指南还将使用 OpenAI 嵌入,你需要安装 @langchain/openai 集成包。你也可以使用 其他支持的嵌入模型 (如果你愿意的话)。
npm install langchain @langchain/openai @langchain/core
yarn add langchain @langchain/openai @langchain/core
pnpm add langchain @langchain/openai @langchain/core
凭证
使用内存向量存储没有必需的凭证。
如果你在本指南中使用 OpenAI 嵌入,你需要将你的 OpenAI 密钥设置好:
process.env.OPENAI_API_KEY = "YOUR_API_KEY";
如果你想对模型调用进行自动追踪,你也可以设置你的 LangSmith API 密钥,方法是将下面的注释取消:
// process.env.LANGSMITH_TRACING="true"
// process.env.LANGSMITH_API_KEY="your-api-key"
实例化
const embeddings = new OpenAIEmbeddings({
model: "text-embedding-3-small",
});
const vectorStore = new MemoryVectorStore(embeddings);
管理向量存储
向向量存储添加项目
const document1: Document = {
pageContent: "The powerhouse of the cell is the mitochondria",
metadata: { source: "https://example.com" }
};
const document2: Document = {
pageContent: "Buildings are made out of brick",
metadata: { source: "https://example.com" }
};
const document3: Document = {
pageContent: "Mitochondria are made out of lipids",
metadata: { source: "https://example.com" }
};
const documents = [document1, document2, document3];
await vectorStore.addDocuments(documents);
查询向量存储
一旦你的向量存储被创建并且相关文档已添加,你很可能希望在运行链或代理时对其进行查询。
直接查询
执行简单的相似性搜索可以按如下方式进行:
const filter = (doc) => doc.metadata.source === "https://example.com";
const similaritySearchResults = await vectorStore.similaritySearch("biology", 2, filter)
for (const doc of similaritySearchResults) {
console.log(`* ${doc.pageContent} [${JSON.stringify(doc.metadata, null)}]`);
}
* The powerhouse of the cell is the mitochondria [{"source":"https://example.com"}]
* Mitochondria are made out of lipids [{"source":"https://example.com"}]
过滤器是可选的,必须是一个谓词函数,它接受一个文档作为输入,并根据 true or false 文档是否应该被返回来决定返回值。
如果你想执行相似性搜索并获取相应的分数,你可以运行:
const similaritySearchWithScoreResults = await vectorStore.similaritySearchWithScore("biology", 2, filter)
for (const [doc, score] of similaritySearchWithScoreResults) {
console.log(`* [SIM=${score.toFixed(3)}] ${doc.pageContent} [${JSON.stringify(doc.metadata)}]`);
}
* [SIM=0.165] The powerhouse of the cell is the mitochondria [{"source":"https://example.com"}]
* [SIM=0.148] Mitochondria are made out of lipids [{"source":"https://example.com"}]
转换为检索器进行查询
你也可以将向量存储转换为 检索器 ,以便在链中更方便地使用:
const retriever = vectorStore.asRetriever({
// Optional filter
filter: filter,
k: 2,
});
await retriever.invoke("biology");
[
Document {
pageContent: 'The powerhouse of the cell is the mitochondria',
metadata: { source: 'https://example.com' },
id: undefined
},
Document {
pageContent: 'Mitochondria are made out of lipids',
metadata: { source: 'https://example.com' },
id: undefined
}
]
最大边际相关性
该向量存储还支持最大边际相关性(MMR),这是一种首先获取更多结果的技术(由 searchKwargs.fetchK指定),然后使用经典相似性搜索,接着重新排序以增加多样性,并返回顶部 k 个结果。这有助于防止冗余信息:
const mmrRetriever = vectorStore.asRetriever({
searchType: "mmr",
searchKwargs: {
fetchK: 10,
},
// Optional filter
filter: filter,
k: 2,
});
await mmrRetriever.invoke("biology");
[
Document {
pageContent: 'The powerhouse of the cell is the mitochondria',
metadata: { source: 'https://example.com' },
id: undefined
},
Document {
pageContent: 'Buildings are made out of brick',
metadata: { source: 'https://example.com' },
id: undefined
}
]
用于检索增强生成的用法
有关如何使用此向量存储进行检索增强生成(RAG)的指南,请参阅以下部分:
- - 使用 LangChain 构建 RAG 应用.
- - 代理式 RAG
- - 检索文档