文档加载器提供了一个 **标准接口** 用于将来自不同来源(如 Slack、Notion 或 Google Drive)的数据读取到 LangChain 的 Document 格式中。 这确保了数据可以始终如一地处理,无论其来源如何。
所有文档加载器都实现了 BaseLoader 接口。
接口
每个文档加载器可以定义自己的参数,但它们共享一个通用 API:
- -
load():一次性加载所有文档。
- -
loadAndSplit():一次性加载所有文档并将其分割成更小的文档。
const loader = new OracleDocLoader(,
... // <-- Integration specific parameters here
);
const data = await loader.load();
按类别
LangChain.js 以两种不同方式对文档加载器进行分类:
- - 文件加载器,用于从本地文件系统将数据加载到 LangChain 格式中。
- - 网络加载器,用于从远程来源加载数据。
文件加载器
常见文件类型
| Document Loader | Description | Package/API |
DirectoryLoader | 使用自定义加载器映射从目录加载所有文件 | 包 |
| JSON | 使用 JSON 指针加载 JSON 文件以定位特定键 | 包 |
JSONLines | Load data from JSONLines/JSONL files | Package |
Text | 加载纯文本文件 | 包 |
专用文件加载器
网络加载器
云服务提供商
音频和视频
| Document Loader | Description | Web Support | Package/API |
Soniox | 使用 Soniox API 转录多语言音频文件(可选翻译) | ✅ | API |
其他
| Document Loader | Description | Web Support | Package/API |
LangSmith | 从 LangSmith 加载数据集和跟踪 | ✅ | API |
所有文档加载器
DirectoryLoader
Google Cloud SQL for PostgreSQL
JSON
JSONLines
LangSmith
MultiFileLoader
OracleDocLoader
Soniox
Text