>这个 unstructured 来自 Unstructured.IO 从原始源文档(如 PDF 和 Word 文档)中提取干净的文本。 本页面介绍如何在 unstructured 生态系统内使用
安装和设置
如果使用在本地运行的加载器,请使用以下步骤来获取 unstructured 及其 依赖项并运行。
- 为了最小的安装占用空间并利用中不可用的功能 open-source unstructured 包,请使用以下命令安装 Python SDK pip install unstructured-client 以及 pip install langchain-unstructured 来使用 UnstructuredLoader 和对 进行远程调用。此加载器位于 在 LangChain 合作伙伴仓库而非 langchain-community 仓库中,您需要 api_key。您可以 在 Unstructured API 密钥页面上生成免费密钥. - Unstructured 的 SDK 文档可在此处找到: https://docs.unstructured.io/api-reference/api-services/sdk
- 要在本地运行所有内容,请使用以下命令安装开源 Python 包 pip install unstructured 以及 pip install langchain-community 并使用相同的 UnstructuredLoader 如上所述。 - 您可以使用额外的组件安装特定于文档的依赖项,例如 pip install "unstructured[docx]"。在 完整安装文档中了解更多关于额外组件的信息. - 要安装所有文档类型的依赖项,请使用 pip install "unstructured[all-docs]". - 如果系统中还没有这些系统依赖项,请使用以下命令安装它们,例如 brew install 适用于 Mac。 根据您正在解析的文档类型,您可能不需要所有这些依赖项。 - libmagic-dev (文件类型检测) - poppler-utils (图像和 PDF) - tesseract-ocr(图像和 PDF) - qpdf (PDF) - libreoffice (MS Office 文档) - pandoc (EPUB) - 在本地运行时,Unstructured 还建议使用 Docker 通过遵循此 guide to ensure all 正确安装了系统依赖项。
Unstructured API 需要 API 密钥才能发出请求。 您可以 申请一个 API 密钥 今天就开始使用! 查看 Unstructured API README 以开始使用 API 调用。 我们很想听到您的反馈,请在我们的 社区 Slack. 中告诉我们进展如何!并请继续关注质量和性能的改进! 查看 Docker 自托管说明 如果您想自托管 Unstructured API 或在本地运行。
数据加载器
的主要用途是 Unstructured 在数据加载器中。
UnstructuredLoader
查看 使用示例 以了解如何使用 此加载器进行本地和远程分区,以及使用无服务器 Unstructured API。
from langchain_unstructured import UnstructuredLoader