Google Drive 集成 - 以编程方式使用文档

>Google Drive 是 Google 开发的一项文件存储和同步服务。

本笔记本介绍如何从以下来源加载文档 Google Drive。目前，仅支持 Google Docs 。

前提条件

创建 Google Cloud 项目或使用现有项目
启用 Google Drive API
授权桌面应用凭据
pip install -U google-api-python-client google-auth-httplib2 google-auth-oauthlib

🧑 提取 Google 文档数据的说明

设置环境变量 GOOGLE_APPLICATION_CREDENTIALS 为空字符串 ("").

默认情况下， GoogleDriveLoader 期望 credentials.json 文件位于 ~/.credentials/credentials.json，但可以使用 credentials_path 关键字参数进行配置。同样的情况也适用于 token.json - 默认路径： ~/.credentials/token.json，构造函数参数： token_path.

首次使用 GoogleDriveLoader 时，浏览器中会显示用户身份验证的同意屏幕。身份验证后， token.json 将在提供的路径或默认路径自动创建。此外，如果该路径已存在 token.json 在该路径，则不会提示您进行身份验证。

GoogleDriveLoader 可以从Google Docs文档ID列表或文件夹ID加载。您可以从URL获取文件夹和文档ID：

* Folder: drive.google.com/drive/u/0/folders/1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5 -> 文件夹ID是 "1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5"
* Document: docs.google.com/document/d/1bfaMQ18_i56204VaQDVeAFpqEijJTgvurupdEDiaUQw/edit -> 文档ID是 "1bfaMQ18_i56204VaQDVeAFpqEijJTgvurupdEDiaUQw"

pip install -qU langchain-google-community[drive]

from langchain_google_community import GoogleDriveLoader

loader = GoogleDriveLoader(
    folder_id="1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5",
    token_path="/path/where/you/want/token/to/be/created/google_token.json",
    # Optional: configure whether to recursively fetch files from subfolders. Defaults to False.
    recursive=False,
)

docs = loader.load()

当您传递 folder_id 默认情况下，会加载所有文档、电子表格和PDF类型的文件。您可以通过传递 file_types 参数

loader = GoogleDriveLoader(
    folder_id="1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5",
    file_types=["document", "sheet"],
    recursive=False,
)

传递可选的文件加载器

处理Google Docs和Google Sheets以外的文件时，传递可选的文件加载器可能会有帮助 GoogleDriveLoader。如果您传入文件加载器，则该文件加载器将用于不具备Google Docs或Google Sheets MIME类型的文档。以下是使用文件加载器从Google Drive加载Excel文档的示例。

from langchain_community.document_loaders import UnstructuredFileIOLoader
from langchain_google_community import GoogleDriveLoader

file_id = "1x9WBtFPWMEAdjcJzPScRsjpjQvpSo_kz"
loader = GoogleDriveLoader(
    file_ids=[file_id],
    file_loader_cls=UnstructuredFileIOLoader,
    file_loader_kwargs={"mode": "elements"},
)

docs = loader.load()

docs[0]

You can also process a folder with a mix of files and Google Docs/Sheets using the following pattern:

folder_id = "1asMOHY1BqBS84JcRbOag5LOJac74gpmD"
loader = GoogleDriveLoader(
    folder_id=folder_id,
    file_loader_cls=UnstructuredFileIOLoader,
    file_loader_kwargs={"mode": "elements"},
)

docs = loader.load()

docs[0]

扩展用法

一个外部（非官方）组件可以管理 Google Drive 的复杂性： langchain-googledrive 它与langchain_community.document_loaders.GoogleDriveLoader 兼容，可以替代使用来替代它。

为了与容器兼容，身份验证使用环境变量 ̀GOOGLE_ACCOUNT_FILE 指向凭证文件（用于用户或服务）。

pip install -qU  langchain-googledrive

folder_id = "root"
# folder_id='1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5'

# Use the advanced version.
from langchain_googledrive.document_loaders import GoogleDriveLoader

loader = GoogleDriveLoader(
    folder_id=folder_id,
    recursive=False,
    num_results=2,  # Maximum number of file to load
)

默认情况下，所有具有这些 mime 类型的文件都可以转换为 Document. * text/text * text/plain * text/html * text/csv * text/markdown * image/png * image/jpeg * application/epub+zip * application/pdf * application/rtf * application/vnd.google-apps.document (GDoc) * application/vnd.google-apps.presentation (GSlide) * application/vnd.google-apps.spreadsheet (GSheet) * application/vnd.google.colaboratory (Notebook colab) * application/vnd.openxmlformats-officedocument.presentationml.presentation (PPTX) * application/vnd.openxmlformats-officedocument.wordprocessingml.document (DOCX)

可以更新或自定义此项。请参阅 GDriveLoader.

必须安装相应的包。

pip install -qU  unstructured

for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")

正在加载身份验证身份

Google Drive Loader 摄取的每个文件的授权身份可以与每个文档的元数据一起加载。

from langchain_google_community import GoogleDriveLoader

loader = GoogleDriveLoader(
    folder_id=folder_id,
    load_auth=True,
    # Optional: configure whether to load authorized identities for each Document.
)

doc = loader.load()

您可以传递加载_auth=True，用于将 Google Drive 文档访问身份添加到元数据。

doc[0].metadata

正在加载扩展元数据

以下额外字段也可以在每个文档的元数据中获取：

* 完整_path - Full path of the file/s in google drive.
* owner - owner of the file/s.
* size - size of the file/s.

from langchain_google_community import GoogleDriveLoader

loader = GoogleDriveLoader(
    folder_id=folder_id,
    load_extended_matadata=True,
    # Optional: configure whether to load extended metadata for each Document.
)

doc = loader.load()

您可以传递 load_扩展_matadata=True，用于将 Google Drive 文档扩展详情添加到元数据。

doc[0].metadata

自定义搜索模式

所有与 Google 兼容的参数 list() 可以设置 API。

要指定 Google 请求的新模式，您可以使用 PromptTemplate(). 提示语的变量可以使用 kwargs 在构造函数中设置。提供了一些预格式化的请求（使用 {query}, {folder_id} and/or {mime_type}):

您可以自定义选择文件的标准。提供了预定义的过滤器集：

模板	描述
gdrive-all-in-folder	从一个文件夹返回所有兼容文件 `folder_id`
gdrive-query	搜索 `query` 在所有驱动器中
gdrive-by-name	按名称搜索文件 `query`
gdrive-query-in-folder	搜索 `query` in `folder_id` （以及子文件夹（如果） `recursive=true`)
gdrive-mime-type	搜索特定 `mime_type`
gdrive-mime-type-in-folder	在文件夹中搜索特定 `mime_type` in `folder_id`
gdrive-query-with-mime-type	搜索 `query` 使用特定 `mime_type`
gdrive-query-with-mime-type-and-folder	搜索 `query` 使用特定 `mime_type` 并在 `folder_id`

loader = GoogleDriveLoader(
    folder_id=folder_id,
    recursive=False,
    template="gdrive-query",  # Default template to use
    query="machine learning",
    num_results=2,  # Maximum number of file to load
    supportsAllDrives=False,  # GDrive `list()` parameter
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")

您可以自定义您的模式。

from langchain_core.prompts.prompt import PromptTemplate

loader = GoogleDriveLoader(
    folder_id=folder_id,
    recursive=False,
    template=PromptTemplate(
        input_variables=["query", "query_name"],
        template="fullText contains '{query}' and name contains '{query_name}' and trashed=false",
    ),  # Default template to use
    query="machine learning",
    query_name="ML",
    num_results=2,  # Maximum number of file to load
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")

转换可以以 Markdown 格式管理： * 项目符号 * 链接 * 表格 * 标题

设置属性 return_link to True 以导出链接。

GSlide 和 GSheet 的模式

参数 mode 接受不同的值：

* "document"：返回每个文档的正文
* "snippets"：返回每个文件的描述（设置在 Google Drive 文件的元数据中）。

参数 gslide_mode 接受不同的值：

* "single"：一个带 <PAGE BREAK> 的文档
* "slide"：每个幻灯片一个文档
* "elements"：每个元素一个文档。

loader = GoogleDriveLoader(
    template="gdrive-mime-type",
    mime_type="application/vnd.google-apps.presentation",  # Only GSlide files
    gslide_mode="slide",
    num_results=2,  # Maximum number of file to load
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")

参数 gsheet_mode 接受不同的值： * "single"：每行生成一个文档 * "elements" ：一个带 markdown 数组和 <PAGE BREAK> 标签的文档。

loader = GoogleDriveLoader(
    template="gdrive-mime-type",
    mime_type="application/vnd.google-apps.spreadsheet",  # Only GSheet files
    gsheet_mode="elements",
    num_results=2,  # Maximum number of file to load
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")

高级用法

所有 Google 文件在元数据中都有一个 'description' 字段。该字段可用于记录文档摘要或其他索引标签（参见方法 lazy_update_description_with_summary()).

如果您使用 mode="snippet"，则只有描述将用于正文。否则， metadata['summary'] 具有该字段。

有时，可以使用特定过滤器从文件名中提取信息，以选择具有特定条件的文件。您可以使用过滤器。

有时会返回许多文档。不必同时将所有文档加载到内存中。您可以使用方法的延迟版本，一次获取一个文档。最好使用复杂查询代替递归搜索。对于每个文件夹，如果激活 recursive=True.

loader = GoogleDriveLoader(
    gdrive_api_file=os.environ["GOOGLE_ACCOUNT_FILE"],
    num_results=2,
    template="gdrive-query",
    filter=lambda search, file: "#test" not in file.get("description", ""),
    query="machine learning",
    supportsAllDrives=False,
)
for doc in loader.load():
    print("---")
    print(doc.page_content.strip()[:60] + "...")