以编程方式使用文档

>Apify 是一个用于网页抓取和数据提取的云平台, 它提供 生态系统 包含一千多个 现成应用(称为 *Actors* ),用于各种抓取、爬取和提取场景。

概述

Apify 提供对数千种预构建工具(Actors)的访问,用于网页抓取、数据提取和自动化。 该平台处理基础设施管理,让您专注于数据提取逻辑。

何时使用 Apify

  • 访问数千个预构建的 Actors 用于各种平台(社交媒体、电子商务、搜索引擎等)
  • 自定义网页抓取和自动化工作流 超越简单搜索
  • 灵活的 Actor 生态系统 – 从 Apify Store 运行任何 Actor

此集成使您能够运行 Apify 平台上的 Actors,并将其结果加载到 LangChain 以馈入您的向量 索引中包含来自网络的文档和数据,例如从包含文档的网站生成答案, 博客或知识库。

安装和设置

  • - 使用以下命令安装 Python 版 LangChain Apify 包:
pip install langchain-apify
uv add langchain-apify

- 获取您的 Apify API 令牌 并将其设置为 环境变量(APIFY_TOKEN)或在构造函数中将其作为 apify_api_token 传递。

工具

您可以使用 ApifyActorsTool 来在代理中使用 Apify Actors。

from langchain_apify import ApifyActorsTool

请参阅 此笔记本 获取示例用法以及在 Apify LangGraph 代理 Actor 模板中.

有关此工具的更多信息,请访问 Apify 集成文档.

包装器

您可以使用 ApifyWrapper 在 Apify 平台上运行 Actors。

from langchain_apify import ApifyWrapper

有关此包装器的更多信息,请参阅 Apify 集成文档.

用例

  • 网页抓取:从网站、社交媒体、电子商务网站提取数据
  • 搜索引擎结果:抓取 Google、Bing 和其他搜索引擎
  • 数据收集收集结构化数据用于分析和机器学习管道
  • 内容聚合:从多个来源收集内容用于 RAG 应用

文档加载器

您也可以使用我们的 ApifyDatasetLoader 从 Apify 数据集获取数据。

from langchain_apify import ApifyDatasetLoader

有关此加载器的更详细演练,请参阅 本笔记本.

定价

Apify 采用按使用量或按事件计费模式,并提供免费套餐。价格因 Actor 而异:

  • - 部分 Actor 是免费的(您只需支付平台计算单元费用)
  • - 其他 Actor 按结果或事件收费
  • 按事件计费(PPE):许多 Actor 支持 PPE 定价,这在您希望获得可预测的基于使用量的成本时非常有用,适用于代理部署
  • - 请参阅 Apify 定价 了解更多详情

此集成的源代码可在 LangChain Apify 代码库.

MCP 服务器

不确定使用哪个 Actor 或需要哪些参数? Apify 提供了 MCP(模型上下文协议)服务器 ,可帮助您发现可用的 Actor、浏览其输入模式并了解参数要求。

通过 HTTP 连接到 Apify MCP 服务器时,请在请求头中包含您的 Apify 令牌:

Authorization: Bearer