>Apify 是一个用于网页抓取和数据提取的云平台, 它提供 生态系统 包含一千多个 现成应用(称为 *Actors* ),用于各种抓取、爬取和提取场景。
概述
Apify 提供对数千种预构建工具(Actors)的访问,用于网页抓取、数据提取和自动化。 该平台处理基础设施管理,让您专注于数据提取逻辑。
何时使用 Apify
- 访问数千个预构建的 Actors 用于各种平台(社交媒体、电子商务、搜索引擎等)
- 自定义网页抓取和自动化工作流 超越简单搜索
- 灵活的 Actor 生态系统 – 从 Apify Store 运行任何 Actor
此集成使您能够运行 Apify 平台上的 Actors,并将其结果加载到 LangChain 以馈入您的向量 索引中包含来自网络的文档和数据,例如从包含文档的网站生成答案, 博客或知识库。
安装和设置
- - 使用以下命令安装 Python 版 LangChain Apify 包:
pip install langchain-apify
uv add langchain-apify
- 获取您的 Apify API 令牌 并将其设置为 环境变量(APIFY_TOKEN)或在构造函数中将其作为 apify_api_token 传递。
工具
您可以使用 ApifyActorsTool 来在代理中使用 Apify Actors。
from langchain_apify import ApifyActorsTool
请参阅 此笔记本 获取示例用法以及在 Apify LangGraph 代理 Actor 模板中.
有关此工具的更多信息,请访问 Apify 集成文档.
包装器
您可以使用 ApifyWrapper 在 Apify 平台上运行 Actors。
from langchain_apify import ApifyWrapper
有关此包装器的更多信息,请参阅 Apify 集成文档.
用例
- 网页抓取:从网站、社交媒体、电子商务网站提取数据
- 搜索引擎结果:抓取 Google、Bing 和其他搜索引擎
- 数据收集收集结构化数据用于分析和机器学习管道
- 内容聚合:从多个来源收集内容用于 RAG 应用
文档加载器
您也可以使用我们的 ApifyDatasetLoader 从 Apify 数据集获取数据。
from langchain_apify import ApifyDatasetLoader
有关此加载器的更详细演练,请参阅 本笔记本.
定价
Apify 采用按使用量或按事件计费模式,并提供免费套餐。价格因 Actor 而异:
- - 部分 Actor 是免费的(您只需支付平台计算单元费用)
- - 其他 Actor 按结果或事件收费
- 按事件计费(PPE):许多 Actor 支持 PPE 定价,这在您希望获得可预测的基于使用量的成本时非常有用,适用于代理部署
- - 请参阅 Apify 定价 了解更多详情
此集成的源代码可在 LangChain Apify 代码库.
MCP 服务器
不确定使用哪个 Actor 或需要哪些参数? Apify 提供了 MCP(模型上下文协议)服务器 ,可帮助您发现可用的 Actor、浏览其输入模式并了解参数要求。
通过 HTTP 连接到 Apify MCP 服务器时,请在请求头中包含您的 Apify 令牌:
Authorization: Bearer