ScraperAPI 通过其网页抓取 API 从任何公共网站收集数据，无需担心代理、浏览器或 CAPTCHA 处理。 langchain-scraperapi 封装了此服务，使 AI 代理能够轻松浏览网页并抓取数据。

安装和设置

pip install langchain-scraperapi

uv add langchain-scraperapi

从以下获取 API 密钥 ScraperAPI 并将其设置为环境变量：

os.environ["SCRAPERAPI_API_KEY"] = "your-api-key"

工具

该包提供 3 个工具，分别用于抓取任何网站、获取结构化的 Google 搜索结果和获取结构化的 Amazon 搜索结果。

查看每个工具的详细文档： - ScraperAPITool - 浏览和抓取任何网站 - ScraperAPIGoogleSearchTool - 获取结构化的 Google 搜索 SERP 数据 - ScraperAPIAmazonSearchTool - 获取结构化的 Amazon 产品搜索数据

有关更详细的操作指南，请参阅 官方仓库.