>ScrapeGraph AI 是一项提供 AI 驱动网页抓取功能的服务。 >它提供用于提取结构化数据、将网页转换为 markdown 格式以及处理本地 HTML 内容的工具 >使用自然语言提示。

安装和设置

安装所需的包：

pip install langchain-scrapegraph

uv add langchain-scrapegraph

设置您的 API 密钥：

工具

请参阅 使用示例.

有四种可用工具：

from langchain_scrapegraph.tools import (
    SmartScraperTool,    # Extract structured data from websites
    SmartCrawlerTool,    # Extract data from multiple pages with crawling
    MarkdownifyTool,     # Convert webpages to markdown
    AgenticScraperTool,  # Extract specifying steps
    GetCreditsTool,      # Check remaining API credits
)

每种工具都有特定的用途：

• - SmartScraperTool：根据 URL、提示词和可选的输出模式从网站提取结构化数据
• - SmartCrawlerTool：使用深度控制、页面限制和域限制等高级爬取选项从多个页面提取数据
• - MarkdownifyTool：将任何网页转换为干净的 markdown 格式
• - AgenticScraperTool：提取指定步骤
• - GetCreditsTool：检查您剩余的 ScrapeGraph AI 积分