Firecrawl 网页抓取工具

功能说明

• 基于 Firecrawl 资产，提供网页抓取、批量爬取、网页搜索、结构化数据提取与站点 URL 映射等能力。
• 支持单页抓取（scrape）、多页批量抓取（batch scrape）、整站爬取（crawl）、AI 结构化提取（extract）、网页搜索（search）、站点 URL 列表（map）。
• 支持查询任务状态、取消任务、获取错误日志，以及账户额度与 Token 使用情况查询。
• 适合内容研究、竞品监控、知识库构建、SEO 分析、信息聚合等场景。

使用方法

• Step 1：根据用户需求判断使用哪类能力：单 URL 抓取用 scrape；多 URL 用 batch scrape；整站爬取用 crawl；只取链接列表用 map；网页关键词搜索用 search；从页面中按 schema 提取结构化数据用 extract。
• Step 2：通过 clawhive_api_tool 调用对应 endpoint，BaseURL 使用环境变量 API_GATEWAY_BASE_URL，鉴权使用 API_GATEWAY_TOKEN。
• Step 3：异步任务（crawl、batch scrape、extract、agent）需先调用启动接口拿到任务 ID，再轮询对应的 status 接口获取结果，必要时使用 errors 接口获取失败明细。
• Step 4：将抓取结果以 Markdown 或结构化 JSON 形式返回给用户，必要时附上来源 URL 与抓取时间。
• Step 5：如用户要求停止任务，调用对应的 cancel/delete 接口终止任务并反馈结果。