Web Scraper

触发条件

• 从用户指定的公开网页提取结构化记录。
• 为重复采集设计分页、去重、增量更新和失败恢复。
• 调查页面结构变化导致的字段缺失或重复数据。
• 页面依赖 JavaScript 时，使用可用浏览器工具观察真实加载过程。

单次事实查找优先使用搜索；已有官方 API 时先评估 API。 只需要浏览器交互时，使用宿主浏览器能力或对应浏览器技能。

采集合同

先明确来源、字段、输出格式、数量范围和更新频率。 指定唯一键、时间字段的时区、价格的币种以及空值含义。 记录页面访问时间与数据自身的发布时间，避免混淆。 现有登录态仅用于用户授权的数据访问，日志不保存 Cookie。