网页抓取工具选型策略

建立高效的网页数据采集策略，通过合理选择工具最大化抓取成功率和数据质量。

When to use this skill

• 当你需要从不同网站抓取数据但不确定使用哪种工具时
• 面对反爬机制需要绕过的复杂网站抓取场景
• 需要结构化数据输出或快速API级访问时
• 要复用已登录浏览器状态抓取私有数据时

Steps

1. 优先使用opencli进行有适配器的平台抓取
   • 对于小红书、知乎、微博、B站等有官方适配器的平台，使用opencli <platform> <action> --limit <number> -f json
   • 例如：opencli xiaohongshu search "关键词" --limit 3 -f json
   • 为什么：提供结构化JSON输出，速度快，稳定性高，包含作者、标题、点赞数、发布时间等完整字段