web-fetch
Installation
SKILL.md
Web Fetch Skill
使用无头浏览器(Playwright + Stealth Plugin)抓取指定 URL 的网页内容,并自动转换为 Markdown 格式以便于阅读和进一步处理。
主要特性
- 反爬虫绕过: 集成了
playwright-extra和puppeteer-extra-plugin-stealth,自动处理各种浏览器指纹和自动化特征检测。 - 内容转换: 使用
turndown库将复杂的 HTML 页面转换为简洁的 Markdown 格式。 - 环境模拟: 模拟真实用户视口大小和无头浏览器配置。
使用方法
运行抓取脚本:
cd /Users/wuwei/.openclaw/workspace/skills/web-fetch/scripts
node fetch.js <url>