web-scraper
Installation
SKILL.md
Web Scraper (Crawl4AI)
基于 Crawl4AI 的高性能网页爬虫。Crawl4AI 是 2025 年 GitHub #1 Trending 项目（59k+ Stars），专为 AI Agent 和 LLM 设计。
核心优势
| 特性 | 说明 |
|---|---|
| 🏆 业界标杆 | 59k+ GitHub Stars，Apache-2.0 开源 |
| 💰 完全免费 | 无需任何 API Key |
| 🛡️ 强反爬 | Playwright 浏览器引擎 + stealth 模式 + 随机 UA |
| 🚀 极速 | 异步并发 + 内存自适应调度，比替代方案快 6x |
| 🎯 LLM 优化 | 自动输出干净 Markdown，适合 RAG 和 LLM 消费 |
| 📄 动态页面 | 支持 JavaScript 渲染、无限滚动、SPA |
| 🔧 智能提取 | PruningContentFilter 自动去除噪声内容 |