safha — كاشط المحتوى العربي

أداة لجمع وتنظيف المحتوى العربي من الويب لتجهيز بيانات التدريب.

الأوامر

كشط صفحة

safha scrape URL

يجمع المحتوى العربي ويحفظه بصيغة JSONL.

كشط sitemap كامل

safha sitemap URL

يكشط جميع الروابط بالتوازي مع rate limiting.