crawl4ai-seo

SEO-краулер для аудита сайтов и конкурентного анализа. Отвечает на вопрос: "что реально лежит на страницах и как сайт устроен изнутри".

Не заменяет SERP-инструменты (позиции, видимость) — дополняет их данными о содержимом и структуре страниц.

Что умеет

Задача	Описание
Site inventory	Полная инвентаризация страниц: URL, status, title, H1, meta, canonical, word count
On-page audit	Поиск проблем: пустые title/H1, дубли заголовков, битые canonical, thin content
Internal linking audit	Граф внутренних ссылок, orphan pages (0 входящих), слабо связанные страницы
Navigation audit	Breadcrumbs, nav-блоки, menu consistency, hub-страницы без исходящих ссылок
Landing comparison	Сравнение shortlist URL по on-page сигналам (title, H1, content, links)
Competitor research	Прогон страниц конкурентов через тот же pipeline, сравнение шаблонов