robots-txt
Installation
SKILL.md
robots.txt — Guía Técnica SEO
Basado en la especificación RFC 9309 y la implementación oficial de Google. Fuentes: developers.google.com/crawling/docs/robots-txt | support.google.com/merchants
Especificación técnica — Cómo interpreta Google robots.txt
Directivas soportadas por Google
| Directiva | Obligatoria | Descripción |
|---|---|---|
User-agent: |
Sí (≥1 por grupo) | Nombre del bot. Case-insensitive. * = todos excepto AdsBot variants |
Disallow: |
Sí (≥1 por grupo) | Ruta bloqueada. Vacío = allow all |
Allow: |
No | Ruta permitida dentro de un bloque bloqueado |
Sitemap: |
No | URL absoluta del sitemap. Múltiples permitidos |
Crawl-delay: |
No | No procesado por Googlebot (ignorado). Sí por otros bots |