robots.txt y noindex: diagnosticar bloqueos de rastreo e indexación

Decida qué quiere controlar

robots.txt gestiona el rastreo de los bots que respetan sus reglas. noindex indica a los buscadores compatibles que no indexen un recurso. Google debe poder descargar una página para descubrir su noindex; bloquearla en robots.txt puede impedirlo. Ninguno de estos mecanismos protege datos privados: use autenticación para el contenido restringido.

Pruebe una regla robots específica

Este ejemplo prohíbe /drafts/ pero permite la ruta más específica /drafts/public/. Sustituya la dirección del sitemap por la suya. Es una demostración de reglas, no una recomendación para publicar borradores confidenciales. Las reglas se aplican a un protocolo, host y puerto concretos.

User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml

Lea la regla coincidente en el informe

Envíe la URL completa de la página, abra robots.txt y examine el resultado para Googlebot o Bingbot, la directiva coincidente y su línea de origen. Pruebe /drafts/private-page y /drafts/public/page. Comprobar la página principal no indica si una URL anidada está permitida.

El servicio simula las reglas para la URL enviada. No simula las cachés de los rastreadores ni sus políticas ante errores HTTP. Una respuesta robots no disponible o incompleta produce un resultado desconocido. La URL final tras una redirección puede tener otras reglas.

Examine noindex por separado

En la sección de indexabilidad, compare las directivas robots del HTML con X-Robots-Tag y los valores específicos de cada rastreador. noindex debe estar en una metaetiqueta HTML o un encabezado HTTP compatible, no en una directiva robots.txt para Google. El comprobador lee el HTML recibido sin ejecutar JavaScript.

No elimine una restricción sin averiguar por qué existe. Pruebe una página pública destinada a las búsquedas, no una cuenta ni un documento privado. Guarde la regla anterior y repita la misma URL después del cambio.

Confirme con datos del buscador

Que se permita el rastreo y no se detecte noindex no demuestra que la página esté indexada. Use la inspección de URL en Search Console para una propiedad que controle y compare la página descargada con la respuesta pública. Repetir nuestro informe no solicita la indexación.

El ejemplo se ha probado con el evaluador de reglas del servicio: la ruta privada queda bloqueada y la excepción pública está permitida para ambos bots compatibles. Es una prueba del analizador, no una visita real de Googlebot.