robots.txt et noindex : diagnostiquer les blocages d’exploration et d’indexation

Définir ce que vous voulez contrôler

robots.txt gère l’exploration par les robots qui respectent ses règles. noindex indique aux moteurs compatibles de ne pas indexer une ressource. Google doit pouvoir récupérer une page pour découvrir son noindex ; la bloquer dans robots.txt peut l’en empêcher. Aucun de ces mécanismes ne protège les données privées : utilisez l’authentification pour les contenus restreints.

Tester une règle robots ciblée

Cet exemple interdit /drafts/ mais autorise le chemin plus précis /drafts/public/. Remplacez l’adresse du sitemap par la vôtre. Il s’agit d’une démonstration des règles, pas d’une recommandation de publier des brouillons confidentiels. Les règles s’appliquent à un protocole, un hôte et un port déterminés.

User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml

Lire la règle correspondante dans le rapport

Soumettez l’URL complète de la page, ouvrez robots.txt et examinez le résultat pour Googlebot ou Bingbot, la directive correspondante et sa ligne d’origine. Testez /drafts/private-page et /drafts/public/page. Vérifier la page d’accueil ne dit pas si une URL plus profonde est autorisée.

Le service simule les règles pour l’URL soumise. Il ne simule ni les caches des robots ni leurs politiques en cas d’erreur HTTP. Une réponse robots indisponible ou incomplète donne un résultat inconnu. L’URL finale après redirection peut relever d’autres règles.

Examiner noindex séparément

Dans la section d’indexabilité, comparez les directives robots du HTML avec X-Robots-Tag et les valeurs propres à chaque robot. noindex doit figurer dans une balise meta HTML ou un en-tête HTTP pris en charge, pas dans une directive robots.txt pour Google. Le vérificateur lit le HTML reçu sans exécuter JavaScript.

Ne supprimez pas une restriction sans comprendre sa raison d’être. Testez une page publique destinée à la recherche, pas un compte ou un document privé. Sauvegardez l’ancienne règle et vérifiez à nouveau la même URL après modification.

Confirmer avec les données du moteur de recherche

Une exploration autorisée et l’absence de noindex détecté ne prouvent pas qu’une page soit indexée. Utilisez l’inspection d’URL de Search Console pour une propriété que vous contrôlez et comparez la page récupérée avec la réponse publique. Relancer notre rapport ne demande pas l’indexation.

L’exemple a été testé avec l’évaluateur de règles du service : le chemin privé est interdit et l’exception publique autorisée pour les deux robots pris en charge. C’est un test de l’analyseur, pas une visite réelle de Googlebot.