robots.txt und noindex: Crawling- und Indexierungssperren prüfen

Festlegen, was Sie steuern möchten

robots.txt steuert das Crawling durch Bots, die diese Regeln beachten. noindex weist unterstützende Suchmaschinen an, eine Ressource nicht zu indexieren. Google muss eine Seite abrufen können, um noindex zu erkennen; eine Sperre in robots.txt kann das verhindern. Keiner der Mechanismen schützt private Daten: Verwenden Sie Authentifizierung für eingeschränkte Inhalte.

Eine gezielte robots-Regel testen

Dieses Beispiel sperrt /drafts/, erlaubt aber den spezifischeren Pfad /drafts/public/. Ersetzen Sie die Sitemap-Adresse durch Ihre eigene. Es ist eine Regeldemonstration, keine Empfehlung zur Veröffentlichung vertraulicher Entwürfe. Die Regeln gelten für ein bestimmtes Protokoll, einen Host und einen Port.

User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml

Die zutreffende Regel im Bericht lesen

Geben Sie die vollständige Seiten-URL ein, öffnen Sie robots.txt und prüfen Sie das Ergebnis für Googlebot oder Bingbot, die zutreffende Direktive und die Quellzeile. Testen Sie /drafts/private-page und /drafts/public/page. Eine Startseitenprüfung sagt nicht, ob eine tiefer liegende URL erlaubt ist.

Der Dienst simuliert Regeln für die eingegebene URL. Er simuliert weder Crawler-Caches noch deren Verhalten bei HTTP-Fehlern. Eine nicht verfügbare oder unvollständige robots-Antwort ergibt unbekannt. Für die endgültige URL nach einer Weiterleitung können andere Regeln gelten.

noindex separat untersuchen

Vergleichen Sie im Abschnitt zur Indexierbarkeit die robots-Direktiven im HTML mit X-Robots-Tag und crawlerbezogenen Werten. noindex gehört in ein unterstütztes HTML-Metatag oder einen HTTP-Header, nicht in eine Google-robots.txt-Direktive. Der Prüfer liest das zurückgegebene HTML ohne JavaScript-Ausführung.

Entfernen Sie keine Einschränkung, bevor Sie ihren Zweck kennen. Testen Sie eine öffentliche, für die Suche vorgesehene Seite und kein Konto oder privates Dokument. Sichern Sie die alte Regel und prüfen Sie nach der Änderung dieselbe URL erneut.

Mit Suchmaschinendaten bestätigen

Erlaubtes Crawling und kein erkanntes noindex belegen keine Indexierung. Nutzen Sie die URL-Prüfung in Search Console für eine eigene Property und vergleichen Sie die abgerufene Seite mit der öffentlichen Antwort. Eine erneute Prüfung unseres Berichts beantragt keine Indexierung.

Das Beispiel wurde mit der Regelauswertung des Dienstes getestet: Der private Pfad ist gesperrt, die öffentliche Ausnahme für beide unterstützten Bots erlaubt. Dies ist ein Parsertest, kein tatsächlicher Besuch von Googlebot.