robots.txt e noindex: diagnosticar bloqueios de rastreamento e indexação

Decida o que deseja controlar

robots.txt gerencia o rastreamento por bots que respeitam suas regras. noindex instrui mecanismos de busca compatíveis a não indexar um recurso. O Google precisa conseguir buscar uma página para descobrir seu noindex; bloqueá-la em robots.txt pode impedir isso. Nenhum mecanismo protege dados privados: use autenticação para conteúdo restrito.

Teste uma regra robots específica

Este exemplo proíbe /drafts/, mas permite o caminho mais específico /drafts/public/. Substitua o endereço do sitemap pelo seu. É uma demonstração de regras, não uma recomendação para publicar rascunhos confidenciais. As regras se aplicam a um protocolo, host e porta específicos.

User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml

Leia a regra correspondente no relatório

Envie a URL completa da página, abra robots.txt e inspecione o resultado do Googlebot ou Bingbot, a diretiva correspondente e a linha de origem. Teste /drafts/private-page e /drafts/public/page. Verificar a página inicial não informa se uma URL interna é permitida.

O serviço simula regras para a URL enviada. Ele não simula caches dos rastreadores nem políticas de tratamento de erros HTTP. Uma resposta robots indisponível ou incompleta gera resultado desconhecido. A URL final após redirecionamento pode ter outras regras.

Inspecione noindex separadamente

Na seção de indexabilidade, compare as diretivas robots do HTML com X-Robots-Tag e valores específicos de cada rastreador. noindex deve estar em uma metatag HTML ou cabeçalho HTTP compatível, não em uma diretiva robots.txt para o Google. O verificador lê o HTML retornado sem executar JavaScript.

Não remova uma restrição antes de descobrir por que ela existe. Teste uma página pública destinada à busca, não uma conta nem um documento privado. Salve a regra anterior e repita a mesma URL depois da alteração.

Confirme com dados do mecanismo de busca

Rastreamento permitido e ausência de noindex detectado não comprovam que a página esteja indexada. Use a inspeção de URL no Search Console para uma propriedade sob seu controle e compare a página buscada com a resposta pública. Repetir nosso relatório não solicita indexação.

O exemplo foi testado no avaliador de regras do serviço: o caminho privado é proibido e a exceção pública é permitida para ambos os bots compatíveis. É um teste do analisador, não uma visita real do Googlebot.