robots.txt і noindex: як знайти блокування

Визначте, що саме обмежуєте

robots.txt керує обходом ботами, які дотримуються правил. noindex указує пошуковим системам, що підтримують цю директиву, не індексувати ресурс. Google має отримати сторінку, щоб побачити noindex; блокування в robots.txt може завадити цьому. Жоден із механізмів не захищає приватні дані: для них потрібна авторизація.

Перевірте вузьке правило robots

Приклад забороняє /drafts/, але дозволяє конкретніший шлях /drafts/public/. Замініть адресу sitemap власною. Це демонстрація правила, а не рекомендація публікувати конфіденційні чернетки. Правила стосуються конкретних протоколу, хоста й порту.

User-agent: *
Disallow: /drafts/
Allow: /drafts/public/
Sitemap: https://example.com/sitemap.xml

Перегляньте правило, що спрацювало

Вкажіть повну адресу сторінки, відкрийте robots.txt та перегляньте результат Googlebot або Bingbot, директиву й номер рядка. Перевірте /drafts/private-page і /drafts/public/page. Перевірка головної не показує дозволу для вкладеної адреси.

Сервіс моделює правила для початкової URL-адреси. Він не моделює кеш ботів або їхню поведінку при HTTP-помилках. Недоступна чи неповна відповідь robots дає невизначений результат. Після редіректу можуть діяти інші правила.

Окремо перевірте noindex

У розділі індексованості порівняйте HTML-директиви robots, X-Robots-Tag та значення для окремих ботів. noindex задають підтримуваним HTML-тегом або HTTP-заголовком, а не директивою robots.txt для Google. Сервіс читає отриманий HTML без виконання JavaScript.

До зняття обмеження з’ясуйте його призначення. Перевіряйте публічну сторінку, призначену для пошуку, а не кабінет чи приватний документ. Збережіть старе правило й після зміни повторіть перевірку тієї самої адреси.

Звіртеся з даними пошукової системи

Дозволений обхід і відсутність виявленого noindex не доводять індексації. Для власного ресурсу використовуйте перевірку URL у Search Console та порівнюйте отриману пошуковиком сторінку з публічною відповіддю. Повтор нашого тесту не є запитом на індексацію.

Приклад перевірено нашим аналізатором: приватний шлях заборонено, публічний виняток дозволено для обох підтримуваних ботів. Це тест аналізатора, а не реальний візит Googlebot.