Что такое noindex и метатег robots?

Метатег robots — это строка <meta name="robots" content="…"> в блоке <head> страницы, содержащая инструкции для роботов поисковых систем. Значение noindex означает «не показывать эту страницу в результатах поиска». Такую же инструкцию для не-HTML файлов можно передать с помощью HTTP-заголовка X-Robots-Tag. Директива nofollow просит роботов не переходить по ссылкам на странице.

#Почему это важно

Правильное использование noindex поддерживает индекс в чистоте: страницы благодарности, результаты внутреннего поиска и пустые категории не попадают в выдачу. Однако если оставить этот тег по ошибке, он незаметно удалит важные страницы из индекса. Чаще всего это происходит, когда настройки тестового окружения (staging) или плагина попадают на основной сайт.

#Где это встречается в SEOAsist

В разделе Здоровье страницы с noindex в метатеге robots отмечаются как Страницы с меткой noindex с уровнем важности Серьезная. Если страница скрыта от индексации намеренно, отметьте её как Намерено на панели проблемы; в противном случае, если подключены Site API, плагин для WordPress или Pixel, функция Автоисправление поможет его удалить. Подробнее: Принятие проблем как намеренных и их автоисправление. Чтобы проверить, проиндексировал ли Google страницу на самом деле, используйте Здоровье → Доступность → Статус индексации.

#Пример

<!-- Страница результатов внутреннего поиска: не индексировать, но переходить по ссылкам -->
<meta name="robots" content="noindex, follow">

#Частые ошибки

• Перенос noindex для всего сайта из тестовой среды в продакшн.
• Блокировка страницы в robots.txt с одновременным добавлением noindex: Google не может просканировать страницу, поэтому так и не узнает о директиве noindex.
• Указание страницы с noindex в карте сайта (sitemap) или направление на нее канонического адреса (canonical): эти сигналы противоречат друг другу.