C 1 сентября Google прекратит поддерживать директиву noindex в файле robots.txt. Так сказано в официальных новостях Google:

Уже сейчас вебмастера заметили, что Search Console Google появились оповещения о прекращении поддержки ‘noindex’ в robots.txt. Уведомление в панели выглядит следующим образом:

Если вы так же получили такое уведомление, вам следует удалить не поддерживаемую директиву в noindex в файле robots.txt. В качестве альтернативы, владельцам сайтов, вебмастерам и оптимизаторам, использующим директиву noindex в robots.txt предлагают несколько вариантов:

1. Коды ответа сервера (например: 404 и 410);
2. Директива Disalow в файле robots.txt;
3. Search Console и его возможность удалить страницу;
4. Тег ‘Noindex’ в метаданных robots продолжает поддерживаться Google;
5. Другие способы: скрытый контент под паролем.

Вся обновленная спецификации файла robots.txt доступна в  официальном документе справочных материалов для разработчиков Google.

Агентство IQAD

Создание и продвижение сайтов