Чем вредна преждевременная индексация и как ее избежать

Изменение вида URL. Экспериментируя с разными вариантами внешнего вида ссылок, вы рискуете: краулер может проиндексировать тестовый вариант. Придется долго ждать, пока он покинет индекс, и в результатах поиска появятся ссылки на корректно настроенные URL страниц.
Тестирование мобильной версии сайта на адаптивном шаблоне или на самостоятельном поддомене. Поисковые системы могут преждевременно проиндексировать несколько версий сайта, что приведет к ошибкам в индексе.
Последствия индексации в этих случаях будут серьезными. Если вы захотите, например, откатиться к предыдущей версии сайта, придется запастись терпением: поисковые системы уже проиндексировали изменения, и в индекс попадет некорректная версия сайта.
Часто требуется запретить сканирование только определенному краулеру. Для этого необходимо указать его user-agent. Например, чтобы запретить сканирование только поисковому роботу Google, добавьте следующую строку:
Даже если указана запрещающая директива, страница или раздел все равно могут быть проиндексированы. Кроме этого, краулеры поисковых систем могут по-разному интерпретировать синтаксис директив, а сами поисковые системы иногда вообще не поддерживают запрещающие директивы.