Добавил как Вы писали в файл robots.txt информацию.
И вот нате, в поиске google пишет
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...
И вот нате, в поиске google пишет
Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...