Файл robots.txt - служебный файл, расположенный на сайте и содержащий список ограничений для поисковых роботов (ботов). Роботы сначала анализируют инструкции в этом файле и только потом сканируют информацию на страницах сайта.
В форме Управление robots.txt настройте инструкции индексирования вашего сайта поисковыми роботами.
Подробная информация по созданию файла robots.txt представлена в уроке: