Видеоурок

  Создание файла robots.txt

Начиная с версии 14.0.0 модуля Поисковая оптимизация, вам больше не потребуется создавать вручную файл robots.txt для вашего сайта. Теперь его создание можно выполнять с помощью специального генератора, который доступен на странице Управление robots.txt (Маркетинг > Поисковая оптимизация > Настройка robots.txt). Форма, представленная на данной странице, позволяет создать, управлять и следить за файлом robots.txt вашего сайта.

Если на сайте уже используется файл robots.txt, то в форме будет отображено его содержимое. Любая из инструкций (кроме User-Agent: *) может быть удалена, если навести на нее курсор мыши и нажать на "крестик". Если же файла robots.txt нет, то в системе будет выведено соответствующее предупреждение:

Примечание: если в системе несколько сайтов, то с помощью кнопки контекстной панели не забывайте переключаться к нужному сайту , для которого необходимо просмотреть/создать файл robots.txt.

На вкладке Общие правила создаются инструкции, которые действуют для всех поисковых систем (ботов). Генерация необходимых правил осуществляется с помощью кнопок:

• Стартовый набор - создается базовый рекомендованный набор правил. Во время создания система запросит главное зеркало сайта. Укажите его и стартовый набор отобразится в окне .
• Запретить файл/папку (Disallow) - позволяет дополнить рекомендованный список правил инструкциями, запрещающими индексировать тот или иной файл/папку. При нажатии на кнопку открывается окно, в котором отображаются уже существующие запрещающие инструкции. Добавим, например, еще пару папок , которые не должны индексироваться и нажимаем Сохранить. В конце списка файла добавились новые правила .
Примечание: Запретить индексацию всего сайта можно указав Disallow: / .
• Разрешить файл/папку (Allow) - позволяет добавить инструкции, показывающие, что тот или иной файл/папка должен быть проиндексирован. Правила задаются аналогично правилам запрета.
• Главное зеркало (Host) - служит для указания адреса главного зеркала сайта Обратите внимание, что при создании базового набора правил система уже запрашивала главное зеркало. Но если файл robots.txt был создан ранее и в нем не было указано зеркало, то с помощью данной кнопки вы можете его добавить. . Если зеркало доступно только по защищенному каналу, то необходимо отметить опцию https.
• Интервал между запросами (Crawl-delay) - служит для настройки временного интервала между запросами к страницам сайта. Данную настройку удобно использовать, например, в условиях низкой производительности, большой нагрузки на сервер.
• Карта сайта (sitemap) - позволяет указать путь к файлу карты сайта. Нажатие на кнопку Сохранить добавляет запись в файл.

На вкладках Яндекс и Google настраиваются правила для ботов Яндекса и Google соответственно. Специальные правила для конкретных ботов настраиваются аналогично общим правилам, для них не задается только базовый набор правил и путь к файлу карты сайта. Кроме того, с помощью ссылок, доступных внизу формы, вы можете ознакомиться с документацией Яндекса и Google по использованию файла robots.txt.

Если необходимо дописать инструкции в файл robots.txt вручную, то это можно выполнить на вкладке Редактировать:

Все вносимые изменения инструкций отображаются только в форме без записи в файл. Когда все правила внесены, нажмите кнопку Сохранить. Файл robots.txt создастся или перезапишется, если он уже существовал.

Набрав в адресной строке браузера http://ваш_сайт/robots.txt вы увидите содержимое только что сохраненного файла.

  Документация по теме

• Управление robots.txt