Документация для разработчиков

Управление robots.txt

В этом разделе

  • Контекстная панель
  • Поля формы
  • Закладка "Общие правила"
  • Закладка "Яндекс"
  • Закладка "Google"
  • Закладка "Редактировать"
  • Кнопки управления
  • На странице Управление robots.txt (Маркетинг > Поисковая оптимизация > Настройка robots.txt) представлена форма, позволяющая сгенерерировать файл robots.txt.

    Контекстная панель

    Кнопка Описание
    <название_сайта> Выбор сайта, для которого должен быть составлен файл robots.txt.

    Поля формы

    Закладка "Общие правила"

    Данная вкладка служит для указания общих правил для индексирования сайта поисковыми системами. В поле отображается текущий набор инструкций. Любая из инструкций (кроме User-Agent: *) может быть удалена, если навести на нее курсор мыши и нажать на "крестик". Для генерации инструкций необходимо воспользоваться кнопками, расположенными рядом с полем.

    Кнопка Описание
    Стартовый набор Позволяет задать набор стандартных правил и ограничений (закрываются от индексации административные страницы, личные данные пользователя, отладочная информация).
    Если часть стандартного набора уже задана, то будут добавлены только необходимые отсутствующие инструкции.
    Запретить файл/папку (Disallow) Позволяет составить инструкции, запрещающие индексировать файлы и папки по маске пути.
    При нажатии на кнопку открывается форма со списком уже имеющихся инструкций запрета индексации. В открывшейся форме кнопка [...] позволяет выбрать файлы или папки, которые индексировать не нужно.
    Разрешить файл/папку (Allow)Позволяет указать файлы и папки, разрешенные для индексации.
    При нажатии на кнопку открывается форма со списком путей к файлам и папкам, разрешенных для индексации. В открывшейся форме кнопка [...] позволяет выбрать файлы или папки, которые должны быть проиндексированы.
    Главное зеркало (Host)Позволяет задать адрес главного зеркала сайта. Главное зеркало необходимо обязательно указывать, если сайт обладает несколькими зеркалами.
    Интервал между запросами (Crawl-delay) Служит для указания минимального временного интервала (в сек.) между запросами поискового робота.
    Карта сайта Позволяет задать ссылку к файлу карты сайта sitemap.xml.

    Закладка "Яндекс"

    Настройка правил и ограничений для роботов Яндекса. Настройку можно выполнить как сразу для всех роботов Яндекса (вкладка "Yandex"), так и каждого в отдельности (на вкладке с соответствующим названием робота). Внешний вид вкладок одинаков и содержит следующий набор кнопок для генерации инструкций:

    Кнопка Описание
    Запретить файл/папку (Disallow) Позволяет составить инструкции, запрещающие индексировать файлы и папки по маске пути.
    При нажатии на кнопку открывается форма со списком уже имеющихся инструкций запрета индексации. В открывшейся форме кнопка [...] позволяет выбрать файлы или папки, которые индексировать не нужно.
    Разрешить файл/папку (Allow)Позволяет указать файлы и папки, разрешенные для индексации.
    При нажатии на кнопку открывается форма со списком путей к файлам и папкам, разрешенных для индексации. В открывшейся форме кнопка [...] позволяет выбрать файлы или папки, которые должны быть проиндексированы.
    Главное зеркало (Host)Позволяет задать адрес главного зеркала сайта. Главное зеркало необходимо обязательно указывать, если сайт обладает несколькими зеркалами.

    Важно! Для каждого файла robots.txt обрабатывается только одна директива Host.

    Интервал между запросами (Crawl-delay) Служит для указания минимального временного интервала (в сек.) между запросами поискового робота.

    Закладка "Google"

    Настройка правил и ограничений для роботов Google. Настройка выполняется для каждого робота в отдельности (на вкладке с соответствующим названием робота). Внешний вид вкладок одинаков и содержит следующий набор кнопок для генерации инструкций:

    Кнопка Описание
    Запретить файл/папку (Disallow) Позволяет составить инструкции, запрещающие индексировать файлы и папки по маске пути.
    При нажатии на кнопку открывается форма со списком уже имеющихся инструкций запрета индексации. В открывшейся форме кнопка [...] позволяет выбрать файлы или папки, которые индексировать не нужно.
    Разрешить файл/папку (Allow)Позволяет указать файлы и папки, разрешенные для индексации.
    При нажатии на кнопку открывается форма со списком путей к файлам и папкам, разрешенных для индексации. В открывшейся форме кнопка [...] позволяет выбрать файлы или папки, которые должны быть проиндексированы.
    Главное зеркало (Host)Позволяет задать адрес главного зеркала сайта. Главное зеркало необходимо обязательно указывать, если сайт обладает несколькими зеркалами.

    Важно! Для каждого файла robots.txt обрабатывается только одна директива Host.

    Закладка "Редактировать"

    На данной вкладке представлено текстовое поле, в котором можно вручную отредактировать содержимое файла robots.txt.

    Кнопки управления

    КнопкаОписание
    Сохранить Сохранение внесённых данных в файл robots.txt.

    Смотрите также:



    © «Битрикс», 2001-2020, «1С-Битрикс», 2020
    Наверх