Модуль: Поисковая оптимизация (SEO) – версия 14.0.2
В разделе «Сервисы» появился новый пункт «Поисковая оптимизация», в котором собраны возможности по SEO, влияющие на весь сайт:
[spoiler]Разберем раздел «Настройка robots.txt». В данном разделе вы можете управлять, создавать и следить за файлом robots.txt вашего сайта:
Мы продолжаем применять новый функционал на работающем магазине, видим в правой части скриншота содержимое файла robots.txt, который используется в данный момент. Подведя курсор к строке, вы увидите крестик и сможете удалить строку.
Удаляем файл robots.txt, который используется в данный момент, и входим в настройку заново:
У нас нет файла, 1С-Битрикс предлагает нам его создать. Справа у нас есть кнопочки с действиями, которые нам помогут. Давайте разберём их:
«Стартовый набор» - создаст рекомендованный набор от Битрикса для вашего сайта. Во время создания система запросит у вас главное зеркало, для текущего сайта мы будем пользоваться главным зеркалом , стартовый набор создался и отобразился в окне:
«Запретить файл/папку (Disallow)» - если вы хотите дополнить рекомендованный список и точно знаете те файлы и папки, которые нужно закрыть на вашем проекте, вы сможете это сделать через эту кнопку.
Добавим несколько папок и файлов в исключения, для поисковых роботов:
Сохраняем и видим, что в конце списка добавились новые записи:
«Разрешить файл/папку (Allow)» - данная кнопка может добавить определённые файлы или целые папки в индексацию, чтобы робот не забыл туда зайти.
«Главное зеркало (Host)» - нажатие данной кнопки инициирует появление диалога, в котором вы можете гибко указывать главное зеркало вашего сайта. При создании рекомендованного набора, система предлагает указать главное зеркало, но если у вас уже был файл, в котором не было указано главное зеркало сайта, вы сможете его добавить:
«Интервал между запросами (Crawl-delay)» - настройка для слабых хостингов или для магазинов с сотнями тысяч страниц, задаёт интервалы обработки между страницами.
Подробнее можно почитать по ссылке на Яндекс:
«Карта сайта (sitemap)» - вы можете указать путь к файлу карты сайта:
Нажатие на «Сохранить» добавляет запись в файл robots.txt:
Настройки, сделанные на вкладке «Общие правила», действуют для всех поисковых систем (ботов).
Но вы можете задать определённые правила для определённых поисковых систем и их ботов, например Яндекса:
На скриншоте показан список ботов, для которых вы можете задавать специальные правила, разбирать подробно этот момент мы не будем, можно почитать документацию, указанную внизу страницы:
Вы можете дописать нужные команды и строки вручную, перейдя на вкладку «Редактировать»:
Все изменения или настройки, которые мы осуществляли, делались только на экране и не были записаны в файл. Мы внесли все нужные изменения, жмём на «Сохранить», и у нас создаётся файл со всеми настройками:
Набрав в браузере: вы должны увидеть файл, который вы сохранили:
На момент публикации данной статьи обновление находится в статусе beta. Отследить статус обновления можете на странице .
Спасибо, ждём вопросов и замечаний по новому функционалу.
Старый способ работал на основе модуля поиска. А этот как? Обходит страницы и инфоблоки? Как актуализируется карта? Нужен ли крон?
Учитывает ли карта сайта закрытые ссылки в robots.txt?
Но если вы уверены, что на вашем проекте нужно другое поведение, всегда можно отредактировать рекомендованные значения.
Ответ техподдержки:
Как временное решение, можно прописать все в одном регистре, в яндекс веб мастере.
Как только вопрос будет решен, в данное обращение придет автоматическое уведомление с результатами решения.
как ее убрать?
Просто ищем хоть какую-то причину, почему в интернет-магазине () за год существования Яндекс никак не хочет индексировать изображения товаров (индекс страниц - в норме).
Там как раз и стоит
Директивы Allow-Disallow без параметров
Отсутствие параметров у директивы трактуется следующим образом:
User-agent: Yandex Disallow: # то же, что и Allow: /