Начиная с версии 14.0 файл robots.txt Файл robots.txt - служебный файл, расположенный на сайте и содержащий список ограничений для поисковых роботов (ботов). Роботы сначала анализируют инструкции в этом файле и только потом сканируют информацию на страницах сайта. создаётся автоматически Начиная с версии 14.0.0 модуля Поисковая оптимизация файл robots.txt создаётся с помощью специального генератора, который доступен на странице Управление robots.txt (Маркетинг > Поисковая оптимизация > Настройка robots.txt). . Обычно файл robots.txt используют для того, чтобы запретить что-то на индексацию. Для указания желательных страниц для индексации нужно использовать sitemap.xml Google Sitemap - простой инструмент управления доставкой информации о страницах сайта в базу данных поисковой системы Google.

Подробнее... .

Файл robots.txt должен быть только формата .txt, а в его названии все буквы должны быть нижнего регистра. В этом файле вы можете указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Пустой файл robots.txt означает, что все страницы вашего сайта будут индексироваться поисковыми системами.

При составлении файла используются как минимум следующие директивы Директива - это команда, используемая для описания некоторых конструкций. :

• User-agent - отвечает за то, к какому именно боту будут относиться перечисленные после нее инструкции.
  Примечание: с точки зрения SEO лучше использовать обращение сразу ко всем ботам в виде конструкции User-Agent: *.

• Disallow - указывает какая директория сайта (или конкретная страница) не должна индексироваться.

  Если же вы, наоборот, хотите открыть какой-то файл или директорию к индексации, то пользоваться нужно командой Allow.

Чтобы закрыть доступ, например, к внутреннему порталу компании от всех поисковых систем, содержимое файла robots.txt должно быть следующим:

User-agent: *
Disallow: /

При составлении файла robots.txt для вашего сайта помните, что все разделы и страницы с личной информацией пользователей, корзины покупателей, переписка пользователей, секретные документы, платный контент, административная часть сайта должны быть закрыты от индексации. Можно воспользоваться примером, доступным в демоверсии "1С-Битрикс: Управление сайтом":

User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Allow: /search/map.php
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$

Директива Host используется лишь тогда, когда ваш сайт обладает несколькими зеркалами. Данная директива указывает на главное зеркало веб-ресурса.

После того, как вы составили файл robots.txt, проверьте его, набрав в адресной строке ваш_сайт/robots.txt. Кроме того, проверить файл на валидность можно с помощью сервисов Яндекс.Вебмастер или Google Search Console.

Подробная информация по составлению и использованию файла robots.txt доступна на сайте robotstxt.org.ru.