Как составить файл robots.txt вручную (до версии 14.0)?
Если у вас старая версия Битрикса |
Начиная с версии 14.0 файл
robots.txt
Файл robots.txt - служебный файл, расположенный на сайте и содержащий список ограничений для поисковых роботов (ботов). Роботы сначала анализируют инструкции в этом файле и только потом сканируют информацию на страницах сайта.
создаётся
автоматически
Начиная с версии 14.0.0 модуля Поисковая оптимизация файл robots.txt создаётся с помощью специального генератора, который доступен на странице Управление robots.txt (Маркетинг > Поисковая оптимизация > Настройка robots.txt).
. Обычно файл robots.txt используют для того, чтобы запретить что-то на индексацию. Для указания желательных страниц для индексации нужно использовать
sitemap.xml
Google Sitemap - простой инструмент управления доставкой информации о страницах сайта в базу данных поисковой системы Google.
Подробнее...
.
Файл robots.txt должен быть только формата .txt, а в его названии все буквы должны быть нижнего регистра. В этом файле вы можете указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Пустой файл robots.txt означает, что все страницы вашего сайта будут индексироваться поисковыми системами.
При составлении файла используются как минимум следующие директивы Директива - это команда, используемая для описания некоторых конструкций. :
- User-agent - отвечает за то, к какому именно боту будут относиться перечисленные после нее инструкции.
Примечание: с точки зрения SEO лучше использовать обращение сразу ко всем ботам в виде конструкции
User-Agent: *
. - Disallow - указывает какая директория сайта (или конкретная страница) не должна индексироваться.
Если же вы, наоборот, хотите открыть какой-то файл или директорию к индексации, то пользоваться нужно командой Allow.
Чтобы закрыть доступ, например, к внутреннему порталу компании от всех поисковых систем, содержимое файла robots.txt должно быть следующим:
User-agent: * Disallow: /
При составлении файла robots.txt для вашего сайта помните, что все разделы и страницы с личной информацией пользователей, корзины покупателей, переписка пользователей, секретные документы, платный контент, административная часть сайта должны быть закрыты от индексации. Можно воспользоваться примером, доступным в демоверсии "1С-Битрикс: Управление сайтом":
User-agent: * Disallow: /bitrix/ Disallow: /upload/ Disallow: /search/ Allow: /search/map.php Disallow: /club/search/ Disallow: /club/group/search/ Disallow: /club/forum/search/ Disallow: /communication/forum/search/ Disallow: /communication/blog/search.php Disallow: /club/gallery/tags/ Disallow: /examples/my-components/ Disallow: /examples/download/download_private/ Disallow: /auth/ Disallow: /auth.php Disallow: /personal/ Disallow: /communication/forum/user/ Disallow: /e-store/paid/detail.php Disallow: /e-store/affiliates/ Disallow: /club/$ Disallow: /club/messages/ Disallow: /club/log/ Disallow: /content/board/my/ Disallow: /content/links/my/ Disallow: /*/search/ Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*/slide_show/ Disallow: /*/gallery/*order=* Disallow: /*?print= Disallow: /*&print= Disallow: /*register=yes Disallow: /*forgot_password=yes Disallow: /*change_password=yes Disallow: /*login=yes Disallow: /*logout=yes Disallow: /*auth=yes Disallow: /*action=ADD_TO_COMPARE_LIST Disallow: /*action=DELETE_FROM_COMPARE_LIST Disallow: /*action=ADD2BASKET Disallow: /*action=BUY Disallow: /*print_course=Y Disallow: /*bitrix_*= Disallow: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow: /*back_url_admin=* Disallow: /*index.php$
Директива Host используется лишь тогда, когда ваш сайт обладает несколькими зеркалами. Данная директива указывает на главное зеркало веб-ресурса.
После того, как вы составили файл robots.txt, проверьте его, набрав в адресной строке ваш_сайт/robots.txt. Кроме того, проверить файл на валидность можно с помощью сервисов Яндекс.Вебмастер или Google Search Console.
Подробная информация по составлению и использованию файла robots.txt доступна на сайте robotstxt.org.ru.
и Ваше мнение важно для нас