Здравствуйте!
Я написал robots.txt под свой сайт. Увы, я не профессионал в вопросах составления подобных вещей, и хотелось бы услышать мнения специалистов, на сколько всё это правильно и адекватно написано? А так же, если есть какие то ошибки, буду благодарен правкам и замечаниям. Конечно же сайт на битриксе.
User-agent: *
Disallow: /bitrix/
Disallow: /files/
Disallow: /iapp/
Disallow: /include/
Disallow: /lj/
Disallow: /my_device/
Disallow: /online/
Disallow: /order/
Disallow: /search/
Disallow: /share/
Disallow: /social/
Disallow: /update/
Sitemap: _http://www.mysite.ru/sitemap.xml.gz
Sitemap: _http://www.mysite.ru/sitemap.xml
User-agent: Yandex
Disallow: /bitrix/
Disallow: /files/
Disallow: /iapp/
Disallow: /include/
Disallow: /lj/
Disallow: /my_device/
Disallow: /online/
Disallow: /order/
Disallow: /search/
Disallow: /share/
Disallow: /social/
Disallow: /update/
Host:
Все страницы сайта по данным я.вебмастера разрешены к индексации.
Так же разрешены все ссылки из сайтмапа созданного с помощью сайтмап генератора.
Я написал robots.txt под свой сайт. Увы, я не профессионал в вопросах составления подобных вещей, и хотелось бы услышать мнения специалистов, на сколько всё это правильно и адекватно написано? А так же, если есть какие то ошибки, буду благодарен правкам и замечаниям. Конечно же сайт на битриксе.
User-agent: *
Disallow: /bitrix/
Disallow: /files/
Disallow: /iapp/
Disallow: /include/
Disallow: /lj/
Disallow: /my_device/
Disallow: /online/
Disallow: /order/
Disallow: /search/
Disallow: /share/
Disallow: /social/
Disallow: /update/
Sitemap: _http://www.mysite.ru/sitemap.xml.gz
Sitemap: _http://www.mysite.ru/sitemap.xml
User-agent: Yandex
Disallow: /bitrix/
Disallow: /files/
Disallow: /iapp/
Disallow: /include/
Disallow: /lj/
Disallow: /my_device/
Disallow: /online/
Disallow: /order/
Disallow: /search/
Disallow: /share/
Disallow: /social/
Disallow: /update/
Host:
Все страницы сайта по данным я.вебмастера разрешены к индексации.
Так же разрешены все ссылки из сайтмапа созданного с помощью сайтмап генератора.