Здравствуйте!
Хочу посоветоваться - какой состав файла robots.txt ОПТИМАЛЕН для нашего (Битрикс) сайта с точки зрения оптимального контента для поисковиков. Мне в наследство (от предыдущего админа сайта) достался такой вот файлик:
User-agent: *
Disallow: /search/
Disallow: /bitrix/
Disallow: /admin/
Disallow: /upload/
Disallow: /img/
Disallow: /catalog/xxx/section.php?SHOWALL
Disallow: /catalog/xxx/section.php?PAGEN
Host: www.xxx-shop.ru
Все ли здесь верно, или есть смысл что-то подправить?
Хочу посоветоваться - какой состав файла robots.txt ОПТИМАЛЕН для нашего (Битрикс) сайта с точки зрения оптимального контента для поисковиков. Мне в наследство (от предыдущего админа сайта) достался такой вот файлик:
User-agent: *
Disallow: /search/
Disallow: /bitrix/
Disallow: /admin/
Disallow: /upload/
Disallow: /img/
Disallow: /catalog/xxx/section.php?SHOWALL
Disallow: /catalog/xxx/section.php?PAGEN
Host: www.xxx-shop.ru
Все ли здесь верно, или есть смысл что-то подправить?