Хочу посоветоваться - какой состав файла robots.txt ОПТИМАЛЕН для нашего (Битрикс) сайта с точки зрения оптимального контента для поисковиков. Мне в наследство (от предыдущего админа сайта) достался такой вот файлик:
А мне вот не ясно, что означают строки: Disallow: /catalog/xxx/section.php?SHOWALL Disallow: /catalog/xxx/section.php?PAGEN Это что-то нужно либо можно удалить из robots.txt ?
Ivan Froloff пишет: А мне вот не ясно, что означают строки: Disallow: /catalog/xxx/section.php?SHOWALL Disallow: /catalog/xxx/section.php?PAGEN
Эти строки говорят поисковику не индексировать данные URL (вместо xxx как понимаю что-то реальное). Индексировать их запретили по простой причине - чтобы поисковик не трогал данные страницы, которые отвечают за вывод всего каталога. Как правило на страницах /catalog/xxx/section.php?SHOWALL очень много контента, но который понятно встречается и на других страницах (при постраничной навигации).
На мой взгляд полезно указать Disallow: *print=Y чтобы не индексировать страницы, подготовленные для печати. Эти страницы по релевантности конкурируют с основным текстом, а там нет навигации.