На проекте 7000+ товаров, распределенных в структуре с 2-мя уровнями разделов: Раздел (бренд) > Подраздел (коллекция). Каждый товар соотносится одновременно и с Разделом, и с Подразделом.
Соответственно, возникает масса дублей страниц (как товаров, так и их листинга). Как известно, Google не имеет никакой совести при работе с robots.txt, нагло добавляя в индекс заблокированные страницы, поэтому остро встал вопрос в какой-то реализации noindex,nofollow для подразделов и их элементов.
Как я понял, META ROBOTS вызывается через ShowHead(), который достаточно непрозрачно модифицируется. Буду благодарен за совет.
Это решает вопрос для страниц с карточкой товара, но не листингов товаров - все страницы товаров G-SHOCK содержатся так же в страницах товаров Casio. Нельзя задать канонический url для подраздела, значит его нужно запрещать. Кроме того, мне кажется noindex побыстрее подействует на выдачу.
Своим решением доволен, считаю, что в Битрикс можно расширить функционал по индексации.
нет, не пользовался. сейчас специально попользовался. Он понимает дублированный контент по частоте слов на странице. причем любых слов. поэтому для ИМ большую часть страниц он все равно выдаст в дублированные. вот у нас например блузка встречается в разделах - блузки женские, распродажа, новая коллекция - и все, для него это уже дубль. реализация кривая. поисковые боты работают не так