На проекте 7000+ товаров, распределенных в структуре с 2-мя уровнями разделов: Раздел (бренд) > Подраздел (коллекция). Каждый товар соотносится одновременно и с Разделом, и с Подразделом.
Соответственно, возникает масса дублей страниц (как товаров, так и их листинга). Как известно, Google не имеет никакой совести при работе с robots.txt, нагло добавляя в индекс заблокированные страницы, поэтому остро встал вопрос в какой-то реализации noindex,nofollow для подразделов и их элементов.
Как я понял, META ROBOTS вызывается через ShowHead(), который достаточно непрозрачно модифицируется. Буду благодарен за совет.
Это решает вопрос для страниц с карточкой товара, но не листингов товаров - все страницы товаров G-SHOCK содержатся так же в страницах товаров Casio. Нельзя задать канонический url для подраздела, значит его нужно запрещать. Кроме того, мне кажется noindex побыстрее подействует на выдачу.
Своим решением доволен, считаю, что в Битрикс можно расширить функционал по индексации.
нет, не пользовался. сейчас специально попользовался. Он понимает дублированный контент по частоте слов на странице. причем любых слов. поэтому для ИМ большую часть страниц он все равно выдаст в дублированные. вот у нас например блузка встречается в разделах - блузки женские, распродажа, новая коллекция - и все, для него это уже дубль. реализация кривая. поисковые боты работают не так
К сожалению, никто не знает, как работают поисковые роботы. Вы не переоцениваете интеллектуальность алгоритмов?
1. Мое и не только мое мнение, что блузка в трех разделах - два лишних дубля контента. 2. На других страницах встречаются не числа, а 32 одинаковые ссылки (используйте лучше 4-5 соседних номеров и <<пред след>>)
Боюсь, без модификации meta robots невозможно корректно предоставить данную версию Битрикс для Google. В индекс попало 4.5к страниц, но, боюсь, такими темпами их наберется все 20к (индексирует страницы даже с пустыми get-параметрами).
Скажи пожалуйста, что значит заменить ShowHead() ?? в шаблоне его стереть и вместо него вот это прописать? Заменив строки URL? А по поводу канониклов, они прописываются автоматом на страницы пагинации или на другие параметры, если их добавить к основному URL. Я тоже думал, что только для карточек товара)