на сайте есть такая папка catalog/compare, и много загружено роботом..
Можно ли прописать -
Disallow: /catalog/compare/
Не закроет ли это правило от индексации...просто site.ru/catalog/какой либо товар/.... по анализу робота на яндексе вроде как нет, но всеже, знает кто?
Можно ли прописать -
Disallow: /catalog/compare/
Не закроет ли это правило от индексации...просто site.ru/catalog/какой либо товар/.... по анализу робота на яндексе вроде как нет, но всеже, знает кто?