Как правильно написать файл robots.txt для индексации товаров интернет магазина?
|
Как правильно написать файл robots.txt для индексации товаров интернет магазина?
|
|
|
|
|
|
на сайте есть такая папка catalog/compare, и много загружено роботом..
Можно ли прописать - Disallow: /catalog/compare/ Не закроет ли это правило от индексации...просто site.ru/catalog/какой либо товар/.... по анализу робота на яндексе вроде как нет, но всеже, знает кто? |
||||
|
|
|
|||