Как правильно написать файл robots.txt для индексации товаров интернет магазина?
							| Как правильно написать файл robots.txt для индексации товаров интернет магазина? | |
|  |  | 
| на сайте есть такая папка catalog/compare, и много загружено роботом..   Можно ли прописать - Disallow: /catalog/compare/ Не закроет ли это правило от индексации...просто site.ru/catalog/какой либо товар/.... по анализу робота на яндексе вроде как нет, но всеже, знает кто? | ||||
|  |  | |||