проблема в том, что все товары также могут и всплывать по разным адресам - по базовым правилам битрикса - т.е. catalog / категория / категория / код товара - при этом адреса товаров каждый раз меняются, в зависимости от того, как этот товар найти
и тоже самое с поиском, при использовании поиска по каталогу, товары также отображаются как catalog / категория / категория / код товара
Тут не в robots.txt нужно прописывать, а скорей перенастроить ЧПУ, на последней партнерской конференции я в докладе рассказывал, как такое настраивать, но оно за собой тянет еще несколько вопросов и я планировал сделать в ближайшие пару недель статью, в которой расскажу как такое решать. Статья будет опубликована вот в этом блоге: http://dev.1c-bitrix.ru/community/blogs/product_features/
Все равно сколько у Вас категорий и сколько раз будет дублироваться товар, у него всегда будет постоянная одна ссылка - Получается примерно так: site.com.ua/catalog/element/stend_dlya_promyvki_inzhektorov_sprint_6/
Как совсем избавиться от сочетания /catalog/ и /catalog/element/ в ссылках на сайте я не знаю, спрашивайте у разработчиков столь великой CMS Битрикс, готовой из коробки, за страшные деньги, с кучей глюков, с кучей дублей, с кучей мусора в коде. И с кучей потраченного времени, чтоб привести это чудо в порядок.
У меня 2000 товаров, и менее 100 разделов. Поисковый робот загрузил аж 21000 страниц, исключил 13000. А 8000 страниц это что, я стесняюсь спросить - готовое для использования решение из коробки за 1000USD???? Почему разработчик не избавится от детских болезней - проблемы на страницах со слешом "/" и без, дублирование товаров, нормального адреса без /catalog/, составление нормального robots.txt