Форум

Это однозначно проблема кеша. Кеш не обязательно в компонентах на страницах, кеш может быть и на других функциях, которые выполняются на каждом хите, например, в /bitrix/php_interface/init.php . Если под авторизованным и неавторизованным пользователем одинаково высокое время загрузки, значит кеш компонентов учитывает группы пользователей - эта опция должна использоваться только если у вас разный контент (цены, например) для разных групп пользователей.
Полистал несколько страниц на вашем сайте, у вас почему-то очень нестабильное время генерации страниц. При одних запросах 0.15 с, при последующих было 1.5 с и даже 4.5 с. Может быть у вас на хостинге проблемы или на хитах агенты выполняются?

Вы чем замеряете скорость и не путаете ли кеш битрикса и кеш браузера? Может быть вы в браузере смотрите и у вас долго страницы грузятся из-за картинок? Картинки могут быть тяжелые, несколько мб весить и при первом запросе они скачиваются и сохраняются в кеш браузера. При последующих запросах они уже не скачиваются с сайта, а берутся из кеша браузера.