Время от 4 секунд до 2 минут - это конечно много (обычно 0.3 - 1.5 сек). Вряд ли такое может быть на выделенном сервере, даже слабеньком. Часто такое бывает при иcпользовании SQL-запросов в циклах компонентов (GetList, GetByID или GetPath в циклах для формирования списков чего-нибудь). Возможно, стоит подумать о том, чтобы хранить кеш не в файлах и подключить eAccelerator, memcached. Чтобы дать адекватную оценку сайту, надо "пощупать" его вживую, учитывая сложность и специфику конкретных страниц. Если бы Вы показали сам сайт, можно было бы сказать более точно.