Спасибо всем кто принимал участие, разобрался, дело было в модуле recapcha3 скачанного из маркетплейса, в нем через событие OnEndBufferContent анализировался выходящий буфер и проводились замены стандартной капчи на recapcha3, видимо не совсем корректно написана регулярка, по этому все ломалось. И, возможно, влияла настройка "Размер стека и pcre.recursion_limit" она влияет на обработку больших строк регулярными выражениями, хотя тест этой настройки пройден успешно.