Проблема в общем-то не в Битрикс, но сайтов работающих на 1-С Bitrix тоже касается.
Около двух недель назад начался взрывной рост бото-трафика. Согласно Яндекс метрики, в один день посещаемость выросла более чем в десять раз, в основном за счет прямых заходов, большая часть которых отказные. Так же, ежедневно начали регистрироваться на сайте около 10-15 человек.
Предпринят ряд попыток прикрыть бото-трафик: закрыть доступ по диапазонам IP - адресов Битерика, с которых шел основной поток ботов, настройки капчи, подключения и настройки CloudFlare и т.д. Это помогло, основной поток ботов снизился, однако не совсем, часть ботов CloudFlare – пропускает.
Отчетах Яндекс.Метрики наблюдаю большое количество переходов якобы по ссылкам на сайтах. Все переходы повторяются одинаково, примерно по одному сценарию. Пример из log фала:
[CODE]127.0.0.1 - - [19/Feb/2024:05:26:07 +0000] "GET / HTTP/1.0" 200 174103 "https://dizainexpert.ru/" "Mozilla/5.0 (Linux; arm_64; Android 12; IN2025) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Mobile Safari/537.36"127.0.0.1 - - [19/Feb/2024:05:26:08 +0000] "GET /bitrix/templates/aspro_next/js/setTheme.php?site_id=s1&site_dir=/ HTTP/1.0" 200 29 "https://my-site.ru/" "Mozilla/5.0 (Linux; arm_64; Android 12; IN2025) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Mobile Safari/537.36"
127.0.0.1 - - [19/Feb/2024:05:26:08 +0000] "POST /ajax/basket_fly.php HTTP/1.0" 200 13212 "https://my-site.ru/" "Mozilla/5.0 (Linux; arm_64; Android 12; IN2025) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Mobile Safari/537.36"
127.0.0.1 - - [19/Feb/2024:05:26:09 +0000] "POST /bitrix/tools/conversion/ajax_counter.php HTTP/1.0" 200 2 "https://my-site.ru/" "Mozilla/5.0 (Linux; arm_64; Android 12; IN2025) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Mobile Safari/537.36"
127.0.0.1 - - [19/Feb/2024:05:26:25 +0000] "GET / HTTP/1.0" 200 173793 "https://dizainexpert.ru/" "Mozilla/5.0 (Linux; arm_64; Android 12; IN2025) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Mobile Safari/537.36"[/CODE]
О чем могут говорить данные записи из лог файла?
Как закрыть доступ ботам по указанным логам, при этом не навредить естественному трафику?