Задолбали меня в свое время Боты на сайтах, на всех сайтах... на своих... и на клиентских тоже... Решил проанализировать ситуацию, чтобы найти решение. Но лень - она же двигатель прогресса!!! В общем начал не просто мониторить, а собирать и систематизировать ВСЮ инфу - записывать все данные каждого бота, даты, время, проекты (на которых они регистрировались), настройки безопасности на проектах и т.д., ибо моя лень говорила мне, что на перспективе это освободит мое время от ненужных действий по контролю.
Сначала я просто удалял ботов, они снова регистрировались и подтверждали(!) по мылу свою регистрацию. Потом я начал их ДЕактивировать, Боты, которых я ДЕактивировал пытались авторизоваться, все их попытки заносились в штатный журнал событий с типом события ОШИБКА АВТОРИЗАЦИИ ПРИ СОВПАДЕНИИ ПАРЫ ЛОГИН/ПАРОЛЬ. Однако Боты с забаненными мылами предпринимали попытки регистрации с тем же мылом, все попытки заносились в штатнй журнал с типом события ОШИБКА РЕГИСТРАЦИИ и с сообщением о том, что Пользователь с таким мылом уже есть.
Спустя короткий период времени эти боты уходили, те же самые боты с новыми мылами возвращаются очень редко (не более 5% из числа ушедших), и оооочень не скоро (спустя 3-6 месяцев). Но эти же Боты щемились на другие проекты, в том числе лежащие на той же физической машине с тем же IP, но на другом домене, и даже на поддомене. Не брезговали и доменами 4-го уровня. Про проекты на других серверах, с другими IP и т.д. и вовсе говорить не приходится - шли как к себе домой.
Медленно но верно формировалась база email-адресов 100%-ных Ботов, сначала Ботов собирал исключительно со своих проектов и проектов клиентских. Набрал порядка 1000 email-ов, запустил модуль с собственной таблицей в БД на одном из своих проектов, на клиентских просто продолжал ДЕактивировать новых ботов и добавлять их мылы в базу. В течение полугода (с момента установки) на сайте, с установленным модулем проскользнуло порядка 200 новых ботов.
В общем установил модуль на всех клиентских проектах, и на каждом проекте в БД появилась таблица с 1000+ записей email-адресов Ботов, все регистрирующиеся юзеры проверялись по базе. Новых ботов добавлял в базу, обновлял её на всех проектах. Надоело! Запустил Soap-сервер, а на клиентских сайтах в init.php засунул в качестве обработчика события маленького Soap-клиента, который отправлял запрос с email-ом регистрирующегося юзера Soap-серверу. В зависимости от ответа обработчик либо разрешал регистрацию, либо прерывал её.
За 4 года база данных Soap-сервера выросла до 800 с лишним тысяч записей. Доверенных пользователи Soap-сервера кроме проверки email-ов ещё направляют инфорацию о новых Ботах. Инфа о новых Ботах ведется в отдельной базе, и как только email нового Бота отвечает всем заданным условиям - он автоматически заносится в базу подтвержденных Ботов. Сначала в базу поступало до 300 email-ов в сутки, на сегодня поступает порядка 10-15, в очень редких случаях количество сообщений о новых ботах достигает 50 (видимо при запуске новых хулиганских систем и проектов). Успешная регистрация удается 2-3 Ботам в неделю, на проектах с посещаемостью в 1-3 тыс. уникальных посетителей (проекты региональных гос.органов).
Долго колебался делать ли модуль, и если делать то на каких условиях предоставлять сервис. В общем решил выпустить бесплатный модуль. Soap-сервер тоже бесплатно обрабатывает все запросы, от любых сайтов и систем. Коммерциализация пока не планируется.
Карточка решения на:
Сначала я просто удалял ботов, они снова регистрировались и подтверждали(!) по мылу свою регистрацию. Потом я начал их ДЕактивировать, Боты, которых я ДЕактивировал пытались авторизоваться, все их попытки заносились в штатный журнал событий с типом события ОШИБКА АВТОРИЗАЦИИ ПРИ СОВПАДЕНИИ ПАРЫ ЛОГИН/ПАРОЛЬ. Однако Боты с забаненными мылами предпринимали попытки регистрации с тем же мылом, все попытки заносились в штатнй журнал с типом события ОШИБКА РЕГИСТРАЦИИ и с сообщением о том, что Пользователь с таким мылом уже есть.
Спустя короткий период времени эти боты уходили, те же самые боты с новыми мылами возвращаются очень редко (не более 5% из числа ушедших), и оооочень не скоро (спустя 3-6 месяцев). Но эти же Боты щемились на другие проекты, в том числе лежащие на той же физической машине с тем же IP, но на другом домене, и даже на поддомене. Не брезговали и доменами 4-го уровня. Про проекты на других серверах, с другими IP и т.д. и вовсе говорить не приходится - шли как к себе домой.
Медленно но верно формировалась база email-адресов 100%-ных Ботов, сначала Ботов собирал исключительно со своих проектов и проектов клиентских. Набрал порядка 1000 email-ов, запустил модуль с собственной таблицей в БД на одном из своих проектов, на клиентских просто продолжал ДЕактивировать новых ботов и добавлять их мылы в базу. В течение полугода (с момента установки) на сайте, с установленным модулем проскользнуло порядка 200 новых ботов.
В общем установил модуль на всех клиентских проектах, и на каждом проекте в БД появилась таблица с 1000+ записей email-адресов Ботов, все регистрирующиеся юзеры проверялись по базе. Новых ботов добавлял в базу, обновлял её на всех проектах. Надоело! Запустил Soap-сервер, а на клиентских сайтах в init.php засунул в качестве обработчика события маленького Soap-клиента, который отправлял запрос с email-ом регистрирующегося юзера Soap-серверу. В зависимости от ответа обработчик либо разрешал регистрацию, либо прерывал её.
За 4 года база данных Soap-сервера выросла до 800 с лишним тысяч записей. Доверенных пользователи Soap-сервера кроме проверки email-ов ещё направляют инфорацию о новых Ботах. Инфа о новых Ботах ведется в отдельной базе, и как только email нового Бота отвечает всем заданным условиям - он автоматически заносится в базу подтвержденных Ботов. Сначала в базу поступало до 300 email-ов в сутки, на сегодня поступает порядка 10-15, в очень редких случаях количество сообщений о новых ботах достигает 50 (видимо при запуске новых хулиганских систем и проектов). Успешная регистрация удается 2-3 Ботам в неделю, на проектах с посещаемостью в 1-3 тыс. уникальных посетителей (проекты региональных гос.органов).
Долго колебался делать ли модуль, и если делать то на каких условиях предоставлять сервис. В общем решил выпустить бесплатный модуль. Soap-сервер тоже бесплатно обрабатывает все запросы, от любых сайтов и систем. Коммерциализация пока не планируется.
Карточка решения на:
Группы на сайте создаются не только сотрудниками «1С-Битрикс», но и партнерами компании. Поэтому мнения участников групп могут не совпадать с позицией компании «1С-Битрикс».
