Доброго времени! Постараюсь максимально понятно изложить суть проблемы
По данным вебмастера яндекс к индексации была запрещена bitrix а в ней пути
Disallow: /bitrix/rk.php
Disallow: /bitrix/tools/setclick.php
т.е из индекса роботом яндекса было исключено порядка 70000 ссылок. как впрочем и гугла.
Ссылка вида /bitrix/rk.php связана с баннерами у нас на сайте. Списание денег идет за показ. Тут все норм. Индексацию разрешил, причем посоветовавшись с ТП яндекса. Сейчас ссылки вида /bitrix/rk.php ушли в индекс
Вот эта ссылка /bitrix/tools/setclick.php связана с событием=клик по тизерам. Т.е когда наводишь курсор на тизер, то видно ссылку такого вида
и идет списание за клик. Клик ведет на сайт рекламодателя.
Когда я по аналогии данный путь разрешил к индексации в robots.txt
т.е так
User-agent: *
Allow: /bitrix/rk.php
Allow: /bitrix/tools/setclick.php
То заметил, что рекламные кампании клиентов начали улетать в минус!!
Сначала обрадовались, мол народ активней стал, связали это с появлением моб.версии, а потом засомневались
Начали проверять, оказалось что появились боты, которые совершают событие переходя к нам по ссылке, что выше изображение.
Т.е наблюдаем так в админке
Почему решили что бот? Судя по этим данным
Уважаемые гуру битрикса, что посоветуете сделать? Запрещать индексацию снова- самый крайний вариант.
Отлавливать бота постфактум, когда рекламная компания в минус улетела- не вариант.
Есть какие то решения?
Спасибо!
p/s Если информации не достаточно, скажите что нужно
По данным вебмастера яндекс к индексации была запрещена bitrix а в ней пути
Disallow: /bitrix/rk.php
Disallow: /bitrix/tools/setclick.php
т.е из индекса роботом яндекса было исключено порядка 70000 ссылок. как впрочем и гугла.
Ссылка вида /bitrix/rk.php связана с баннерами у нас на сайте. Списание денег идет за показ. Тут все норм. Индексацию разрешил, причем посоветовавшись с ТП яндекса. Сейчас ссылки вида /bitrix/rk.php ушли в индекс
Вот эта ссылка /bitrix/tools/setclick.php связана с событием=клик по тизерам. Т.е когда наводишь курсор на тизер, то видно ссылку такого вида
и идет списание за клик. Клик ведет на сайт рекламодателя.
Когда я по аналогии данный путь разрешил к индексации в robots.txt
т.е так
User-agent: *
Allow: /bitrix/rk.php
Allow: /bitrix/tools/setclick.php
То заметил, что рекламные кампании клиентов начали улетать в минус!!
Сначала обрадовались, мол народ активней стал, связали это с появлением моб.версии, а потом засомневались
Начали проверять, оказалось что появились боты, которые совершают событие переходя к нам по ссылке, что выше изображение.
Т.е наблюдаем так в админке
Почему решили что бот? Судя по этим данным
Город: |
| ||||||||||
UserAgent: | Mozilla/5.0 (compatible; linkdexbot/2.0; + |
Отлавливать бота постфактум, когда рекламная компания в минус улетела- не вариант.
Есть какие то решения?
Спасибо!
p/s Если информации не достаточно, скажите что нужно