Новости тестов

Пара новостей о тестах и аннулировании сертификатов.
[spoiler]
1. Открыты для прохождения тесты курса Пользователь Битрикс24. Тест делался по просьбе Партнёрского отдела, который собирается вводить компетенцию по этому продукту. Компетенция появится после запуска новой партнерской программы по Битрикс24, но тесты уже можно проходить.

Как обычно, любая обратная связь по тесту приветствуется. Некорректности, неточности и ошибки будут исправляться сразу по мере поступления.


2. Уже не раз поднимался вопрос по поводу шпаргалок к нашим тестам в интернете. Сделать с сайтами со шпаргалками мы ничего не можем, к сожалению, но надо постараться минимизировать риски партнёров и клиентов, к которым приходят работники с такими "успешно сданными" тестами по шпаргалкам.

Критерии для выявления таких недобросовестных товарищей есть. Это: скорость прохождения тестов и число попыток. Понятно, что человек, сдающий "из головы" потратит больше времени и попыток, чем человек, сдающий "с листа".

Мы провели небольшое исследование, которое позволило прояснить эти количественные показатели.
Методика: были взяты 4 теста из наших курсов с разным числом вопросов и разным уровнем сложности. Отобраны 100 последних удачных попыток прохождения. При подсчёте откидывались (ставились в ноль) попытки растянутые по времени на сутки или часы. Остальные: считалось время прохождения и делилось на число вопросов. Из полученных результатов выводилось среднее значение для теста и диапазон разброса времени прохождения.

Результатом было то, что среднее время, как оказалось, не зависит от числа вопросов в тесте и крайне слабо зависит от уровня сложности. Хотя на общем времени прохождения сложность теста и количество вопросов сказываются, естественно.

Исходя из результата этого исследования и появилась идея не засчитывать сертификаты при среднем времени прохождения теста пользователем менее N секунд. После небольшого обсуждения предложения на нашем корпоративном Битрикс24 был добавлен и критерий числа попыток.

Итак, с 7 мая вводится правило: сертификат пользователя, сдавшего тест ранее чем за N секунд за вопрос и с числом попыток менее M будет аннулирован. Так же будут аннулированы и дальнейшие сертификаты, завязанные на аннулированный, даже если они и проходят по озвученным критериям.

Если у пользователя число попыток более M, а время прохождения менее N, то такие попытки тоже аннулируются.

Если число попыток менее М, а время прохождения более N, то такие сертификаты пока будут рассматриваться по отдельности, до выработки конкретных критериев отсева.

Числа N и M - не оглашаются, чтобы не пробовали подстроиться под них. Возможно они будут меняться по результатам внедрения правила. Числа выбраны достаточно лояльными, через них, как мы подозреваем, прорвётся какая-то часть любителей шпаргалок. Но лучше пропустить часть "хитрозадых", чем наказать невиновных. Если вы сдаёте тест "из головы", то бояться вам нечего.

По предварительным подсчётам под наши критерии попадает от 1-го до 3-х пользователя на каждую сотню успешно сданных тестов.

Обратной силы правило, естественно, не имеет. Все сертификаты, полученные до введения правила - действительны.

Пока не создан механизм автоматического контроля такие проверки и аннулирования будут проводится вручную в конце каждого месяца.

Понятно, что возникнут вопросы и претензии. На вопросы я готов ответить здесь, в комментариях. Претензии будут рассматриваться оперативно.

ИД пользователей с аннулированными сертификатами будут передаваться Партнёрскому отделу. У них есть идея контроля за партнёрами систематически использующие такие "скорострельные" методики получения сертификатов. Вопросы по этим мерам - к ним адресуйте.