[spoiler]
1. Открыты для прохождения
Как обычно, любая обратная связь по тесту приветствуется. Некорректности, неточности и ошибки будут исправляться сразу по мере поступления.
2. Уже не раз поднимался вопрос по поводу шпаргалок к нашим тестам в интернете. Сделать с сайтами со шпаргалками мы ничего не можем, к сожалению, но надо постараться минимизировать риски партнёров и клиентов, к которым приходят работники с такими "успешно сданными" тестами по шпаргалкам.
Критерии для выявления таких недобросовестных товарищей есть. Это: скорость прохождения тестов и число попыток. Понятно, что человек, сдающий "из головы" потратит больше времени и попыток, чем человек, сдающий "с листа".
Мы провели небольшое исследование, которое позволило прояснить эти количественные показатели.
Методика: были взяты 4 теста из наших курсов с разным числом вопросов и разным уровнем сложности. Отобраны 100 последних удачных попыток прохождения. При подсчёте откидывались (ставились в ноль) попытки растянутые по времени на сутки или часы. Остальные: считалось время прохождения и делилось на число вопросов. Из полученных результатов выводилось среднее значение для теста и диапазон разброса времени прохождения.
Результатом было то, что среднее время, как оказалось, не зависит от числа вопросов в тесте и крайне слабо зависит от уровня сложности. Хотя на общем времени прохождения сложность теста и количество вопросов сказываются, естественно.
Исходя из результата этого исследования и появилась идея не засчитывать сертификаты при среднем времени прохождения теста пользователем менее N секунд. После небольшого обсуждения предложения на нашем корпоративном Битрикс24 был добавлен и критерий числа попыток.
Итак, с 7 мая вводится правило: сертификат пользователя, сдавшего тест ранее чем за N секунд за вопрос и с числом попыток менее M будет аннулирован. Так же будут аннулированы и дальнейшие сертификаты, завязанные на аннулированный, даже если они и проходят по озвученным критериям.
Если у пользователя число попыток более M, а время прохождения менее N, то такие попытки тоже аннулируются.
Если число попыток менее М, а время прохождения более N, то такие сертификаты пока будут рассматриваться по отдельности, до выработки конкретных критериев отсева.
Числа N и M - не оглашаются, чтобы не пробовали подстроиться под них. Возможно они будут меняться по результатам внедрения правила. Числа выбраны достаточно лояльными, через них, как мы подозреваем, прорвётся какая-то часть любителей шпаргалок. Но лучше пропустить часть "хитрозадых", чем наказать невиновных. Если вы сдаёте тест "из головы", то бояться вам нечего.
По предварительным подсчётам под наши критерии попадает от 1-го до 3-х пользователя на каждую сотню успешно сданных тестов.
Обратной силы правило, естественно, не имеет. Все сертификаты, полученные до введения правила - действительны.
Пока не создан механизм автоматического контроля такие проверки и аннулирования будут проводится вручную в конце каждого месяца.
Понятно, что возникнут вопросы и претензии. На вопросы я готов ответить здесь, в комментариях. Претензии будут рассматриваться оперативно.
ИД пользователей с аннулированными сертификатами будут передаваться Партнёрскому отделу. У них есть идея контроля за партнёрами систематически использующие такие "скорострельные" методики получения сертификатов. Вопросы по этим мерам - к ним адресуйте.
Просмотрел ещё раз вашу статистику. Да есть все основания для того, чтобы считать что вы пользовались шпаргалками.
Пояснений давать не буду: это раскрытие методологии.
мы всегда открыты для общения. Но аргументированного..
Яндекс и Гугл могут делать так как сочтут нужным, никто их не заставляет. Мы делаем так как мы считаем нужным.
Видимо, меня тоже коснулся ваш новый алгоритм аннулирования сертификатов.
Исчез сертификат "Администратор. Базовый", тест на который я сдавал для допуска к очному экзамену "Интеграция дизайна и настройка платформы".
Собственно, экзамен был нужен для сохранения статуса "Золотой партнёр" у компании, в которой я работаю. Несмотря на то, что сертификат по очному экзамену сохранился, в партнёрском кабинете компании он учитываться перестал.
Если это связано с аннулированием сертификата "Администратор. Базовый", то подскажите, есть ли возможность его "оживить" или нужно пройти тестирование заново?
Честно признаюсь, в связи с перфекционизмом не хотелось иметь плохих результатов по тестированию, поэтому сначала смотрел, как тесты проходит коллега, потом сам проходил тестирование на другом, тестовом, аккаунте, ища ответы в документации (а несколько раз даже и в онлайн-шпаргалках, было дело). И только потом, уже зная почти все ответы наизусть - на текущем - боевом аккаунте.
И, в свете прочитанного получается, что такую стратегию поведения выбрал весьма зря.
Смешная ситуация. Если бы раньше прочёл эту ветку, то не страдал бы такой ерундой
Посмотрел вашу статистику. Да, все тесты кроме одного - с первой попытки с максимальным результатом - это первый критерий того, что сдают по шпоре. Поэтому вы и аннулированы.
Если в вашем случае мы ошиблись, то я лично очень рад, что есть такие перфекционисты.
Но пересдать тест придётся.
Прошёл тесты "Администратор. Базовый" заново.
Но всё равно все с первой попытки.
Первую половину прошёл почти на автомате и достаточно быстро, но вовремя "осёкся", что снова попаду под раздачу, во второй половине тестов сделал ряд ошибок и старался не спешить, чтобы ваш новый алгоритм снова не утилизировал мой сертификат.
Надеюсь на лучшее)
Есть вопрос. Не знаю, к вам ли. Сертификат "Администратор. Базовый" у меня появился снова. Но сертификат "Разработчик Bitrix Framework" не отображается в резюме (вот ссылка
Не отображается он и в списке сертификатов компании в партнёрском кабинете.
Что с этим делать? К кому обращаться, если я вам не по адресу задал вопрос?
P.S. Благодарю за проявленное понимание к перфекционистам. Я из тех товарищей, у которых красный диплом и одни пятёрки в нём. Хотя, всё больше убеждаюсь, что никому это нафиг не надо и качество это, в целом, плохое. Производительности вредит, заморачиваться заставляет. В общем - подлежит искоренению.
P.P.S. В целом начинание по контролю за честностью получения сертификатов - отличное. От себя, как человек, который занимался системами автоматизированного тестирования в своей "прошлой научной жизни" могу подсказать несколько мер, которые позволят отсеивать "халявщиков". Самая простая - предусмотреть для каждого сколь-нибудь серьёзного вопроса теста несколько вариантов формулировки. Используя перефразирование, перестановку слов и т.д. Да ещё и с различающимися перечнями вариантов ответов. В каждый тест "вбрасывать" несколько вопросов-дублёров. И если правильность ответа на них будет отличаться от правильности ответа на оригинал, то отнимать баллы от общего количества набранных. Не сочтите за критику, просто искренне хочется лучшего для системы проверки знаний.
Но всё равно все с первой попытки.
По поводу ваших замечаний, я с ними полностью согласен, но мы скованы инструментом: нашим модулем. У меня собран файлик на ХХХ с лишним страниц по доработке модуля, но пока приоритеты у компании другие и разработчиков, увы не выделяют.
Спасибо за замечания, если будут ещё пожелания - я всегда готов выслушать.
Имеется в виду сертификат "Разработчик Bitrix Framework", полученный в результате прохождения экзамена "Интеграция дизайна и настройка платформы", а не одноимённый сертификат, который можно получить в процессе прохождения онлайн-тестирования.
Тоже некоторая путаница в терминологии.
Вот именно его - этого сертификата по очному экзамену - не видно в резюме по ссылке (не знаю, должно ли вообще его там быть видно, но было бы логично). А в партнёрском кабинете компании экзамен уже появился.
Премного благодарю вас за содействие, Роберт
Будет он аннулирован или нет - будет решать в конце месяца при анализе всех сданных сертификатов.
2.прохожу тесты с 2х курсов по очереди,вопросы очень похожие,соотв. пройдя тест в 1м курсе,в другом я такие же вопросы читаю и сразу щелкаю на правильный ответ,как тут разобраться слишком ли это быстро?
2. Да, в пользовательских и админских курсах по разным продуктам вопросы в большинстве - идентичные. Не думаю что этот способ сдачи даст результат быстрого времени, так как вопросы в тестах мешаются и не факт что очерёдность их выпадения в тестах совпадёт.
Просмотрел ваши оба аккаунта. Пропустим ваш сертификат.
Я допускаю, что была ошибка со стороны нашего алгоритма поиска. Предусмотреть все возможные варианты человеческого поведения - нереально. Сдайте ещё раз и сообщите мне о сдаче.
Сегодня узнала, что два моих теста аннулировались. Можете подсказать в чем причина?
А также возникает вопрос, что в субботу (30.07) сдавала экзамен, для которого требуется прохождение одного из этих тестов. И что теперь мне срежут экзамен из-за автоматики?
Последующие тесты не удаляются, если удалён предыдущий. Но тот тест, про который вы говорите попадёт в августовскую проверку и будет проверяться по тем же критериям.
Но вы не ответили на второй вопрос, что будет с экзаменом "Интеграция дизайна и настройка платформы', для которого требуется прохождение Администратор. Базовый, который на момент прохождения теста был, а на текущий момент проверки экзамена уже аннулирован?
Мой принцип такой: я читаю главу, делаю пометки, прохожу тест, записываю в блокнот неправильные ответы, правильные уже на автомате отмечаю.
Имея базу неправильных, перечитываю (иногда и гуглю) или сразу пересдаю, так как был вариант "один из двух - какой же?"
Выходит, что скорость последних сдач очень высокая за счет того, что я уже знаю ответы..
Можно узнать надо ли мне пересдавать/подтверждать или еще что-то делать по Контент-менеджеру или ждать месяц?
И, блин, никогда бы не задумался, работая в хостинговой компании, тянется ли табличка мышкой или нет, если бы не тест.. Лол
Экзамен сдавал так - часть вопросов совсем очевидных сразу щелкал, как на экзамене в ГИБДД, часть, чтобы не ошибиться, по документации проверял.
И вот сегодня увидел, что аннулировались 2 ветки тестов.
Что я делаю не так? Слишком быстро вспоминал ответы на тесты? Мне их стереть из памяти и делать всё медленно, как черепашка?
Обидно, что делаешь по-хорошему, разбираешься, подтягиваешь слабые места, а тебе так карму портят и еще время на пересдачу заново нужно тратить. Замечу, что в целом я не шибко быстро сдавал, т.к. сверялся с документацией по некоторым вопросам.
Непонятная система, не понятно, как нужно сдавать, чтобы пройти ваш квест.
P.S. вчера получил результат об успешно сданном 1-м очном экзамене, собирался на второй зарегистрироваться, а тут такая "подстава" от вашей системы...
Роберт, может ли быть то, что Ваша система аннулировала мне тесты, связано с тем, что у меня по "Администратор. Базовый" самый первый тест (или несколько первых тестов, но не все в этой ветке, не помню уже) был сдан давно, вероятно, год назад? Может быть, система посчитала, что я его сдал за 0 секунд, т.к. остальное сдавал уже в этом июле?
Если дело не в этом, то прошу помочь разобраться с ситуацией, почему мои тесты аннулированы. Не вижу объективных причин, техподдержка послала в эту тему. Кроме того хочу поскорее записаться на второй очный экзамен для сдачи. Не хочется из-за ошибки системы заново сдавать тесты и надеяться, что на этот раз она чудесным образом не сотрет мои результаты.
Гарантии что не пропадут я не могу дать. Но подавляющее большинство проходит проверку. В прошлом месяце из 16044 попыток аннулировано 180 сертификатов или, примерно, 500 попыток.
Таким образом, если потери не было и время ответа - две секунды, то ответ однозначно был из головы.
Молодцы, очень самокритично, при том и так видно, что качество, полнота и актуальность курсов не очень, но Вы как составили его подтверждаете это Вашими критериями, но при этом пытаетесь тех кто проходит сертификацию "тыкнуть в лужу лицом", как бы говоря: "Слишком умный для того, чтобы пройти тест с первого раза"......
мне его опять аннулируют?
Сдайте тест заново, сообщите мне в личку о сдаче. Пропущу ваш сертификат без проверки.
Заранее приношу извинения. Понимаю, что работы и так много. Но для организации, в которой работаю, это довольно важный вопрос, т.к. от этого зависит возврат нами "Золотого статуса".
Прошел сегодня (12.09) тест "Администратор. Бизнес. Валюты и Торговый каталог". Возникли сомнения, что прошел слишком быстро. Сообщение о проверке скорости сдачи тестов на вкладке "Мое обучение" прочитал уже когда со второй попытке прошел тест.
Я опытный разработчик, прошел курс "№3 - Расширенные технологии и производительность" и также оба очных экзамена: "Интеграция дизайна и настройка платформы" и "Основные технологии и расширение типовых возможностей системы".
Есть опыт работы с магазинами и привычка заранее изучать материал, поэтому скорость прохождения теста может быть слишком высокой.
__Прошу оценить скорость, с которой я прошел сегодня тест "Администратор. Бизнес.Валюты и Торговый каталог".__
Если скорость нормальная, то завтра с такой же скоростью буду проходить следующий тест по курсу "Администратор. Бизнес".
Не хотелось бы чтобы в конце месяца из-за аннулирования сертификата у нас снова отозвали "Золотой статус".
Курсы оцениваются по результатам всех тестов. Поэтому я не могу вам ничего сказать по одному тесту.
Естественно скорость ответа в таком случае очень высокая. Сдал два теста за прошедшие три дня, в обоих очень высокая скорость ответа и очень высокий процент. Смутился, когда увидел, что сертификат могут по неким критериям аннулировать. Прочитал эту статью, теперь понимаю, что аннулирование просто неизбежно.
Есть ли возможность это как то изменить? Могу предоставить ссылки на онлайн проверку имеющихся у меня вышеобозначенных зарубежных сертификатов (которые сдаются, кстати, в центрах сертификации, использовать шпаргалки там нет возможности), если это хоть как то подтверждало бы мои слова, хотя понимаю, что отношения к данным сертификатам не имеет конечно.
Сейчас работаю в качестве удаленного системного администратора UNIX/LINUX , поэтому и появилась необходимость получить сертификаты Битрикс, так как часто приходится работать с этой системой. Сдавал сертификацию для хостеров и начальный для контент-менеджера.
Конечно, следующий тест буду сдавать вживую, не прорешивая заранее дампы, чтобы впадать в "нормальную" выборку. Жаль просто потраченного времени. Да и в случае пересдачи придеться "притворяться". Как то это странно...
Спасибо за внимание.
Ваш алгоритм сдачи однозначно будет воспринят как сдача по шпаргалкам. Да и просмотр вашей статистики не даёт оснований усомниться в этом.
Я лично не уверен, что зазубривание - это лучший способ обучения. У нас достаточно большой "зазор", 17-20 % ошибок допускается для сдачи. И сделано это именно с точки зрения, что человек думает (следовательно - ошибается) и сдаёт.
Но выбор способа сдачи - ваше дело. Значит вам придётся "подстраиваться". Подстроились же под Майкрософт?
касаемо
>> Да и просмотр вашей статистики не даёт оснований усомниться в этом.
Готов на видео выдать тот же результат только спора ради, чтобы Вы знали что это не соответствует действительности.
Я охотно верю в то, что вы успешно зазубрили все правильные ответы и выдавали их по памяти, а не с бумажки. Но в данном случае это не имеет значения.
Наш алгоритм рассчитан на среднего юзера, не на того кто идёт необычным путём. Поэтому те, кто идёт необычно и страдают. Но так всегда по жизни, не правда ли?
В августе прошел все тесты по Битриксу и получил сертификаты (могу прислать pdf файлы)
Вчера хотел записаться на сдачу экзамена, но оказалось, что их аннулировали, и теперь я не могу пройти экзамен.
Работаю с CMS Bitrix уже более года, являюсь руководителем отдела программирования в интернет компании. Проходил тесты в отпуске по утрам, так сказать, с наскока, т.е. пробегал по тесту, и если не удавалось пройти его слету, то садился читать и вникать в вопросы.
А теперь выясняется, что так делать нельзя, и нужно было решать тесты не спеша, иначе это считается жульничеством! Большую часть тестов я прошел слету, за считанные минуты, т.к. со всеми этими вопросами сталкиваюсь постоянно на работе!
Прошу вернуть мои сертификаты, чтобы я смог пройти экзамен.
Вернуть сертификаты не позволяет система технически.
Посмотрел вашу статистику. Вы набираете максимальное количество баллов практически по каждому тесту с первой попытки. Для системы - это явный признак списывания. Она не общается с вами очно, не инспектирует ваши знания и не смотрит как вы сдаёте, ей это всё просто не под силу. Она следует своим алгоритмам, которые неидеальны (мы никогда не говорили что они идеальны), но которые охватывают примерно 95-97% случаев. Вы попали в оставшиеся 3-5%.
(Кстати, у вас аннулированы не все сертификаты, как вы, наверное, заметили, а только те что попадают в наш алгоритм поиска "подозрительных" попыток.)
Я с готовностью допускаю что вы демонстрировали свои знания, а не умение пользоваться шпаргалками.
Вам придётся сдать тесты заново и сообщить мне в личку о сдаче и ваш логин.
Я хочу записаться на экзамен, чтобы получить сертификат. Это необходимо, чтобы подтвердить золотое партнерство Битрикс нашей компании. И получается, что из-за какого-то скрипта я не могу этого сделать?!
Вы будете оплачивать мое время на сдачу этих сертификатов?
П.С. Вы можете сказать, сколько раз нужно сдать тест и сколько времени нужно тупить над ним, чтобы вы засчитали его как верный?
Если вы невнимательны, мы причём тут?
Если вы "угадываете" - то что я могу поделать?
Вам указан выход из ситуации: сдать тесты заново. Если вы знаете материал, то это не составит проблемы. До вас всех удовлетворяло такое решение.
Другого, кстати, просто нет.
Наш новый сотрудник проходил тесты:
Курс разработчик он сдал
А после прохождения теста для курса "Композитный сайт" результат не зачли и отменили все результаты прохождения курса "Разработчика" и выдали какую-то ошибку.
Номер обращения в техподдержку: 1208411
------------
Что нам делать? Проходить все тесты заново? Или система ошиблась и можно засчитать?
Всего чтение курсов и сдача тестов заняла у сотрудника 2 недели.
Я не понял почему, если система не дала сдать "Композитный сайт", то отменяются все результаты тестов курса "Разработчик".
Но вы согласитесь, что блог - это не техподдержка?
Да, и это можно обойти. Но тогда уже придется давать шпоры не текстом, а видео. И, как говорилось выше, проще будет разобраться, чем списывать. Пока же, действительно, поневоле задумаешься как быть: думать своей головой или лезть искать?
Есть офлайн экзамены для разработчиков, которые сами по себе делятся на несколько уровней. Наши онлайн тесты - это как сдача зачёта перед получением права на сдачу экзамена.
То есть в плане разработчиков работодателю лучше запрашивать у соискателя владение офлайн сертификатами.
В плане пользователей офлайн сдача - избыточна, на наш взгляд.
И вообще у нас нет целей тотального контроля и цели добиться сдачи всех тестов честно. Наша задача - максимально облегчить путь для тех кто сдаёт сам и, по возможности, затруднить его для тех, кто любит обходные пути. Вот и всё. Описанным в посте механизмом "режутся" явные глупцы или пренебрегающие предварительным ознакомлением с правилами пользователи.
Эту защиту обходят, это понятно. Мы её совершенствуем, но цели 100% выявления не ставим.
То есть в плане разработчиков работодателю лучше запрашивать у соискателя владение офлайн сертификатами.
P.S. Такую "простыню" написал - стёр. Вкратце, просто вы меня разочаровали в очередной раз. Знаю, что никому нет до этого дела, но всё же.
Не совсем понятно что вас разочаровывает: невозможность списать на очном экзамене или постконтроль за онлайн тестами.
2. Возможно что аннулируются. Число попыток только один из критериев.