1. Открыты для прохождения . Тест делался по просьбе Партнёрского отдела, который собирается вводить компетенцию по этому продукту. Компетенция появится после запуска новой партнерской программы по Битрикс24, но тесты уже можно проходить.
Как обычно, любая обратная связь по тесту приветствуется. Некорректности, неточности и ошибки будут исправляться сразу по мере поступления.
2. Уже не раз поднимался вопрос по поводу шпаргалок к нашим тестам в интернете. Сделать с сайтами со шпаргалками мы ничего не можем, к сожалению, но надо постараться минимизировать риски партнёров и клиентов, к которым приходят работники с такими "успешно сданными" тестами по шпаргалкам.
Критерии для выявления таких недобросовестных товарищей есть. Это: скорость прохождения тестов и число попыток. Понятно, что человек, сдающий "из головы" потратит больше времени и попыток, чем человек, сдающий "с листа".
Мы провели небольшое исследование, которое позволило прояснить эти количественные показатели.
Методика: были взяты 4 теста из наших курсов с разным числом вопросов и разным уровнем сложности. Отобраны 100 последних удачных попыток прохождения. При подсчёте откидывались (ставились в ноль) попытки растянутые по времени на сутки или часы. Остальные: считалось время прохождения и делилось на число вопросов. Из полученных результатов выводилось среднее значение для теста и диапазон разброса времени прохождения.
Результатом было то, что среднее время, как оказалось, не зависит от числа вопросов в тесте и крайне слабо зависит от уровня сложности. Хотя на общем времени прохождения сложность теста и количество вопросов сказываются, естественно.
Исходя из результата этого исследования и появилась идея не засчитывать сертификаты при среднем времени прохождения теста пользователем менее N секунд. После небольшого обсуждения предложения на нашем корпоративном Битрикс24 был добавлен и критерий числа попыток.
Итак, с 7 мая вводится правило: сертификат пользователя, сдавшего тест ранее чем за N секунд за вопрос и с числом попыток менее M будет аннулирован. Так же будут аннулированы и дальнейшие сертификаты, завязанные на аннулированный, даже если они и проходят по озвученным критериям.
Если у пользователя число попыток более M, а время прохождения менее N, то такие попытки тоже аннулируются.
Если число попыток менее М, а время прохождения более N, то такие сертификаты пока будут рассматриваться по отдельности, до выработки конкретных критериев отсева.
Числа N и M - не оглашаются, чтобы не пробовали подстроиться под них. Возможно они будут меняться по результатам внедрения правила. Числа выбраны достаточно лояльными, через них, как мы подозреваем, прорвётся какая-то часть любителей шпаргалок. Но лучше пропустить часть "хитрозадых", чем наказать невиновных. Если вы сдаёте тест "из головы", то бояться вам нечего.
По предварительным подсчётам под наши критерии попадает от 1-го до 3-х пользователя на каждую сотню успешно сданных тестов.
Обратной силы правило, естественно, не имеет. Все сертификаты, полученные до введения правила - действительны.
Пока не создан механизм автоматического контроля такие проверки и аннулирования будут проводится вручную в конце каждого месяца.
Понятно, что возникнут вопросы и претензии. На вопросы я готов ответить здесь, в комментариях. Претензии будут рассматриваться оперативно.
ИД пользователей с аннулированными сертификатами будут передаваться Партнёрскому отделу. У них есть идея контроля за партнёрами систематически использующие такие "скорострельные" методики получения сертификатов. Вопросы по этим мерам - к ним адресуйте.
Ответ был выше, повторюсь:
- для Битрикс24,
- для БУС.
Начали разрабатывать сайты на вашей системе, причем разрабатывали уже давно, а сейчас так сказать официально с договором и с другими атрибутами. Собственно решил пройти тесты для получения компетенций в дальнейшем.
Битрикс знаю досконально как с точки зрения администрирования так с точки зрения разработчика. Соответсвенно заглянув в курсы или даже вбив вопросы в поиске курса на любой можно найти ответ. Сдавал примерно по такому же принципу (причем год назад, когда работал на другую компанию - сейчас своя).
Все вроде бы хорошо, но сертификаты анулировались, бесполезно что либо доказывать и стоит сразу приступить к повторной сдаче?
Доказывать не бесполезно. Вся статистика сохранена, можно просмотреть.
Глянул вашу статистику. Вы прошли "по грани". Чуть чуть её переступив.
Восстановить сертификаты невозможно, нужно просто пройти заново и сообщить мне, я гляну на результаты.
Ждём-недожёмся внедрения бигдаты в систему Обучения, тогда подобные ошибки должны быть сведены к минимуму.
Прошел тесты заново, пожалуйста уточните все ли в порядке?
Вопрос: а почему у вас много попыток с коротким временем ответа и частичными результатами. Слово вы начинали попытку и не дойдя до конца обрывали её?
Скорей бы уж Биг Дату нам сделали для Обучения.
Позвольте отписаться по поводу попыток с частичными результатами. Как они оцениваются?
Например неинтересно н-ное количество сдавать тест на 80 из 100, нужен 100 из 100 чтобы понять что все моменты пройдены. По этой причине я например прекращал прохождение теста если видел что он "запарывается". По одному из таких тестов отправил в техподдержку тикет на исправление ошибки в PDF-Версии учебных материалов - каждый раз я отвечал как в нем описывалось и каждый раз мимо.
Но по логике зачета тестов это "чит" и значит велика вероятность ануллирования?
Я не могу сказать вероятность. Так как там идёт комплекс параметров и недозаконченные попытки - это только один из критериев.
Лучше, конечно, попытки заканчивать.
Возможно это смешно, но оказалось удобнее распечатать и сброшюровать 360 листов чем тыкать chm. Жаль конечно, что механизм по сертификатам не реализован как валидация или премодерация - этак месяц надо ждать и думать. То ли слишком быстро, то ли слишком медленно, то ли тесты бросать нельзя... Обидно спустя месяц опять заново подтверждаться если что-то не понравится системе m и n
Механизм контроля за сертификатами совершенствуется. Ничего не стоит на месте.
dev.1c-bitrix.ru/docs/pdf_files/cm_full.pdf
Материал устаревший. В целом, конечно, должен отвечать реалиям, но устаревший.
Фото сохраню на память.
Именно! Так сказать, подстроился под систему. По прошлому опыту, видимо с первого раза все сдать нельзя - поэтому для подстраховки, несколько неправильных ответов и попыток.
Этот алгоритм сдачи мы учитываем тоже. Просто ждём БигДаты по сдаче тестов. После этого подобные алгоритмы будут бессмысленны. А пока отсеиваем таких вручную.
Сдавал, как и в прошлый раз по знаниям, но к сожалению доказать, Я это не могу. И Я еще раз повторюсь - все ответы в курсах, не надо быть гением чтобы посмотреть ответы в них, даже если что то забыл.
А что касаемо системы - любая система не идеальна. Но вы молодцы - теперь еще и за сдачу тестов денюжку начали брать, просто отлично!
А еще такой вопрос, сдал Я к примеру бесплатные тесты и Экзамен «№1 - Интеграция дизайна и настройка платформы». А система посчитала, что Я проходил тест не по знаниям. В этом случае, система будет не права поскольку Я сдал Экзамен (и сертификаты не отберут)?
Да, все ответы в курсах есть. У нас нет вопросов без ответов. Тот кто смотрит в курсах ответы при сдаче - молодец, речь не о них, а о тех, кто сдаёт по шпорам.
Мне показалось что вы иронизируете по поводу платных тестов.
Сдача платных тестов и онлайн тестов завязана, но не так как вы описываете. Серитфикат оффлановый у вас никто не заберёт.
У вас знания могут быть какие угодно, что никак не отменяет факта что вы можете воспользоватся шпаргалкой для прохожления теста
На второй вопрос мы не даём ответов, извините.
Можно узнать причину
напишите
Ещё раз глянул вашу статистику попыток. Да, есть определённые моменты, которые дают основания думать, что вы сдавали не из головы.
Значит у нас остаётся один способ: анализировать поведение сдающего. Вот мы его и анализируем. И ваше вызвало сомнения в честности прохождения. Не вписалось оно в типовое, статистическое поведение. Это анализ больших чисел. Он тоже может ошибаться, я вполне допускаю что в вашем случае имело место такая ошибка.
Тесты мы никакие оставить не можем, просто нет такой технической возможности.
Если вы знаете систему, то пересдать не составит труда, ну если не сидеть как у вас по 1619 или 2698 или 4687 или 12313 секунд над каждым вопросом.
Мы не можем предусмотреть все возможные случаи в жизни. Поэтому и требования у нас явно заниженные, я предполагаю что не менее 30 % нечестно сдающих проходит: мы не стремимся к абстрактной "справедливости".
Я же писал, что у нас есть ошибки, примерно 1-2 на сотню...
Но аргументов у вас нет, разговор прекращаю.
Мы стараемся делать тесты не более 30 вопросов, но, к сожалению, это не всегда удаётся.
1) Что если использовать опыт очной (если честно не понимаю почему очной, если экзамен сдается удаленно) сертификации - снимать сдающего на вебку и снимать его рабочий стол? В таком случае этих данных будет предостаточно для принятия решения в спорной ситуации;
2) При выявлении недобросовестной сдачи теста сертификат аннулируется сразу? Сколько времени (в среднем) проходит с момента сдачи до аннулирования? А что если пользователь отвечал на вопросы быстро и корректно, это, конечно, вызывает подозрения, но в промежутке он подтвердил свои знания прохождением очного экзамена?
Просмотрел ещё раз вашу статистику. Да есть все основания для того, чтобы считать что вы пользовались шпаргалками.
Пояснений давать не буду: это раскрытие методологии.
мы всегда открыты для общения. Но аргументированного..
Яндекс и Гугл могут делать так как сочтут нужным, никто их не заставляет. Мы делаем так как мы считаем нужным.
Видимо, меня тоже коснулся ваш новый алгоритм аннулирования сертификатов.
Исчез сертификат "Администратор. Базовый", тест на который я сдавал для допуска к очному экзамену "Интеграция дизайна и настройка платформы".
Собственно, экзамен был нужен для сохранения статуса "Золотой партнёр" у компании, в которой я работаю. Несмотря на то, что сертификат по очному экзамену сохранился, в партнёрском кабинете компании он учитываться перестал.
Если это связано с аннулированием сертификата "Администратор. Базовый", то подскажите, есть ли возможность его "оживить" или нужно пройти тестирование заново?
Честно признаюсь, в связи с перфекционизмом не хотелось иметь плохих результатов по тестированию, поэтому сначала смотрел, как тесты проходит коллега, потом сам проходил тестирование на другом, тестовом, аккаунте, ища ответы в документации (а несколько раз даже и в онлайн-шпаргалках, было дело). И только потом, уже зная почти все ответы наизусть - на текущем - боевом аккаунте.
И, в свете прочитанного получается, что такую стратегию поведения выбрал весьма зря.
Смешная ситуация. Если бы раньше прочёл эту ветку, то не страдал бы такой ерундой
Посмотрел вашу статистику. Да, все тесты кроме одного - с первой попытки с максимальным результатом - это первый критерий того, что сдают по шпоре. Поэтому вы и аннулированы.
Если в вашем случае мы ошиблись, то я лично очень рад, что есть такие перфекционисты.
Но пересдать тест придётся.
Прошёл тесты "Администратор. Базовый" заново.
Но всё равно все с первой попытки.
Первую половину прошёл почти на автомате и достаточно быстро, но вовремя "осёкся", что снова попаду под раздачу, во второй половине тестов сделал ряд ошибок и старался не спешить, чтобы ваш новый алгоритм снова не утилизировал мой сертификат.
Надеюсь на лучшее)
Есть вопрос. Не знаю, к вам ли. Сертификат "Администратор. Базовый" у меня появился снова. Но сертификат "Разработчик Bitrix Framework" не отображается в резюме (вот ссылка ). Он там не отображался и до аннулирования сертификата.
Не отображается он и в списке сертификатов компании в партнёрском кабинете.
Что с этим делать? К кому обращаться, если я вам не по адресу задал вопрос?
P.S. Благодарю за проявленное понимание к перфекционистам. Я из тех товарищей, у которых красный диплом и одни пятёрки в нём. Хотя, всё больше убеждаюсь, что никому это нафиг не надо и качество это, в целом, плохое. Производительности вредит, заморачиваться заставляет. В общем - подлежит искоренению.
P.P.S. В целом начинание по контролю за честностью получения сертификатов - отличное. От себя, как человек, который занимался системами автоматизированного тестирования в своей "прошлой научной жизни" могу подсказать несколько мер, которые позволят отсеивать "халявщиков". Самая простая - предусмотреть для каждого сколь-нибудь серьёзного вопроса теста несколько вариантов формулировки. Используя перефразирование, перестановку слов и т.д. Да ещё и с различающимися перечнями вариантов ответов. В каждый тест "вбрасывать" несколько вопросов-дублёров. И если правильность ответа на них будет отличаться от правильности ответа на оригинал, то отнимать баллы от общего количества набранных. Не сочтите за критику, просто искренне хочется лучшего для системы проверки знаний.
Но всё равно все с первой попытки.
По поводу ваших замечаний, я с ними полностью согласен, но мы скованы инструментом: нашим модулем. У меня собран файлик на ХХХ с лишним страниц по доработке модуля, но пока приоритеты у компании другие и разработчиков, увы не выделяют.
Спасибо за замечания, если будут ещё пожелания - я всегда готов выслушать.
Имеется в виду сертификат "Разработчик Bitrix Framework", полученный в результате прохождения экзамена "Интеграция дизайна и настройка платформы", а не одноимённый сертификат, который можно получить в процессе прохождения онлайн-тестирования.
Тоже некоторая путаница в терминологии.
Вот именно его - этого сертификата по очному экзамену - не видно в резюме по ссылке (не знаю, должно ли вообще его там быть видно, но было бы логично). А в партнёрском кабинете компании экзамен уже появился.
Премного благодарю вас за содействие, Роберт
Будет он аннулирован или нет - будет решать в конце месяца при анализе всех сданных сертификатов.
2.прохожу тесты с 2х курсов по очереди,вопросы очень похожие,соотв. пройдя тест в 1м курсе,в другом я такие же вопросы читаю и сразу щелкаю на правильный ответ,как тут разобраться слишком ли это быстро?
2. Да, в пользовательских и админских курсах по разным продуктам вопросы в большинстве - идентичные. Не думаю что этот способ сдачи даст результат быстрого времени, так как вопросы в тестах мешаются и не факт что очерёдность их выпадения в тестах совпадёт.
Просмотрел ваши оба аккаунта. Пропустим ваш сертификат.
Я допускаю, что была ошибка со стороны нашего алгоритма поиска. Предусмотреть все возможные варианты человеческого поведения - нереально. Сдайте ещё раз и сообщите мне о сдаче.
Сегодня узнала, что два моих теста аннулировались. Можете подсказать в чем причина?
А также возникает вопрос, что в субботу (30.07) сдавала экзамен, для которого требуется прохождение одного из этих тестов. И что теперь мне срежут экзамен из-за автоматики?
Последующие тесты не удаляются, если удалён предыдущий. Но тот тест, про который вы говорите попадёт в августовскую проверку и будет проверяться по тем же критериям.
Но вы не ответили на второй вопрос, что будет с экзаменом "Интеграция дизайна и настройка платформы', для которого требуется прохождение Администратор. Базовый, который на момент прохождения теста был, а на текущий момент проверки экзамена уже аннулирован?
Мой принцип такой: я читаю главу, делаю пометки, прохожу тест, записываю в блокнот неправильные ответы, правильные уже на автомате отмечаю.
Имея базу неправильных, перечитываю (иногда и гуглю) или сразу пересдаю, так как был вариант "один из двух - какой же?"
Выходит, что скорость последних сдач очень высокая за счет того, что я уже знаю ответы..
Можно узнать надо ли мне пересдавать/подтверждать или еще что-то делать по Контент-менеджеру или ждать месяц?
И, блин, никогда бы не задумался, работая в хостинговой компании, тянется ли табличка мышкой или нет, если бы не тест.. Лол
Экзамен сдавал так - часть вопросов совсем очевидных сразу щелкал, как на экзамене в ГИБДД, часть, чтобы не ошибиться, по документации проверял.
И вот сегодня увидел, что аннулировались 2 ветки тестов.
Что я делаю не так? Слишком быстро вспоминал ответы на тесты? Мне их стереть из памяти и делать всё медленно, как черепашка?
Обидно, что делаешь по-хорошему, разбираешься, подтягиваешь слабые места, а тебе так карму портят и еще время на пересдачу заново нужно тратить. Замечу, что в целом я не шибко быстро сдавал, т.к. сверялся с документацией по некоторым вопросам.
Непонятная система, не понятно, как нужно сдавать, чтобы пройти ваш квест.
P.S. вчера получил результат об успешно сданном 1-м очном экзамене, собирался на второй зарегистрироваться, а тут такая "подстава" от вашей системы...
Роберт, может ли быть то, что Ваша система аннулировала мне тесты, связано с тем, что у меня по "Администратор. Базовый" самый первый тест (или несколько первых тестов, но не все в этой ветке, не помню уже) был сдан давно, вероятно, год назад? Может быть, система посчитала, что я его сдал за 0 секунд, т.к. остальное сдавал уже в этом июле?
Если дело не в этом, то прошу помочь разобраться с ситуацией, почему мои тесты аннулированы. Не вижу объективных причин, техподдержка послала в эту тему. Кроме того хочу поскорее записаться на второй очный экзамен для сдачи. Не хочется из-за ошибки системы заново сдавать тесты и надеяться, что на этот раз она чудесным образом не сотрет мои результаты.
Гарантии что не пропадут я не могу дать. Но подавляющее большинство проходит проверку. В прошлом месяце из 16044 попыток аннулировано 180 сертификатов или, примерно, 500 попыток.
Таким образом, если потери не было и время ответа - две секунды, то ответ однозначно был из головы.
Молодцы, очень самокритично, при том и так видно, что качество, полнота и актуальность курсов не очень, но Вы как составили его подтверждаете это Вашими критериями, но при этом пытаетесь тех кто проходит сертификацию "тыкнуть в лужу лицом", как бы говоря: "Слишком умный для того, чтобы пройти тест с первого раза"......