Разработка профессиональных тестов: экспертный взгляд на ошибки и выбор стратегии создания
как проходит Формирование заданий теста
Журналист: Давай начнем обсуждение твоего опыта в LiCO в создании профессиональных тестов. Расскажи о частых ошибках, которые совершают разработчики, и заказчики оценочных вопросников в этой области, и что влият на создание уникального теста?
Эксперт: Приветствую вас! Да, давай рассмотрим. Частая ошибка, которую я выделяю, - это недостаток системного подхода к тестированию знаний. Очень часто встречаются грамматические ошибки в самом тесте и несоответствия в формулировках заданий для оценки.
Ж: А что насчет слишком сложных заданий, когда этапы разработки теста уже завершены?
Э: Сложные задания - настоящая проблема для разработчика теста. Они не только занимают много времени на прочтение и обдумывание у оцениваемого, но и могут привести к тому, что успешнее, точнее ответят не самые знающие, а просто более внимательные сотрудники.
Ж: Интересный момент. Как ты относишься к попыткам измерить поведение в тесте, а не знания?
Э: Это определенно не лучший подход. Пытаться предсказать поведение через тестирование знаний - как бежать в разные стороны одновременно. Во-первых, тест не может точно предсказать поведение, и, во-вторых, мы отходим от формата вопросника, где есть ограниченный набор верных и неверных ответов, и переходим к формату опроса, где респонденты просто рассказывают о том, как они бы поступили, с какой-то долей вероятности, кстати, не понятно с какой.
Ж: А как насчет отсутствия правильного ответа в задании? Что именно от нас требует проверка такого явления? Как влияет проверочная процедура, проводимая на этапе разработки теста?
Э: Это одна из самых странных, опечаток или бессмысленных ошибок. Если в задании нет правильного ответа из-за формулировки, то оно становится абсолютно бесполезным и даже вредным, вы верно указали что надо системно проверять на это.
Ж: Недостаточное количество заданий в отдельной части теста - еще одна распространенная неточность разработчика?
Э: Да, пожалуй, это реальная проблема. Все мы бьемся за создание уникального теста. И очень часто можно заметить недостаточное количество заданий на одну шкалу знаний в отдельном блоке вопросов. Для более точной проверки знаний нужно больше заданий, идеально - не менее штук десяти.
Ж: Интересно. Как насчет использования отрицаний, частицы "не" в заданиях?
Э: Это действительно распространенная вещь. Использование "не" может вводить отвечающих на вопросы в заблуждение. Хотя, на мой взгляд, ее влияние иногда преувеличивают. Простое выделение "не" цветом или увеличение размера букв может снизить риск неправильного понимания.
Ж: Спасибо за пояснения! Ты считаешь, что эти рекомендации могут помочь разработчикам и заказчикам тестов избежать этих ошибок?
Ж: ОБсудим порядок разработки теста, поэтому давай перейдем к следующим аспектам в перечне ошибок, совершаемых в профессиональных тестах. Часто упоминается недостаточное внимание к информационной безопасности. Какие методы используют для предотвращения утечек, «ухода» и «увода» данных и обеспечения сохранности тестов в компании заказчика?
Э: С целью обеспечения информационной безопасности профессиональных тестов применяются разнообразные приемы. Крайне важно избегать тестирования на обычной бумаге, и осуществлять надлежащий контроль за респондентами в ходе процесса тестирования онлайн. Эти меры помогают минимизировать риски утечек и обеспечивают стабильность всего процесса использования разработанного теста.
Ж: Звучит жутко интересно. Теперь обратим внимание на разработку тестов для уникальных малочисленных специальностей. Какие сложности могут возникнуть при формировании новых тестов для небольших групп специалистов, особенно если идет разработка теста онлайн?
Э: Действительно, эта проблема актуальна. В случае уникальных малочисленных специальностей, рентабельность и целесообразность применения профессиональных тестов возрастают в облака, рентабельность восстанавливается лишь с увеличением числа протестированных. Однако иногда возникают запросы на разработку тестов для оценки всего 7 или 19 инженеров. Это представляет вызов в плане экономической эффективности для заказчика, и требует особых, изворотливых подходов к разработке.
Ж: Перейдем к следующей ошибке - использованию непроверенных заданий. Какие скрытые параметры тестовых заданий и теста в целом могут повлиять на его эффективность?
Э: Скрытые параметры тестовых заданий, или психометрические параметры, действительно играют важную роль. Эти факторы определяют эффективность теста. Для их выявления необходимо провести апробацию теста на целевой аудитории и детально проанализировать статистику ответов. Некоторые задания могут исказить картину и помешать точному измерению знаний. Эти задания необходимо убрать перед внедрением теста в практическую работу HR.
Ж: И, наконец, самая частая в списке ошибок - отсутствие целостного технологического подхода к тестированию знаний. Расскажи о технологии разработки профессиональных тестов, которая сможет гарантировать высокий результат.
Э: Эта технология играет ключевую роль в создании профессиональных тестов (формирование теста с ответами). Принцип разделения функциональных ролей и зон ответственности позволяет команде экспертов использовать различные компетенции для авторства заданий, методологии и заказчиков оценки. Принцип планирования и контроля помогает создать спецификацию теста, которая становится идеальным образом результата.
Ж: Звучит как сложный, но эффективный процесс разработки тестов. Какие еще шаги включает эта технология?
Э: Две важные части - контроль качества заданий на этапах экспертного и статистического анализа, а также принцип цикличности, (несколько итераций) процесса разработки. После массового тестирования создание теста продолжается и может войти в новую стадию развития. При правильном сопровождении с течением времени тесты становятся только лучше. Стоит только избегать интернет сервисов предоставляющих онлайн разработку тестов автоматически - без участия консультанта, без экспертизы.
Журналист: Спасибо за подробные разъяснения по программе разработки тестов! Эти шаги действительно кажутся важными для создания надежных и эффективных профессиональных тестов".
