Эффективное создание тестов: от планирования до разработки

Поэтапное создание и разработка теста для проверки, и для электронного обучения

 Девиз: "Разработка теста на заказ для it: от кодеров и тестировщиков до оценочных вопросников для сервисного инженера или проектировщика" 

Интервью с экспертом LiCO по созданию заказных тестов 

Ж: Добрый день! Сегодня мы беседуем о такой сложной области как написание или создании тестов и как проходит проверка квалификации персонала, включая АЙТИ. Начнем с основ. Какие важные моменты следует учитывать при планировании этапов создания тестовых заданий?

Э: Приветствую! При создании тестовых вопросов и практических заданий важно определить, какие знания нужно проверить, и тогда будут понятны и вопросы и задания необходимые для каждой цели.

Решение, нужен ли тест на знание и какого уровня это знание. Кто это? Это начинающий, новичок, опытный инженер, кодеер, а может сервис специалист, или проектировщик или руководитель проектировщиков. Вот такой подход на основе задач заказчика, является первым шагом.

Также стоит учесть количество заданий, которое обеспечит полное охватывание материала и области знаний тестируемого.

Ж: А как определить проходной балл для тестирования если тест является частью оценки профессиональных квалификаций?

Э: Определение проходного балла требует взвешенного подхода. Важно учесть, что разные цели могут требовать разных уровней знания или понимания материала, как мы помним это тоже разные вещи. Проходной балл может быть высоким для важных целей и ниже для менее значимых.

Ж: На этапе составления тестовых заданий упоминаются разные типы вопросов. Как выбрать подходящие если идет проверка уровня квалификации?

Э: Использование различных типов вопросов обогащает тест, но делает его в обработке более сложным. Мы рекомендуем комбинировать вопросы, чтобы поддерживать средний уровень. Вот вопросы "Верно/неверно", вопросы с множественным выбором, задания на соответствие, перетаскивание и другие типы вопросов создают разнообразие для тестируемого.

Ж: Как обеспечить точность и надежность тестов?

Э: Хороший тест, когда идет проверка квалификации специалистов, должен быть как точным, так и надежным. Точность означает, что он отражает достижение цели (например выявить знания кандидата по нужной теме), а надежность подразумевает стабильность результатов. Это важно для правильной оценки знаний и умений работников или поступающих на работу.

Ж: Какие последствия для участников тестирования в могут возникнуть после тестирования, какова будет методика оценки уровня квалификации работников?

Э: Последствия тестирования напрямую влияют на сотрудника. Если они успешно прошли тест, это подтверждает достижения некого уровня. В случае неудачи, тест предоставляет информацию для обучения и улучшения результатов в будущем. Либо могут быть сделаны выводы для руководства организацией, решения могут быть различны.

Ж: Еще один вопрос. Какие типы вопросов, по вашему мнению, наилучшим образом подходят для электронного обучения?

Э: В электронном обучении эффективными считаются вопросы разного формата. "Верно/неверно" и вопросы с множественным выбором позволяют быстро проверить основные знания. Однако, для более глубокого понимания материала важны эссе и практические задания на соответствие, которые требуют анализа и применения знаний.

Ж: Как вы относитесь к использованию технологий, таких как вставка фотографий, рисунков или видео в тесты, где важна проверка технической квалификации?

Э: Технологии играют ключевую роль в современном тестировании. Вставка фотографий или видео в тесты делает их как более интересными, так и позволяет участников применять знания в контексте предложенных реальных ситуаций из практики действующих предприятий.

Ж: Как часто следует обновлять тесты для поддержания их актуальности?

Э: Актуализация тестов важна для соответствия требованиям времени и особенно, когда требуется оценка технической квалификации. Рекомендуется обновлять тесты регулярно, особенно при изменениях документов, появления новых технологий в отрасли, или при расширении требований в области.

Ж: Давайте вернемся к обсуждению важности последствий тестирования после обучения, по системе оценки профессиональных квалификаций. Вы подчеркиваете, что важно сопоставить важность знаний и навыков с конкретными последствиями теста. Можете ли разъяснить, как вы определяете, насколько важно, что участники обучения достигли учебных целей?

Эксперт: Конечно, это ключевой момент. Определение важности связано с самой сутью обучения. Если учебная цель является критической для дальнейшей работы, то и последствия теста должны быть соответствующими. Например, если на кону стоит карьера, последствия теста должны быть очень серьезными.

Ж: Понятно. Теперь о практичности тестов. Вы утверждаете, что иногда тест может быть неидеальным. Какие факторы могут влиять на это и как принимать решение использовать неидеальный тест?

Э: Действительно, создание идеального теста не всегда практично, особенно с учетом времени и затрат, так как играет важную роль количество заданий и вопросов в разработанном по заказу тесте. Факторы, такие как сложность оценки, могут сделать идеальный тест слишком длинным, более 100 вопросов,  а проходить такой тест долго и это утомляет сотрудника. В этом случае, важно рассмотреть важность каждой отдельной части знаний, разделить на 4 области, например, и принять решение о прохождении каждой отдельной части в разное время.  

Ж: Прежде чем перейти к заключительному этапу обсуждения, давайте обсудим бета-тестирование самого опросника. Какие этапы проверки его соответствии заданию, бета-тестирования необходимо пройти, прежде чем тест использовать на полную мощность, когда его примет система оценки профессиональных квалификаций?

Э: После окончания создания теста, не стоит сразу же оценивать им всех участников. Перед внедрением теста настоятельно рекомендуется провести заключительную проверку, включая сопоставление целей теста опросника с тестовыми заданиями и их количеством. Затем следует бета-тестирование с небольшим количеством сотрудников из целевой аудитории. Это поможет выявить потенциальные проблемы и проверить реакцию прошедших тест в реальных условиях.

Ж:  Хорошо, вот прошел этап и закончена разработка новых тестов. Наконец, после внедрения теста, какие данные следует оценивать для его улучшения?

Эксперт: Когда люди начинают проходить этот конкретный тест, поступает много информации, которую можно использовать для оценки и улучшения как самих вопросов, их последовательности, формулировок возможных ответов, иллюстраций к ним и практических заданий, становится точно понятно, что вызывает сложности, а  что слишком легко для целевой аудитории теста.

Это включает в себя устные реакции сотрудников, средний балл по тесту, диапазон оценок, процент успешных и провальных прохождений, а также вопросы, на которые они отвечают быстро, или наоборот - тянут с выбором ответа. Эти данные позволяют анализировать эффективность набора выбранных вопросов, и вносить необходимые изменения для оптимизации.

При планировании учитывайте следующие моменты: Какие тестовые задания вам нужно создать для каждой учебной цели – тест на знание или тест на основе задач? Сколько всего тестовых заданий нужно создать? Помните, что как минимум один тестовый элемент (вопрос или задание) необходим для каждой учебной цели.

Но для некоторых целей вы можете использовать и больше заданий. Например, некоторые цели могут быть важнее других – в этом случае можно создать больше тестовых заданий, чтобы вы были уверены, что сотрудники справляются с ними.