Высокие оценки в анкете — признак хорошего курса
Анкета показывает, понравился ли курс. Научил ли он — не показывает.
Пример
Почему так
После курса студенты заполняют анкету: «Оцените курс от 1 до 10». Средний балл 9,2 — курс считают успешным. Это первый уровень модели Киркпатрика, реакция. До поведения и результата он не дотягивается.
Связь между «понравилось» и «научился» слабая. Трейси Ситцманн с коллегами в 2008 году свели данные десятков исследований: реакция студентов почти не предсказывает, что они знают и умеют после обучения. Мета-анализ Бодо Ютла 2017 года показал то же для университетских оценок преподавателей.
Иногда связь обратная. В 2019 году в Гарварде студенты физики учились на активных занятиях и на обычных лекциях. На активных они выучили больше, но оценили их ниже: было тяжело, и это ощущалось как «я ничего не понимаю».
Высокая оценка часто значит: было легко, весело и спикер харизматичный. Это приятно, но это не цель.
Что делать
- Меряйте, что студенты умеют: одно и то же задание до и после курса.
- Через месяц проверьте, применяют ли они это на работе.
- Если анкета нужна, спрашивайте о применении: «Что вы сделаете иначе на следующей неделе?»
Источники
- Kirkpatrick D. Evaluating Training Programs: The Four Levels (1994)
- Sitzmann T., Brown K., Casper W., Ely K., Zimmerman R. A review and meta-analysis of the nomological network of trainee reactions (2008)
- Uttl B., White C., Gonzalez D. Meta-analysis of faculty's teaching effectiveness: Student evaluation of teaching ratings and student learning are not related (2017)
- Deslauriers L. et al. Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom (2019)
- Thalheimer W. Performance-Focused Smile Sheets (2016)