В статье про модель Киркпатрика мы сказали: третий уровень (изменение поведения) — это то место, где начинается настоящая оценка эффективности. И там же большинство компаний застревают, потому что не знают, как этот замер выстроить технически. «Замерить поведение» звучит красиво, но что делать в реальности с сотней сотрудников и парой строк в бюджете, непонятно.
Ниже — рабочая методика на 4 шага, которую мы применяем в проектах. Не идеальная, но воспроизводимая.
Шаг 1. Сформулировать поведенческую цель, а не тему
Первая ошибка — курс делается «на тему», а не «на поведение».
Тема: «Управление командой». Поведенческая цель: «После курса руководитель начнёт проводить регулярные one-to-one с каждым подчинённым не реже раза в месяц, с фиксацией результата в общем формате».
Разница огромная. Первая формулировка не даёт понимания, что замерять после курса. Вторая — задаёт метрику сразу.
Правило простое. Поведенческая цель должна отвечать на три вопроса: - Кто (какая аудитория). - Начнёт делать что (конкретное действие). - Как часто и в какой ситуации (условия, регулярность).
Если хоть на один из вопросов нет ответа, поведенческая цель не сформулирована. Курс можно делать, но оценивать его на уровне 3 будет невозможно.
Практический тест. Возьмите готовые учебные цели вашего последнего курса. Замените в них глаголы «знать», «понимать», «разбираться» на пустую строку. Если после этого предложение не имеет смысла, цель поведенческой не была.
Шаг 2. Определить, что реально можно замерить
Не все поведенческие цели одинаково легко замеряются. Есть три категории.
Легко. Действия, которые оставляют цифровой след в системах. Если руководитель после курса должен вносить результаты one-to-one в общую CRM или HRM, есть строка в системе. Если менеджер по продажам должен заполнять поле «возражения клиента» в CRM, есть отчёт. Если сотрудник после курса по кибербезу должен перестать открывать вложения незнакомых отправителей, есть логи почтового шлюза.
Средне. Действия, которые видны руководителю или наблюдателю. Проведение регулярных встреч. Изменение структуры коммуникации. Активность в обсуждениях. Это оценивается через короткие анкеты руководителя раз в 30–60 дней.
Сложно. Действия, которые видны только самому человеку и его непосредственному окружению. Стиль принятия решений. Управление вниманием. Работа с эмоциями. Здесь замеряется через самооценку с временным сдвигом и через качественные наблюдения. Метрика мягкая, но она лучше, чем ничего.
Когда цель поставлена, надо честно определить, в какую категорию она попадает. Если попадает в «сложно», не значит, что не надо замерять. Значит, что нужен другой инструмент.
Шаг 3. Выбрать инструмент под категорию
Для каждой категории есть свои рабочие инструменты.
Категория «Легко» — метрики из систем.
Настраиваете отчёт в CRM/HRM/LMS/системе учёта — тот, который показывает частоту действия до курса и после. Идеально — сравнение с контрольной группой (те, кто ещё не прошли).
Пример. Курс для менеджеров по продажам о работе с возражениями. Метрика — процент карточек клиента в CRM, где заполнено поле «озвученные возражения клиента». До курса — 12%, через 60 дней после курса — 47%. Изменение поведения есть, оно замерено, оно объективно.
Категория «Средне» — анкета руководителя.
Через 30–60 дней после курса руководителю приходит анкета из 4–6 вопросов. Каждый вопрос — про конкретное действие. Например: «Как часто ваш сотрудник за последние 4 недели проводил регулярные встречи 1:1 с прямыми подчинёнными?». Шкала от «никогда» до «регулярно», по 5 точкам.
Правило хорошей анкеты — все вопросы про частоту действия, а не про мнение. Не «изменился ли стиль коммуникации сотрудника?», а «как часто сотрудник теперь фиксирует результат обсуждения письменно?».
Возврат таких анкет обычно 40–60%. Если возврат ниже 30%, значит, анкету не воспринимают как рабочий инструмент. Стоит пересмотреть формулировки, длину и способ доставки.
Категория «Сложно» — самооценка с временным сдвигом.
До курса сотрудник отвечает на 5–7 вопросов о своей типовой работе. Через 60–90 дней после курса — те же вопросы. Сравнивается изменение самооценки.
Часто добавляется третий срез — руководитель отвечает на такие же вопросы про сотрудника. Расхождение самооценки и оценки руководителя — тоже сигнал.
Самооценка — не самый точный инструмент, но он даёт сигнал в областях, которые никак иначе не замерить (лидерский стиль, принятие решений, работа с сомнением).
Шаг 4. Заложить замер до старта, не после
Самая частая ошибка — попытка «замерить, что получилось» после того, как курс уже прошли. В этот момент замер невозможен, потому что нет базы для сравнения. Нет данных «до».
Замер должен быть спроектирован ещё на этапе брифа, до разработки. Три вопроса, которые надо решить до старта.
- Какая поведенческая цель. Что человек должен начать делать иначе.
- Как это будет замерено. Метрика в системе, анкета руководителя, самооценка с сдвигом, комбинация.
- Когда и как получить данные «до». Отчёт из системы за 3 месяца до старта, входная анкета руководителей, входная самооценка участников.
Если ответов нет на этапе брифа, продолжайте задавать вопросы, пока не появятся. Иногда выясняется, что замер невозможен в принципе (нет метрики, нет руководителей, нет доступа к системам). Это тоже полезный результат: значит, стоит скорректировать ожидания от курса.
Обычные подводные камни
Контрольная группа. По-настоящему научный замер требует контрольной группы, которая курс не проходит. В корпоративной практике это почти невозможно (все хотят обучаться). Но иногда можно сделать хотя бы временной сдвиг — часть отдела учится в марте, другая в июне. Первая группа становится «контролем» для второй в апреле-мае.
Эффект новизны. Через 30 дней после курса поведение почти всегда лучше, чем через 90. Люди воодушевлены. Настоящий замер эффекта делается на дистанции 60–90 дней, не сразу.
Атрибуция. Изменение поведения могло случиться не из-за курса, а из-за смены руководителя, реструктуризации, новой мотивационной программы. Всегда фиксируйте контекст. В отчёте пишите «мы наблюдаем изменение X, при этом за период произошли Y и Z, которые могли повлиять».
Что делаем мы
Каждый курс в библиотеке ELC разрабатывается с поведенческой целью в основе. При обсуждении заказной разработки мы всегда закладываем разговор про замер до старта, а не после запуска. Если у вас нет ответа на вопрос «как через 60 дней вы поймёте, что курс сработал», мы задаём его первым и не спешим переходить к разработке.