2learn

Интерпретация результата

Что это такое

Значимость — только первый из этих трёх вопросов и самый неинтересный. Истолковать результат теста значит решить, реальна ли измеренная разница, вызвана ли она вашим изменением и сохранится ли она.

Почему это важно

Тест даёт число для каждой записанной меры, поэтому так много команд находят победителя в каждом тесте и выпускают изменения, которые не помогают. Однако правильное чтение результата защищает решение: оно отделяет реальный эффект от шума, реальный эффект от всплеска новизны, а результат сегмента — от выборки, слишком маленькой, чтобы что-то утверждать.

Ключевые идеи

Начните с основной меры и брифа

Сначала откройте бриф и сравните заранее согласованную основную меру с заранее согласованным порогом. Всё остальное в отчёте — диагностика, а чтение диагностики первым превращает нулевой результат в «победу».

В брифе: завершение, +2 процентных пункта, две недели, откат ниже +0.
Результат: завершение +0,4 пункта (незначимо), время на задачу -12%
Чтение: основная мера провалилась. Выигрыш в скорости — подсказка для
        следующего теста, а не причина оставить вариант.

Значимость — это пол, а не цель

Результат, вышедший за свой интервал, вряд ли шум — и только; он не говорит, что эффект большой или что он сохранится. Поэтому сообщайте интервал, а не только точечную оценку.

Подозревайте эффект новизны на заметных изменениях

Люди кликают то, что ново: изменение, выигравшее на первой неделе и сползшее к базе к третьей, измерило любопытство. Смотрите на динамику внутри теста, а не только на итог.

Неделя 1  вариант B +5,1%
Неделя 2  вариант B +1,2%
Чтение: затухающий эффект — это новизна, пока не доказано обратное.

Не идите искать победивший сегмент

Пять сегментов гарантируют, что один покажется значимым случайно, поэтому сегменты, названные в брифе, остаются гипотезами, а найденные после — начало следующего теста, а не вывод этого.

Выпустить, откатить или протестировать снова — и записать это

Результат без решения тратит трафик впустую, поэтому запишите исход там, где команда его найдёт: что тестировали, меру, интервал, решение и дату.

Практика

Прочтите один результат против его брифа

Возьмите завершённый тест и сверьте основную меру с порогом, затем посмотрите интервал, а затем постройте две недели по отдельности.

Готово, когда: вы можете сказать, реален ли эффект, затух ли он и каково заранее согласованное решение.

Напишите запись об исходе

Напишите половину страницы: гипотеза, мера и интервал, решение, владелец и дата, — и храните там, где следующий человек сможет её найти.

Готово, когда: запись позволяет спланировать следующий тест, не открывая инструмент аналитики.

Частые ошибки

  • Читают отчёт раньше брифа — самая выгодно выглядящая вторичная мера становится главной; исправить: сначала сверьте заранее согласованную основную меру и порог.
  • Считают значимость победой — реальный, но крошечный эффект выпускают как успех; исправить: сравните интервал с размером, ради которого стоит действовать.
  • Игнорируют затухающий эффект — новизну выпускают как долговечное улучшение; исправить: постройте недели по отдельности и перемерьте через месяц.
  • Выкапывают сегменты — подгруппу, найденную после теста, сообщают как находку; исправить: считайте найденные сегменты следующей гипотезой.
  • Нет записанного решения — тот же тест в следующем квартале запускает другая команда; исправить: опубликуйте короткую запись об исходе с владельцем и датой.

Что читать дальше

Разобранные примеры

Файлы cookie аналитики ставятся только с вашего согласия. До вашего выбора ничего не загружается и никуда не отправляется.