Интерпретация результата — Примеры

Пример 1 — Чтение результата против брифа

Тест остановлен, и в отчёте двенадцать мер, поэтому прочитайте его против согласованного и напишите запись об исходе, которую команда найдёт в следующем квартале.

Бриф: основная мера — завершение оформления, порог +2 пункта,
       откат ниже +0, две полные недели.

Главное в отчёте: время на шаге адреса минус 12%

Решение

Результаты после двух полных недель (условные)
Вариант             посетители  завершение  к контролю
контроль            7 180       9,0%        —
необязательный тел.  7 240       9,4%        +0,4 пункта
интервал на разнице: -0,5 до +1,3 пункта

Решение: откат. Основная мера не прошла свой порог.

Запись об исходе
тестировали: необязательный номер телефона на шаге адреса
мера: завершение +0,4 пункта, интервал через ноль
решение и владелец: откат, команда роста, 14 июня
далее: протестировать порядок полей адреса отдельно

Обычная ошибка — читать отчёт раньше брифа: это возводит самую выгодную вторичную меру в главную. А когда заранее согласованная мера провалилась, выигрыш в скорости уходит в подсказки для следующего теста, а не остаётся победой, и интервал, а не точечная оценка, говорит, что здесь ничего не решено.

Пример 2 — Победа, которая затухает, и сегмент, который ей льстит

Вариант впереди по итогу, а недельная динамика с этим не согласна, поэтому решите, выпускать ли, и удержитесь от сегмента, который выглядит лучше всех.

Условный результат, изменение цвета кнопки, заметное каждому
            неделя 1  неделя 2
контроль    8,9%      9,1%
вариант     13,4%     10,2%

Вид по сегментам, найденный при просмотре: мобильные, интервал выше нуля

Решение

Чтение по неделям: 13,4%, затем 10,2% — эффект затухает к базе
Чтение по сегменту: мобильные в брифе не назывались

Решение: не выпускать. Перемерить цвет через четыре недели.
Следующая гипотеза: мобильные реагируют на изменение; проверить намеренно.

Построение двух недель показывает эффект, дрейфующий обратно к базе, — так выглядит любопытство, а не долговечный выигрыш; разбивка на мобильные найдена после теста, поэтому относится к следующей гипотезе, а не к решению по этому тесту; обычная же ошибка — выпустить число сегмента, и тогда находка задним числом становится продуктовым решением.