2learn

Проектирование теста

Что это такое

Спроектировать тест значит написать гипотезу, выбрать единственное изменение, определить основную меру и размер выборки и договориться о правиле решения — всё до того, как первый посетитель будет отнесён к варианту.

Почему это важно

Почти каждый нечитаемый результат теста был нечитаемым по замыслу: меняли две вещи сразу, меру выбирали после факта или тест останавливали в момент, когда он выглядел хорошо. Это не проблемы анализа, а решения, принятые слишком поздно, и час, потраченный на проектирование, превращает месяц трафика в ясный ответ.

Ключевые идеи

Напишите гипотезу с направлением и порогом

Скажите, что, по вашему мнению, произойдёт, по какой мере, на сколько и к какому сроку: гипотезу без порога можно объявить победителем только задним числом.

Мы считаем, что необязательный номер телефона на шаге адреса
повысит завершение оформления, потому что новые покупатели бросают,
когда их просят дать номер, который они ещё оформляют.
Основная мера: завершение оформления на посетителя.
Порог: рост минимум на 2 процентных пункта, иначе откат.
Длительность: две полные недели, начиная с понедельника.

Меняйте одну вещь

Два изменения сразу не скажут, какое сработало, а нулевой результат нельзя истолковать, поэтому две идеи тестируют последовательно или применяют факторный план осознанно, а не случайно.

Определите выборку до того, как смотреть

Прикиньте, сколько посетителей на вариант нужно для роста, который вам важен, и пусть это задаст длительность: трафик, слишком тонкий для самого маленького стоящего роста, — сигнал тестировать что-то покрупнее или другим способом.

База 9,0%. Хотим заметить 2 пункта -> нужно примерно 3 500 на вариант.
При 250 конверсиях в неделю, разделённых на два варианта, ведите
две полные недели и остановитесь.

Рандомизируйте правильную единицу и держите её стабильной

Назначайте по посетителю, а не по просмотру страницы, иначе человек увидит оба варианта и испортит оба, поэтому назначение держат стабильным на всю длительность, чтобы вернувшиеся пользователи оставались в своём варианте.

Зафиксируйте защитные меры рядом с основной

Заранее решите, что не должно ухудшиться: доля ошибок, обращения в поддержку, производительность страницы, выручка на посетителя; рост завершения, купленный более медленной страницей, не победа.

Практика

Напишите бриф теста

Для одного изменения, которое вот-вот выпустите, напишите на одной странице гипотезу, единственное изменение, основную меру, защитную меру, необходимую выборку и дату остановки.

Готово, когда: коллега может прочесть бриф и сказать, какой результат заставит вас откатить изменение.

Посчитайте выборку до сборки

Возьмите базовую долю и самый маленький рост, на который вы бы отреагировали, и посчитайте необходимую выборку на вариант и календарную длительность, которую задаёт трафик.

Готово, когда: дата остановки выведена из арифметики, а не из границы спринта, и записана.

Частые ошибки

  • Два изменения сразу — победителя не приписать, а проигравшего не диагностировать; исправить: одно изменение на тест, один тест за раз на одной воронке.
  • Останавливают, когда выглядит хорошо — самые ранние результаты самые шумные, и победитель откатывается; исправить: задайте длительность до запуска и не подглядывайте в основную меру.
  • Выбирают меру после факта — из нескольких мер одна обязательно покажется значимой; исправить: назовите основную меру в брифе.
  • Рандомизируют по просмотру — один и тот же человек видит оба варианта; исправить: назначайте по посетителю и держите назначение стабильным.
  • Нет защитной меры — локальная победа выходит в релиз со скрытой ценой в другом месте; исправить: назовите меры, которые не должны ухудшиться, до старта.

Что читать дальше

Разобранные примеры

Файлы cookie аналитики ставятся только с вашего согласия. До вашего выбора ничего не загружается и никуда не отправляется.