Проектирование теста — Примеры

Пример 1 — Превращение просьбы в бриф теста

Коллега просит два изменения сразу на странице товара, поэтому напишите бриф, который действительно можно будет прочитать после теста: убеждение, единственное изменение, основную меру и порог.

Просьба, как написано в сообщении
"Попробуй кнопку покупки побольше и текст покороче на странице товара.
 Должно ощущаться срочнее."

Решение

Мы считаем, что перенос цены рядом с кнопкой покупки повысит
добавления в корзину, потому что покупатели сейчас ищут цену.
Изменение: одно — цена переезжает. Размер кнопки и текст не трогаем.
Основная мера: добавление в корзину на посетителя.
Порог: +2 процентных пункта, иначе откат.
Длительность: две полные недели, начиная с понедельника.

Обычная ошибка — тестировать обе идеи вместе: получается число, с которым нечего делать, и прячется, какое изменение сделало работу. А бриф называет одно изменение, поэтому рост можно приписать, а плоский результат — диагностировать, и порог в нём записан до запуска, так что исход нельзя задним числом прочитать как успех.

Пример 2 — Назначение выборки и правила распределения

Бриф согласован, а изменение ещё не собрано, поэтому посчитайте, сколько должен идти тест, и напишите правило, кто видит какой вариант.

Трафик и база (условные)
База добавлений в корзину:        4,0% на посетителя
Наименьший рост, стоящий действий: 1,0 пункта
Трафик:                           3 000 посетителей в день

Решение

Нужная выборка на вариант: около 6 000 посетителей
Раздел на два при 3 000 в день: две полные недели, стоп в конце 14-го дня

Правило распределения
единица:    id посетителя, хешируется при первом визите
стабильно:  вернувшийся посетитель остаётся в варианте, увиденном первым
дата стопа: из арифметики выше, а не из границы спринта

Вывод даты остановки из роста, ради которого стоит действовать, держит длительность честной, а назначение по посетителю не даёт одному человеку встретить оба варианта и испортить оба; обычная же ошибка — запускаться на том трафике, что есть, и проверять основную меру ежедневно, из-за чего тест заканчивается в самый шумный день.