2learn

Что измерять

Что это такое

Выбрать меру — значит выбрать одно число, которое изменило бы ваше мнение, и определить его достаточно точно, чтобы его можно было посчитать одинаково дважды. Воронки, отвал, успешность задачи и время на задачу — четыре рабочие лошадки: каждая отвечает на свой вопрос, и у каждой есть свой способ ввести вас в заблуждение.

Почему это важно

Команда, которая измеряет всё, получает дашборд, который никто не читает, и число для каждого спора, а команда, которая плохо измеряет одно, получает уверенный ответ на неверный вопрос — «конверсию», у которой числитель и знаменатель тихо переопределили между релизами. Решение о мере, принятое до сборки, ещё и не даёт выбрать результат задним числом, после того как он пришёл.

Ключевые идеи

Воронка называет шаги и единицу

Напишите упорядоченные шаги и скажите, что считается единицей на каждом: именно неоднозначность здесь заставляет два отчёта об одной воронке расходиться.

Воронка: в корзину -> открыть оформление -> ввести адрес -> оплатить -> подтверждено
Единица: один человек, только первая попытка, окно 24 часа
Отчёты:  количество по шагам и доля перехода между шагами

Если считать сессии вместо людей, верх воронки на общих устройствах завышается, а если считать повторные попытки, теряется доля сбоев второй попытки.

Отвал указывает место, но не объясняет

Самый большой провал подсказывает, где смотреть, однако он ничего не объясняет: прежде чем что-то менять, соедините его с пятью сессиями на этом шаге.

Шаг                Люди   Доля шага
открыть оформление  900     -
ввести адрес        720    80%
оплатить            300    42%   <- смотреть здесь
подтверждено        285    95%

Успешность задачи бинарна и требует определения

«Выполнили ли они её?» должно решаться правилом, написанным заранее — в пределах лимита времени, без помощи, по задуманному пути, — потому что всё более мягкое превращается в суждение о том, насколько они старались.

Время на задачу требует начала и конца, которые вы контролируете

Отсчёт идёт от первого клика в задаче до подтверждения, а не от загрузки страницы до последнего клика, и сообщать нужно медиану, а не среднее: несколько человек, оставивших вкладку открытой, потянут среднее за собой.

Одна основная мера на вопрос

Всё остальное — диагностика: назовите основную меру и защитные меры, которые не должны ухудшиться (ошибки, обращения в поддержку, отказ), а остальное игнорируйте, пока вопрос не изменится.

Практика

Определите одну воронку

Выберите поток, который волнует вас больше всего, напишите его шаги, единицу, окно и защитную меру, а затем посчитайте её один раз вручную по сырым событиям.

Готово, когда: ваше письменное определение позволяет коллеге воспроизвести ваш подсчёт с точностью до нескольких процентов, и вы можете назвать самый большой отвал.

Сначала напишите правило решения

Для одного вопроса напишите число, которое заставило бы вас действовать, и число, которое заставило бы его не трогать, — до того, как посмотрите на данные.

Готово, когда: оба порога записаны с датой, и ни один не был изменён после того, как пришли числа.

Частые ошибки

  • Измеряют всё — дашборд не читают, а основная мера неясна; исправить: одна основная мера на вопрос вместе с защитными.
  • Переопределяют меру между релизами — кажущееся улучшение оказывается лишь сменой определения; исправить: запишите определение рядом с графиком и версионируйте его.
  • Считают сессии как людей — общие устройства завышают цифры; исправить: укажите единицу явно и держите её неизменной.
  • Считают отвал диагнозом — команда чинит симптом, а доля не меняется; исправить: посмотрите сессии на этом шаге, прежде чем его менять.
  • Сообщают средние по времени на задачу — горстка заброшенных вкладок перекашивает число; исправить: сообщайте медиану и разброс.

Что читать дальше

Разобранные примеры

Файлы cookie аналитики ставятся только с вашего согласия. До вашего выбора ничего не загружается и никуда не отправляется.