2learn

Инструментирование и чтение чисел

Что это такое

Инструментирование определяет события, которые испускает продукт, чтобы выбранную меру можно было посчитать, а чтение — взгляд на эти события без обмана себя. Обе работы идут и до релиза, и после, и обе обычно делают в спешке в самом конце.

Почему это важно

Событие с именем «click» собирает всё и не отвечает ни на что: через полгода уже никто не скажет, означает «начал оформление» загрузку страницы или заполнение первого поля, и старые графики становятся нечитаемыми. Хорошее инструментирование стоит часа решений об именах и держит историю сравнимой годами, а плохое оставляет неоднозначность навсегда. Чтение — та же дисциплина, только вывернутая в обратную сторону: вы проверяете, что могло бы сделать число лучше без реального улучшения.

Ключевые идеи

Именуйте события по действию пользователя, а не по виджету

checkout_address_submitted переживает редизайны, а green_button_clicked — нет, поэтому свойства, которые понадобятся для сегментации позже (канал, устройство, новый ли пользователь), закладывайте в тот момент, когда событие определяется.

checkout.started        свойства: channel, is_new_user, item_count
checkout.address_failed свойства: reason, attempt_number
checkout.confirmed      свойства: channel, payment_method, value

Определяйте успех и сбой на одном пути

Событие ошибки без парного события успеха нельзя превратить в долю, поэтому соединяйте их сразу, пока пишете.

Один план разметки, записанный

Нужна единая таблица из события, триггера, свойств и владельца: всё, чего нет в плане, не размечается, а всё, что размечено, но в план не попало, удаляется — именно это делает историю достоверной через год.

Чтение: сначала проверьте знаменатель

Спросите, что изменилось в том, кто входит в выборку: скачок регистраций часто приходит из маркетингового канала с другой долей завершения, а не из лучшего продукта.

Было:  10 000 визитов,    900 регистраций  = 9,0%
Стало: 31 000 визитов, 1 550 регистраций  = 5,0%
Чтение: пришёл платный канал; продукт не менялся.
        Разбейте по каналу, прежде чем приводить любую из цифр.

Чтение: ищите конвейер, а не только метрику

Метрику могут сдвинуть изменение разметки, изменение согласия на cookie, фильтр ботов или релиз нового клиента, однако при этом никто не ведёт себя иначе, поэтому держите датируемый журнал изменений разметки рядом с графиком.

Практика

Напишите план разметки для одного потока

Для основного потока напишите таблицу событий с триггером, свойствами и владельцем, а затем реализуйте и проверьте два события сквозным образом, наблюдая, как каждое из них приходит с верными свойствами.

Готово, когда: два события появляются в инструменте с ожидаемыми свойствами, и в плане нет события без владельца.

Разберите скачок

Найдите скачок или ступенчатое изменение в любой метрике, которой владеете, объясните его как минимум двумя конкурирующими гипотезами и найдите доказательство, которое их разводит.

Готово, когда: вы можете назвать изменение разметки, сдвиг канала или сезонный эффект за движением — или прямо сказать, что доказательства не разводят объяснения.

Частые ошибки

  • События с именами виджетов — след рвётся на следующем редизайне; исправить: именуйте события по действию пользователя и держите свойства стабильными.
  • Нет плана разметки — история становится нечитаемой, и никто не знает, что изменилось; исправить: держите одну датируемую таблицу с владельцем каждого события.
  • Меняют разметку и читают это как поведение — скачок метрики подают как победу продукта; исправить: отмечайте каждое изменение разметки рядом с графиком.
  • Игнорируют, кто в знаменателе — сдвиг состава маскируется под изменение конверсии; исправить: сегментируйте и сравнивайте, прежде чем приводить агрегат.
  • Доверяют агрегату больше его воронки — верхнее число скрывает, какой шаг сдвинулся; исправить: читайте воронку шаг за шагом до заголовка.

Что читать дальше

Разобранные примеры

Файлы cookie аналитики ставятся только с вашего согласия. До вашего выбора ничего не загружается и никуда не отправляется.