A/B-тестирование

Что это такое

A/B-тестирование показывает два варианта сопоставимым группам: одна переменная меняется, всё остальное остаётся прежним, а разницу в результате приписывают именно ей, и выбрать между вариантами даёт поведение. Доказательством, а не мнением, отвечает на вопрос «помогает ли это изменение?» только тест.

Почему это важно

Большинство дизайн-изменений выпускают с историей о том, почему они помогут, и изрядная доля этих историй ошибочна. Однако тест превращает историю в число и — что полезнее — решает спор о том, какой из двух разумных вариантов лучше, никого не заставляя терять лицо. Он ещё заводит привычку измерять после релиза, а именно оттуда приходит большая часть знания о настоящих пользователях.

Что в этом треке

Проектирование теста (03-design-ux/39-ab-testing/01-designing-the-test) — гипотеза, выборка и единственное изменение, которые делают результат читаемым.
Интерпретация результата (03-design-ux/39-ab-testing/02-interpreting-the-result) — значимость, эффект новизны и опасность подглядывания в сегменты.

Предварительные требования

Количественные UX-исследования (03-design-ux/24-quantitative-ux-research)

Что читать дальше

Количественные UX-исследования (03-design-ux/24-quantitative-ux-research) — измерительная сторона, на которой всё это строится; начните с неё.
Lean UX (03-design-ux/37-lean-ux) — как тест укладывается в короткий цикл «собери — измерь — узнай».
Google Analytics 4 (GA4) (03-design-ux/06-google-analytics-4-ga4) — отчётность по показателям вариантов в том же инструменте, где живёт воронка.
Пользовательские исследования (03-design-ux/05-user-research) — почему результат теста всё ещё приходится объяснять интервью.