2learn

Maze

Что это такое

Maze — инструмент немодерируемого тестирования: вы публикуете прототип и набор задач, делитесь ссылкой и собираете результаты тех, кто проходит всё сам, без модератора, а инструмент по ходу считает автоматические метрики — долю завершения, отвал на каждом экране, время на задачу и тепловые карты кликов.

Почему это важно

Немодерируемые прогоны масштабируются так, как модерируемым сессиям недоступно: участники могут быть где угодно и в любое время, а цифры накапливаются без дневника фасилитатора. Однако выигрыш этот есть только там, где у вопроса есть исчисляемый ответ: найдут ли люди это, где они останавливаются, какой из двух путей короче. Именно для таких вопросов цена участника намного ниже, чем у модерируемой сессии.

Ключевые идеи

Обращайтесь к нему, когда задача простая, а ответ исчисляем

Немодерируемый формат работает лучше всего там, где задаче не нужно подбадривания, а метрика однозначна. Чем сильнее задача зависит от объяснений, подбадривания или уточняющих вопросов, тем хуже он подходит.

Подходит                              Не подходит
найдёт ли человек ссылку на возврат   почему он сначала посмотрел именно там
какая из двух меток работает          чего он ожидал
где люди останавливаются в пути       стоит ли эта идея разработки

Цена потери модератора — это и есть вся история

Без модератора некому сказать «продолжайте», некому заметить момент замешательства и некому спросить, почему участник нажал не туда, — вы получаете «что» и никогда «почему». Относитесь к немодерируемому исследованию как к локатору: оно лишь подсказывает, где проводить модерируемую сессию.

Пишите задачи короткими и простыми инструкциями

Никакого контекста, никаких подбадривающих слов, никакого маршрута: участник читает задачу один, поэтому любая двусмысленность в формулировке превращается в шум в данных.

Слабее   "Попробуйте найти, где вы поменяли бы адрес доставки."
Лучше    "Вы переехали. Обновите адрес доставки."

Читайте отвал на уровне экрана, а не итоговую цифру

Доля завершения усредняет весь путь целиком, а полезная цифра — та, где люди останавливаются: экран, теряющий половину участников, и есть находка, а показатель по всей задаче её прячет.

Говорите, чего данные сказать не могут

Немодерируемые метрики не отличают участника, который не понял задачу, от того, кто нашёл настоящий изъян, поэтому укажите это ограничение в отчёте и назначьте модерируемую сессию для того шага, где случился отвал.

Практика

Запустите немодерируемый тест из трёх задач

Напишите три простые задачи для одного пути, опубликуйте их по ссылке и соберите не менее десяти прохождений.

Готово, когда: вы можете назвать экран с наибольшим отвалом и сколько участников до него дошло.

Продолжите отвал двумя модерируемыми сессиями

Возьмите худший экран из немодерируемого прогона и проведите по нему две модерируемые сессии.

Готово, когда: вы можете одной фразой объяснить, почему люди остановились, — то, чего одни немодерируемые метрики сказать не могли.

Частые ошибки

  • Использование для вопросов «почему» — вы получаете пути без причин; исправить: локализуйте проблему этим инструментом, а для объяснения проводите модерируемую сессию.
  • Размытые или подбадривающие формулировки задач — участники понимают задачу по-разному, и цифры становятся шумом; исправить: пишите простые инструкции без контекста.
  • Чтение только доли завершения — проблемный экран прячется внутри среднего; исправить: читайте отвал по каждому экрану.
  • Без проверки качества участников — отвечает любой, у кого есть ссылка, включая людей вне целевой группы; исправить: добавьте короткий вопрос для отсева и опишите выборку.
  • Отношение к выборке как к репрезентативной — выборка по ссылке самоотбирается; исправить: описывайте, кто ответил, и не делайте заявлений о размере рынка.

Что читать дальше

Разобранные примеры

Файлы cookie аналитики ставятся только с вашего согласия. До вашего выбора ничего не загружается и никуда не отправляется.