Выбор метода

Что это такое

Выбрать метод — значит записать вопрос, на который вы пытаетесь ответить, а затем взять самый дешёвый метод, способный на него ответить. Вопрос определяет метод; однако команда, начавшая с любимого метода, получает опрос, который ничего не объясняет, или серию интервью, которая не скажет, как часто что-то происходит.

Почему это важно

Неверный метод даёт материал, похожий на данные, а воспользоваться им нельзя: опрос, проведённый до того, как стало ясно, что важно, даёт точные ответы на неверные вопросы, а интервью ради оценки рынка — одни байки. Осознанный выбор ещё и делает исследование достаточно маленьким, чтобы его закончить: пять сессий на этой неделе возможны только тогда, когда решено, что эта неделя — про понимание, а не про доказательство.

Ключевые идеи

Сначала сформулируйте вопрос

Одно предложение, на которое можно ответить, с привязанным к нему решением. Если вы не можете сказать, что сделаете иначе в зависимости от ответа, исследование не стоит проводить.

Слабый:   "Нравится ли пользователям новое оформление заказа?"
Сильный:  "Где покупатели, оформляющие заказ впервые, его бросают,
           чтобы знать, какой шаг переделывать в следующем спринте?"
Решение:  если отказы сосредоточены на шаге с адресом, переделываем его.

Вопросам о поведении нужно наблюдение, вопросам о мнении — масштаб

Чтобы понять, почему человеку трудно, нужно от пяти до десяти сессий наблюдения и расспросов, а чтобы узнать, скольким людям трудно, — сотни ответов на один вопрос. Это разные исследования, и путают их постоянно.

Тип вопроса             Метод                     Обычное n
Что здесь происходит?   наблюдение, интервью         5-10
Почему это происходит?  интервью                     5-10
Как часто?              аналитика, опрос        сотни-тысячи
Какой вариант лучше?    эксперимент                 тысячи

Сначала разведка, потом измерение

Качественная работа говорит, что измерять; однако насколько это важно, говорит работа количественная. Начать с цифр означает измерить то, что было легко инструментировать, а не то, что имеет значение.

Соразмеряйте усилия с размером решения

Решение, ради которого стоит неделя работы инженеров, не требует шестинедельного исследования. Запишите размер изменения, на которое вы готовы пойти, и подгоните под него исследование.

Говорите, чего метод не может сказать

У каждого метода есть слепая зона, и её стоит записать рядом с планом: интервью не скажут, как часто это происходит, аналитика не скажет почему, опрос не скажет, что люди делают. Названная слепая зона не даёт команде перечитать результат неверно.

Практика

Превратите три вопроса в три исследования

Возьмите три открытых вопроса из своего бэклога и для каждого напишите вопрос, привязанное решение, метод, число участников и слепую зону.

Готово, когда: ни в каких двух строках не используется один и тот же метод без указанной причины, и в каждой строке названо решение, которое изменится, если ответ окажется отрицательным.

Закройте одно исследование

Возьмите исследование, которое уже запланировано или идёт, и попробуйте свести его к более дешёвому методу, сдвинув на шаг раньше по последовательности, если это возможно.

Готово, когда: вы либо снизили запланированную стоимость, либо написали одно предложение о том, почему более дорогой метод необходим.

Частые ошибки

Начинать с метода — инструмент задаёт ответ, а не вопрос; исправить: сформулируйте вопрос и решение, прежде чем что-то выбирать.
Проводить опрос, чтобы узнать почему — на выходе получаются мнения, упорядоченные по популярности, без объяснений; исправить: сначала проведите интервью, а опросом измерьте масштаб того, что они показали.
Проводить интервью, чтобы оценить рынок — десять человек не дадут пропорцию; исправить: обратитесь к аналитике или опросу, когда уже знаете, что считать.
Не привязать решение — исследование заканчивается, и ничего не меняется; исправить: назовите решение и его владельца, прежде чем кого-то подбирать.
Забыть про слепую зону — команда принимает качественные выводы за количественные; исправить: укажите слепую зону в плане и повторите её при презентации.

Что читать дальше

Пользовательские исследования (03-design-ux/05-user-research) — трек, в начале которого стоит этот выбор метода.
Пользовательские интервью (03-design-ux/20-user-interviews) — метод, к которому стоит обратиться, когда вопрос — «почему».
Проектирование опросов (03-design-ux/21-survey-design) — метод, к которому стоит обратиться, когда вопрос — «сколько».
Количественные UX-исследования (03-design-ux/24-quantitative-ux-research) — количественная сторона этой последовательности.
Дизайн-исследования (03-design-ux/19-design-research) — постановка задачи до выбора любого метода.