Написание нейтральных вопросов
Что это такое
Нейтральный вопрос спрашивает об одном — словами, которые все респонденты читают одинаково, и с пространством ответов, куда попадает их собственный. Нейтральность не про вежливость: из вопроса убирают всё, что намекает на желаемый ответ.
Почему это важно
Эффект измерим и велик. Нагрузите вопрос похвалой концепции или предложите только «согласен / не согласен» — и результат сдвинется сильнее, чем разница, ради обнаружения которой опрос запускали. Однако на выходе получается процент, и смещение задним числом невидимо: по 78% согласия никто не скажет, что вопрос сделал согласие лёгким ответом.
Ключевые идеи
Уберите наводку
Слова, которые оценивают, — «легко», «удобно», «улучшилось», «проблема» — несут желаемый ответ внутри себя. Спрашивайте о поведении, а суждение выводите из него.
С наводкой: «Насколько легко было найти нужное?»
Нейтрально: «Сколько времени у вас заняло найти нужное?»
Варианты: меньше 30 секунд / 30 с-2 мин / 2-5 мин /
больше 5 мин / не нашёл
Нейтральная версия имеет факт в качестве ответа, поэтому его можно сверить с аналитикой.
Разделяйте всё, где есть «и»
Двойной вопрос усредняет два ответа и не сообщает ни одного. На «Страница была понятной и быстрой?» не ответит тот, кому она показалась понятной, но медленной.
Двойной: «Оформление заказа было понятным и быстрым?»
Разделить: «Насколько понятными были шаги?» очень / скорее / не очень / совсем нет
«Сколько заняла оплата?» меньше 10 с / 10-30 с / 30 с-1 мин / больше 1 мин
Охватите всё пространство ответов
Вынужденный выбор между двумя вариантами выдумывает результат. Включите нейтральную середину, когда она есть, «не знаю» там, где респондент может действительно не знать, и «предпочитаю не отвечать» для всего личного.
Не спрашивайте о том, чего они знать не могут
Отношение к продукту, которым они никогда не пользовались, воспоминание о конкретной дате несколько месяцев назад и оценки собственного будущего поведения — всё это даёт шум. Спрашивайте о самом недавнем случае с ограниченным окном: «за последние семь дней».
Порядок для потока, а не для мнения
Ранние вопросы настраивают поздние. Ставьте общие и безобидные вопросы первыми, держите несвязанные шкалы порознь и перемешивайте порядок вариантов там, где сам порядок несёт смысл.
Практика
Перепишите три наводящих вопроса
Возьмите три вопроса из живого опроса в своей организации. Для каждого напишите наводящие слова, которые вы убрали, нейтральную замену и варианты ответа, которые охватывают всё пространство.
Готово, когда: коллега, который читает только три ваших переписанных вопроса, не может сказать, какой ответ вы ожидаете, и у каждой переписанной версии есть вариант, подходящий респонденту с плохим опытом.
Проведите тест чтения вслух
Прочитайте каждый вопрос вслух одному человеку и запишите, что он отвечает, прежде чем показывать варианты. Затем покажите варианты.
Готово, когда: для каждого вопроса его устный ответ попадает в один из вариантов, и выбранный им вариант совпадает с тем, что он сказал.
Частые ошибки
- Оценочные формулировки — «насколько легко», «насколько удобно» и «насколько вы удовлетворены» заранее задают ответ; исправить: спрашивайте о поведении или о длительности.
- Двойные вопросы — две идеи дают одно непригодное среднее; исправить: разделите их и считайте каждую половину отдельно.
- Вынужденный выбор без середины — респонденты выбирают сторону, которой не придерживаются; исправить: добавьте нейтральный вариант и вариант «не применимо».
- Наводящий порядок ответов — первый вариант собирает клики; исправить: перемешивайте там, где порядок произволен.
- Вопрос о будущем — предсказания не данные; исправить: спрашивайте о самом недавнем случае в коротком окне.
Что читать дальше
- Проектирование опросов (03-design-ux/21-survey-design) — трек, который открывает эта глава.
- Выборка и чтение результатов (03-design-ux/21-survey-design/02-sampling-and-reading-the-results) — что ответы представляют, а что нет.
- Пользовательские интервью (03-design-ux/20-user-interviews) — метод, который стоит провести до написания вопросов для масштабирования.
- Количественные UX-исследования (03-design-ux/24-quantitative-ux-research) — как поставить числа из опроса рядом с поведенческими измерениями.