Написание нейтральных вопросов

Что это такое

Нейтральный вопрос спрашивает об одном — словами, которые все респонденты читают одинаково, и с пространством ответов, куда попадает их собственный. Нейтральность не про вежливость: из вопроса убирают всё, что намекает на желаемый ответ.

Почему это важно

Эффект измерим и велик. Нагрузите вопрос похвалой концепции или предложите только «согласен / не согласен» — и результат сдвинется сильнее, чем разница, ради обнаружения которой опрос запускали. Однако на выходе получается процент, и смещение задним числом невидимо: по 78% согласия никто не скажет, что вопрос сделал согласие лёгким ответом.

Ключевые идеи

Уберите наводку

Слова, которые оценивают, — «легко», «удобно», «улучшилось», «проблема» — несут желаемый ответ внутри себя. Спрашивайте о поведении, а суждение выводите из него.

С наводкой: «Насколько легко было найти нужное?»
Нейтрально: «Сколько времени у вас заняло найти нужное?»
Варианты:   меньше 30 секунд / 30 с-2 мин / 2-5 мин /
            больше 5 мин / не нашёл

Нейтральная версия имеет факт в качестве ответа, поэтому его можно сверить с аналитикой.

Разделяйте всё, где есть «и»

Двойной вопрос усредняет два ответа и не сообщает ни одного. На «Страница была понятной и быстрой?» не ответит тот, кому она показалась понятной, но медленной.

Двойной:    «Оформление заказа было понятным и быстрым?»
Разделить:  «Насколько понятными были шаги?»  очень / скорее / не очень / совсем нет
            «Сколько заняла оплата?»          меньше 10 с / 10-30 с / 30 с-1 мин / больше 1 мин

Охватите всё пространство ответов

Вынужденный выбор между двумя вариантами выдумывает результат. Включите нейтральную середину, когда она есть, «не знаю» там, где респондент может действительно не знать, и «предпочитаю не отвечать» для всего личного.

Не спрашивайте о том, чего они знать не могут

Отношение к продукту, которым они никогда не пользовались, воспоминание о конкретной дате несколько месяцев назад и оценки собственного будущего поведения — всё это даёт шум. Спрашивайте о самом недавнем случае с ограниченным окном: «за последние семь дней».

Порядок для потока, а не для мнения

Ранние вопросы настраивают поздние. Ставьте общие и безобидные вопросы первыми, держите несвязанные шкалы порознь и перемешивайте порядок вариантов там, где сам порядок несёт смысл.

Практика

Перепишите три наводящих вопроса

Возьмите три вопроса из живого опроса в своей организации. Для каждого напишите наводящие слова, которые вы убрали, нейтральную замену и варианты ответа, которые охватывают всё пространство.

Готово, когда: коллега, который читает только три ваших переписанных вопроса, не может сказать, какой ответ вы ожидаете, и у каждой переписанной версии есть вариант, подходящий респонденту с плохим опытом.

Проведите тест чтения вслух

Прочитайте каждый вопрос вслух одному человеку и запишите, что он отвечает, прежде чем показывать варианты. Затем покажите варианты.

Готово, когда: для каждого вопроса его устный ответ попадает в один из вариантов, и выбранный им вариант совпадает с тем, что он сказал.

Частые ошибки

  • Оценочные формулировки — «насколько легко», «насколько удобно» и «насколько вы удовлетворены» заранее задают ответ; исправить: спрашивайте о поведении или о длительности.
  • Двойные вопросы — две идеи дают одно непригодное среднее; исправить: разделите их и считайте каждую половину отдельно.
  • Вынужденный выбор без середины — респонденты выбирают сторону, которой не придерживаются; исправить: добавьте нейтральный вариант и вариант «не применимо».
  • Наводящий порядок ответов — первый вариант собирает клики; исправить: перемешивайте там, где порядок произволен.
  • Вопрос о будущем — предсказания не данные; исправить: спрашивайте о самом недавнем случае в коротком окне.

Что читать дальше