2learn

Выборка и чтение результатов

Что это такое

Выборка — решение о том, кто получит опрос, и о том, как читать результаты, зная, кто вернулся. Число из опроса сообщает о тех, кто на него ответил, однако эти люди почти никогда не образуют чистую выборку из всех, кто вам важен.

Почему это важно

Смещение из-за неответивших систематично и направлено туда же, куда и удовлетворённость. Люди, которые завершили задачу, отвечают чаще тех, кто её бросил, а довольные клиенты — чаще недовольных. Однако оценка удовлетворённости 90% на 40 самоотобравшихся респондентах может оказаться худшим доказательством, чем пять интервью: она носит авторитет статистики. Именно чтение доли ответивших вместе с оценкой сохраняет честность числа.

Ключевые идеи

Назовите генеральную совокупность, затем выборку

Запишите, от кого вы хотели услышать — все, кто начал оформлять заказ в прошлом месяце, — кто фактически получил ссылку и кто ответил. Это три разные группы, и разрыв между ними и есть вывод.

Хотели:     все 4 120 человек, начавшие оформление в марте
Достали:    1 880, у кого была почта и кто не отписался
Ответили:     212  (11% от достигнутых, 5% от всей совокупности)
Заметка:    те, кто ушёл до ввода почты, отсутствуют

Взвесьте долю ответивших против утверждения

Высокая оценка при низкой доле ответивших остаётся гипотезой, а не результатом. Если в совокупности есть группа, которую легко упустить, оценка, скорее всего, оптимистична в сторону опыта этой группы.

Сообщайте количества, а не только проценты

«68% из 22 респондентов» — другой объект, нежели «68% из 5 400 респондентов». Проценты скрывают размер выборки, а маленькие выборки резко качаются от недели к неделе.

Сообщено плохо:   «68% считают повторный заказ простым.»
Сообщено хорошо:  «68% из 212 респондентов (11% ответивших, опрос 3-10 марта).»

Сравнивайте сегменты до общей цифры

Разбейте по значимому сегменту — впервые против постоянных, мобильные против десктопа — прежде чем цитировать общий итог. Плоский итог часто прячет две группы, которые движутся в противоположные стороны.

Сопоставляйте число с поведением

Результат опроса, который совпадает с аналитической воронкой, правдоподобен; а тот, что противоречит воронке, — повод выяснить почему, и такое противоречие ценнее любого из чисел по отдельности.

Практика

Проверьте последний опрос вашей команды

Найдите генеральную совокупность, достижимое множество, респондентов и долю ответивших. Напишите утверждение, которое результат действительно поддерживает при такой доле ответивших.

Готово, когда: ваше утверждение уже того, что сообщили изначально, и называет, кто отсутствует в выборке.

Проведите опрос и разбейте его на сегменты

Проведите один короткий опрос, затем отчитайтесь дважды: один раз общей цифрой и один раз с разбивкой по одному самому значимому сегменту.

Готово, когда: вы можете сказать, согласуются ли сегменты, и какой сегмент перепредставлен среди ответивших.

Частые ошибки

  • Чтение процента без знаменателя — 80% из одиннадцати человек читается как вывод; исправить: всегда сообщайте количество и долю ответивших вместе с процентом.
  • Игнорирование тех, кто не мог ответить — те, кто ушёл до ввода почты, опрос не получили; исправить: называйте рядом с результатом тех, кого в выборке нет.
  • Сравнение опросов на разных выборках — изменение между двумя волнами может отражать лишь состав ответивших; исправить: держите метод выборки неизменным между волнами.
  • Цитирование итога, когда сегменты расходятся — среднее из двух противоположных движений не описывает ни одного; исправить: разбивайте на сегменты до отчёта.
  • Остановка на числе — результат подшивают без решения; исправить: прикрепите изменение и его владельца, прежде чем рассылать.

Что читать дальше

Разобранные примеры

Файлы cookie аналитики ставятся только с вашего согласия. До вашего выбора ничего не загружается и никуда не отправляется.