Миф про «Несерьезные исследования»: сколько нужно респондентов для теста

Еще в далеком 1993 году гуру веб-дизайна, сооснователь компании Nielsen Norman Group, автор 9 книг по юзабилити Якоб Нильсен сказал: «Для тестирования достаточно пяти человек». Откуда взялась магическая цифра «пять» — давайте разбираться.

Если вы внимательно прочитаете статью A mathematical model of the finding of usability problems Якоба Нильсена, то станет ясно: выборки из 5 респондентов достаточно, чтобы выявить 85% проблем на вашем ресурсе. Кривая ясно показывает, что вам нужно протестировать не менее 15 пользователей, чтобы обнаружить все 100% проблем юзабилити в дизайне. Так почему же мы рекомендуем тестировать с гораздо меньшим количеством пользователей?

В юзабилити-тестах действует закон так называемой убывающей отдачи: каждый новый респондент наверняка обнаружит какие-то новые проблемы на вашем ресурсе, но вместе с этим повторит то, что уже нашли предыдущие пользователи. Другими словами, уникальный вклад каждого нового респондента становится меньше. И на 15 пользователе вы точно поймете, что список найденных проблем будет стремиться к 100%.

Привлекая к исследованию все больше и больше пользователей, по факту вы будете узнавать все меньше и меньше. И тут мы разрушим стереотип, что юзабилити-тестирования — сложно и дорого. Многие заказчики живут с пониманием, что для проведения UX-исследования нужно привлечь огромную команду, потратить много времени и вложить много денег. На самом деле лучшие результаты можно получить, привлекая к исследованию не более 5 респондентов. И запускать такие тесты по мере обновлений на вашем сайте и финансовых возможностей. Закажите экспертизу сайта в сервисе AskUsers.

Невозможно дать гарантию, что новый дизайн решит все существующие проблемы, поэтому каждый проведенный тест — шаг к удобному и приятному для пользователей интерфейсу.

Если не пять, то сколько?

Существует несколько точек зрения на то, сколько респондентов нужно привлекать к исследованию. Например, амбассадор UX-исследований Джаред Спул, сооснователь консалтинговой компании User Interface Engineering, считал, что для качественного исследования необходимо привлечь восемь участников.

Стив Круг, гуру юзабилити, отметил, что достаточно и трех респондентов. Он считает, что отдача от опроса уменьшается, когда вы выходите за пределы определенного количества респондентов. В книге «Не заставляйте меня думать» он пишет: «Первые три пользователя, скорее всего, столкнутся почти со всеми наиболее серьезными проблемами, что и остальные».

Еще один подход к UX-исследованиям — метод RITE. Авторами подхода являются Майкл Медлок, Деннис Уиксон, Билл Фултон, Марк Террано и Рамон Ромеро. Это метод итеративных изменений, когда правки вносятся в прототип по мере обнаружения проблем. Работает следующим образом:

1. Вы собираете продуктовую команду, куда входят разработчики и дизайнеры, привлекаете к исследованию респондентов.

2. Ставите перед ними задачу, например, протестировать форму регистрации, которую они выполняют при вас, сопровождая все действия вербальными высказываниями.

3. Если по мере тестирования обнаруживается проблема, то продуктовая команда сразу же определяет: будет ли она вносить правку или нет.

4. После внесения правок тестирование начинается заново.

Обычно подход RITE требует 5-6 итераций.

Описанные подходы еще раз доказывают, что зачастую заказчики переоценивают количество пользователей, которое нужно для оценки их ресурса. Причина в том, что они путают количественные и качественные исследования. Задача UX-исследования — оценить не то, скольким респондентам не нравится или нравится что-то на вашем сайте, а понять: что конкретно их устраивает или не устраивает. Например, форма регистрации, форма заказа и оплаты, размещенный контент и т. д. Мы предлагаем отталкиваться от минимального количества — 5 респондентов. По нашему опыту, ответы пяти респондентов раскрывают большинство юзабилити-проблем на вашем сайте. Если вы решите опросить больше пользователей, то, скорее всего, новых критичных проблем не обнаружите, но получите больше деталей.

Когда необходимо тестировать больше пользователей?

Существуют ситуации, когда к исследованию необходимо привлечь больше пользователей, чем заветное число «пять».

1. Разнообразная аудитория.

   Например, у вас есть ресурс, который будут использовать дети и взрослые. Или у вас сервис по аренде жилья, которым пользуются и арендодатели, и арендаторы. В этом случае требуется протестировать поведение обеих групп. Также больше респондентов необходимо, если сервис используют на разных платформах — iOS и Android. При этом нет необходимости включать в каждую группу столько же участников, сколько при тестировании одной группы пользователей. Мы рекомендуем привлекать к исследованию 3-4 пользователя из каждой категории при тестировании двух и более групп пользователей.

2. Объем тестируемого функционала.

   Если у вас сайт с обширным набором функций, то не стоит предлагать оценить их все в рамках одного теста. Помните, что хороший тест длится около часа. Если тестирование затягивается на несколько часов, то эффективность такого исследования уменьшается. Правильное решение в данном случае — разбить тест на несколько сценариев и привлечь к каждому сценарию хотя бы по 3 пользователя.

3. Вы редко проводите тесты.

   У вас есть сайт, долгое время он жил и функционировал сам по себе, и тут вы решили провести UX-исследование. Рекомендуем остановиться на выборке хотя бы из 10 респондентов, чтобы увеличить вероятность обнаружения больших проблем с вашим ресурсом.

4. Для A/B-тестирования.

   Но это уже совсем другая история, относящаяся к количественным тестам.

Вопрос с подвохом

Вы можете заметить, что проводить UX-исследования не нужно, ведь можно просто отслеживать аналитику по метрикам. Можно и даже и нужно, но тем не менее UX-исследования и подробная аналитика хорошо дополняют друг друга. Если вы просто посмотрите аналитику, то увидите, что, пользователи, например, бросают корзину. Но почему они так делают вам даст ответ UX-исследование.

Вывод

UX-исследования изучают поведение людей, отвечают на вопросы: почему они делают именно так или иначе. Это качественные исследования, которые дают исчерпывающие ответы на вопросы об интерфейсе вашего сайта. Вы все еще не уверены? Спросите 10 человек: что стоит изменить в дизайне упаковки мороженого, и скорее всего получите 10 разных ответов. Если вы попросите 10 человек открыть мороженое, то увидите, сколько человек заметят линию перфорации, а сколько просто разорвут упаковку.

Если вы хотите обнаружить проблемы взаимодействия с вашим продуктом, то небольшое количество пользователей поможет выявить те проблемы, которые со 100% вероятностью будут характерны для массы пользователей.

Провести качественное юзабилити-исследование и понять, что не так с вашим сайтом, можно за 10 дней. Для этого существуют специальные сервисы, которые предлагают UX-исследования «под ключ»: специалисты помогают сформулировать вопросы к респондентам, подобрать пользователей для исследования и проанализировать полученные результат. Например, сервис AskUsers