Как отвечать на скептицизм: результаты UX-исследований на пяти пользователях — аргументы и опыт

«Это всего лишь один человек» и «Наши реальные пользователи не такие» — распространённые возражения против результатов качественного юзабилити-тестирования. Заранее решите эти проблемы, чтобы ваше исследование было эффективным.
Юзабилити-тестирование с небольшим количеством участников — невероятно эффективный способ улучшить интерфейс. Наблюдая за тем, как реальные люди пытаются использовать дизайн, мы видим интерфейс глазами пользователей. Поскольку обычные пользователи не знают, как «должна» работать система, они часто сталкиваются с проблемами, которых не предвидели создатели дизайна.

Выявление этих неожиданных проблем и является целью юзабилити-тестирования. Но сам факт того, что они оказались неожиданными, а не теми проблемами, которых ожидали заинтересованные стороны, часто вызывает сомнения в том, что выявленные проблемы действительно характерны для «реальных» пользователей.

Заинтересованные стороны, которые сомневаются в достоверности результатов юзабилити-тестирования, часто утверждают, что участники тестирования не являются репрезентативной выборкой или что участников тестирования недостаточно, чтобы воспринимать результаты всерьёз.

Заинтересованные стороны могут возразить: «Это всего лишь один пользователь!» или «Наши пользователи разберутся, потому что они эксперты или технически подкованные люди».

Если вы столкнулись с подобными возражениями, вот несколько приёмов, которые помогут командам понять, почему к качественному юзабилити-тестированию нужно относиться серьёзно. В самых простых случаях скептицизм может быть вызван отсутствием опыта работы с методологией, и его можно успешно преодолеть, если чётко объяснить суть метода и представить результаты в убедительной форме.

Подготовьте заинтересованные стороны к упреждающим разъяснениям

Прежде всего, обязательно объясните свой метод исследования до проведения юзабилити-сессий. Заранее описанный процесс гораздо убедительнее, чем попытка его защитить после того, как люди уже начали сомневаться. Подготовьте собственное объяснение или поделитесь видео и статьями, в которых рассказывается о что такое юзабилити-тестирование и почему вам нужно всего несколько участников. Заранее признайте ограничения этого метода: упомяните, что на некоторые вопросы, например, считают ли люди определенный бренд надежным, невозможно точно ответить, опросив всего 5 пользователей. Но юзабилити-тестирование — это не про убеждения или предпочтения, а про то, как обычные пользователи ведут себя в конкретном контексте при использовании определённого дизайна для решения конкретной задачи.

Подготовьте заинтересованные стороны к неожиданным результатам, объяснив:

• «Вероятно, мы увидим, что у людей возникнут проблемы, которых мы не ожидаем, потому что из-за того, что мы хорошо знакомы с дизайном, нам сложно заметить некоторые недочёты».
• «Поскольку у всех пользователей нет инсайдерской информации о дизайне, которой обладает наша команда, вполне вероятно, что проблемы, вызванные различиями во взглядах, затронут многих пользователей и проявятся в течение первых нескольких тестовых сессий».
• «Вместо того чтобы пытаться точно определить, насколько серьезна каждая проблема, повторяя тесты с большим количеством пользователей, мы сосредоточимся на быстром выявлении распространенных проблем, чтобы устранить их и улучшить дизайн».

Поделитесь этим контекстом с членами команды на ранних этапах планирования, особенно если они не знакомы с тестированием юзабилити. Даже командам, знакомым с тестированием юзабилити, полезно напоминать, что они не похожи на своих пользователей.

Слышать — значит верить

Иногда заинтересованные стороны игнорируют результаты тестирования, потому что считают их всего лишь ещё одним мнением — мнением исследователя, написавшего отчёт.

Весь смысл юзабилити-тестирования в том, чтобы услышать мнение пользователей. Выводы и анализ, проведённые опытным исследователем, могут значительно улучшить отчёт, но всегда следите за тем, чтобы прямая обратная связь от пользователей была чёткой и ясной. Вы можете выделить прямые цитаты участников исследования; видеофрагменты будут ещё более убедительными (если у вас есть возможность записывать сеансы и время на монтаж отснятого материала).

Самый убедительный метод — организовать непосредственное наблюдение команд за сессиями юзабилити-тестирования. Такая практика позволяет им убедиться в том, что участник тестирования — реальный человек, и проникнуться сочувствием к тому, как пользователь взаимодействует с системой. Когда члены команды непосредственно наблюдают за сессиями, они также видят, что исследователь не руководит пользователями и не влияет на них.

Отвечаем на возражения о том, что участники не являются репрезентативными

Чтобы избежать возражений по поводу того, что участники тестирования не являются репрезентативной выборкой «реальных» пользователей, обязательно проводите тестирование с участием репрезентативной выборки пользователей и заранее расскажите заинтересованным сторонам, как вы их набирали.

Тестируйте с реальными пользователями

Если вы тестируете работающий веб-сайт или приложение, эффективным способом поиска репрезентативных участников будет привлечение реальных посетителей или пользователей. Современные продвинутые инструменты аналитики (такие как HotJar или Ethnio) позволяют легко определять целевую аудиторию, например людей, которые пользуются определенным разделом веб-сайта или функцией приложения. Списки прошлых или потенциальных клиентов — еще один отличный источник реалистичных участников тестирования.

Прежде чем набирать респондентов, изучите профили пользователей

Если вы не можете набрать участников непосредственно из действующей системы, вам может потребоваться набрать участников из других источников. Но вы все равно можете обеспечить репрезентативность выборки, тщательно определив, какие черты являются важными характеристиками вашей целевой аудитории. Если у вас есть портреты целевой аудитории, обратитесь к ним. Узнайте у заинтересованных сторон, которые будут получать результаты исследования, кто входит в целевую аудиторию. Затем проведите отбор потенциальных участников тестирования, задав им вопросы, которые позволят выявить людей, обладающих всеми основными характеристиками целевых пользователей.

Какой бы метод поиска участников вы ни использовали, описывайте его заинтересованным сторонам на каждом этапе: во время планирования исследования, при передаче профилей участников заинтересованным сторонам, которые непосредственно наблюдают за тестовыми сессиями, а также в итоговом отчёте.

Возражения по поводу того, что для решения проблемы недостаточно участников

Подробное объяснение методов юзабилити-тестирования во многом способствует укреплению доверия к результатам тестирования. Но все же могут возникнуть опасения, что проблема, с которой столкнулось небольшое количество людей, не обязательно является распространенной, особенно если с ней столкнулся только один участник исследования. Этот участник может быть «выбросом» с необычными ожиданиями или привычками, которые не разделяют многие другие пользователи.

По правде говоря, когда вы видите, что как минимум два человека сталкиваются с одной и той же проблемой, это вселяет в вас больше уверенности в том, что проблема действительно существует. Но это не значит, что вы должны игнорировать проблемы, с которыми столкнулся только один участник. (С точки зрения доверительных интервалов, статистически нет большой разницы между 1 из 5 и 2 из 5.) Вместо этого соберите больше информации, чтобы лучше понять контекст этого единичного случая.

Анализ результатов одного пользователя

Если проблема возникла только у одного участника тестирования, сначала обратите внимание на следующее:

• Сколько будет стоить исправление? Если проблему можно легко решить, возможно, будет дешевле просто исправить её, чем тратить время на документирование проблемы, не говоря уже о том, чтобы бесконечно обсуждать её на совещаниях. (Этот вариант лучше всего подходит, если вы уже планируете тестирование следующей итерации дизайна и можете проверить, не создаст ли «исправление» новых проблем.)
• Насколько серьёзной была проблема для этого человека? Серьёзными обычно считаются проблемы, которые мешают пользователю выполнить задачу, вызывают сильное раздражение или напрямую связаны с ключевыми целями дизайна. Если что-то из этого верно, но проблему нелегко решить, то перед внесением изменений в дизайн необходимо провести дополнительное исследование.

Для получения дополнительной информации о результатах юзабилити-тестирования с участием одного пользователя не обязательно проводить дополнительные пользовательские тестирования. В качестве отправной точки можно рассмотреть анализ конкурентов: если анализ дизайна конкурентов показывает, что у большинства из них нет этой проблемы, то её устранение может быть важным для того, чтобы оправдать ожидания пользователей.

Проверьте независимые источники данных, чтобы оценить частоту

Существующие источники данных, такие как аналитика использования или запросы в службу поддержки, отлично подходят для оценки частоты возникновения проблем и их потенциального влияния.

Например, просмотрите запросы в службу поддержки и сравните, сколько из них связано с «нетипичной» проблемой, а сколько — с другими проблемами, выявленными в ходе тестирования. Эта информация поможет получить относительную оценку реальной распространенности проблемы.

Если у вас нет точных данных о том, сколько пользователей сталкиваются с проблемой, вы можете определить какую долю пользователей составляет та или иная группа и насколько эти пользователи важны для достижения целей организации. Например, представьте, что одна из участниц исследования неправильно поняла принцип работы функции сортировки и из-за этого не смогла найти нужный товар. Если у вас настроена аналитика с отслеживанием событий для этой функции сортировки, то, быстро проверив эти данные, вы сможете определить, какой процент реальных клиентов использует функцию сортировки. (Поскольку проблема возникнет не у всех пользователей, процент затронутых пользователей будет несколько ниже, чем процент тех, кто использует эту функцию.)

Сравните результаты тестирования с теорией юзабилити

Подумайте, в какой степени проблема юзабилити вашего продукта для одного пользователя может быть объяснена существующими знаниями о поведении пользователей и о том, что делает пользовательские интерфейсы простыми или сложными в использовании. Например, ознакомьтесь с 10 эвристическими принципами юзабилити, которые зарекомендовали себя на протяжении десятилетий. Или изучите опубликованные рекомендации по юзабилити, основанные на обширных исследованиях пользователей и широком спектре других проектов. Хотя такая общая теория UX не затрагивает конкретно ваш дизайн, вы можете сделать выводы на основе предыдущих исследований.

Если проблема, с которой столкнулся один из участников тестирования, легко объясняется существующей теорией юзабилити, у вас есть все основания полагать, что это действительно проблема с юзабилити. С другой стороны, если теория предсказывает, что ваш дизайн должен быть простым и не вызывать проблем, то, возможно, ваш неудачливый участник тестирования действительно был исключением из правил и проблема вряд ли повторится.

К сожалению, теория UX находится в таком состоянии, что не может однозначно ответить на этот вопрос. Человеческое поведение настолько изменчиво, а удобство использования дизайна зависит от множества мелких контекстуальных деталей, что мы никогда не сможем со 100%-ной уверенностью сказать, хорошо что-то или плохо. Но это не значит, что мы ничего не знаем о UX. Благодаря многолетним исследованиям мы обладаем обширными концептуальными знаниями о том, что делает пользовательские интерфейсы простыми или сложными для определенных категорий пользователей и определенных типов задач. Вы можете использовать эти знания для интерпретации отдельных эмпирических наблюдений.

Кроме того, полезным способом объяснить результаты тестирования вашей команде может стать соотнесение ваших наблюдений с совокупностью подтвержденных внешними источниками знаний о пользовательском опыте. Дайте понять, что не только вы считаете, что в дизайне есть проблемы, но и многие другие обнаружили аналогичные проблемы при тестировании других проектов. И дайте проблеме название. Эти тактики помогут вам справиться с возражением «слишком маленькая выборка».

Провести количественное тестирование удобства использования

Для потенциально серьёзных проблем, которые невозможно соотнести с существующими источниками данных, тестирования с участием всего 5 пользователей может быть недостаточно для того, чтобы с уверенностью рекомендовать дальнейшие действия. В этом случае количественное исследование юзабилити может дать более точное представление о том, какая доля пользователей может столкнуться с проблемой. Если проблему можно протестировать в рамках немодерируемого удалённого тестирования, сбор данных от 20 пользователей, необходимых для точного количественного исследования, может быть вполне доступным.

Количественные исследования также могут быть полезны, если организация с недоверием относится к качественным методам работы с небольшими группами. Измерение частоты качественных результатов в более крупной выборке пользователей может подтвердить надёжность качественных методов в рамках конкретной организации и для конкретных пользователей. Чтобы окупить вложения в качественные исследования, тщательно документируйте проект и информируйте о нём сотрудников организации, уделяя особое внимание соответствию качественных и количественных результатов.

Заключение

Бессмысленно выявлять проблемы в дизайне, если команда не верит полученным результатам и поэтому ничего не предпринимает для устранения этих проблем. Эффективное устранение сомнений в результатах юзабилити-тестирования — важная часть исследования пользователей, и этот аспект должен быть включен в каждый план исследования от начала и до конца.