6 параметров для оценки данных юзабилити в анализе

Проанализируйте результаты юзабилити на предмет подлинности, последовательности, повторяемости, спонтанности, уместности и наличия искажающих факторов, чтобы отделить поверхностные впечатления от реальных идей.

Качественные тесты удобства использования дают два типа данных: поведенческие данные (или данные производительности) и данные об отношении (или субъективные данные). Во время анализа мы должны объединить оба типа данных, принимая во внимание дополнительные факторы, такие как информация о дизайне исследования или наборе участников.

Почему нельзя принимать данные за чистую монету

Рассмотрим следующий пример.

Вы модерируете тест удобства использования прототипа, стремясь оценить полезность функции сравнения. После выполнения задания на прототипе 4 из 5 пользователей сказали, что им понравилась функция и они будут использовать ее в будущем.

Из этого отчета вы могли бы простить себя за то, что подумали, что функция хорошо протестирована и никаких изменений в дизайне не требуется. Но что, если:

• Только один участник фактически воспользовался этой функцией, и у него возникли с ней трудности.
• Положительный отзыв был предоставлен только после того, как ведущий спросил, понравилась ли участникам функция сравнения.
• Функция сравнения не упоминалась в контрольных вопросах по окончании теста о том, что было легким, а что трудным.
• Когда участников попросили найти подходящий продукт, все они быстро выбрали один и не стали рассматривать другие доступные варианты.

Изменит ли это вашу оценку полезности функции сравнения? Вероятно!

Иногда то, что говорят пользователи, противоречит тому, что они делают. А иногда то, что пользователи говорят в один момент сеанса, противоречит тому, что они говорят позже в сеансе!

Вот почему при анализе данных юзабилити-тестирования каждую точку данных необходимо оценивать в контексте других точек данных и сопоставлять с информацией о стратегии набора, дизайне исследования и мероприятиях по содействию.

Это отчасти причина, по которой нельзя доверять ИИ в анализе тестов удобства использования. В настоящее время инструменты ИИ не могут обрабатывать или «смотреть» записи, поэтому они пропускают контекст. Они также недостаточно разумны, чтобы понять, что вы задали наводящий вопрос или что участник не был подходящим кандидатом.

6 параметров для оценки качества релевантности данных

Каждый элемент данных, который мы рассматриваем в качественном анализе данных, следует изучить по шести ключевым параметрам или линзам, чтобы оценить его точность и релевантность.

1. Подлинность
2. Последовательность
3. Повторение
4. Спонтанность
5. Уместность
6. Помехи

Подлинность

Этот параметр относится к тому, насколько естественным был комментарий или поведение. Когда участник комментировал, что ему что-то понравилось, имел ли он это в виду? Хотя мы не можем читать мысли, мы делаем суждения о том, что говорят наши участники, обращая внимание на то, как что-то говорится или делается.

• Пытался ли участник угодить ведущему сессии?
• Чувствовал ли участник необходимость прокомментировать какую-либо функцию или дизайн?

Существуют различные причины, по которым комментарий или поведение могут быть неаутентичными. Участник мог попасть под влияние того, как мы сформулировали исследование, мог быть неправильно завербованным или профессиональным участником или мог изменить свое поведение, потому что осознавал, что за ним «наблюдают».

Последовательность

Этот параметр относится к тому, насколько точка данных (вербальная или поведенческая) согласуется с другими . Например:

• Сказал ли участник что-то, что противоречит другому отзыву, который он дал в другой момент времени?
• Соответствовал ли комментарий участника его поведению?

Например, участник может сказать, что задача была легкой, но его поведение говорит об обратном — он боролся, делал ошибки или перезапускал несколько раз. Такое несоответствие может возникнуть, когда участники хотят быть вежливыми с исследователем или не хотят признавать трудности. Когда в тестировании удобства использования возникают несоответствия между поведенческими и вербальными данными, обращайте больше внимания на то, что люди делают, а не на то, что они говорят.

Повторение

Этот параметр учитывает, как часто комментарий или поведение встречается в течение сессии или у участников. Повторяющееся поведение может раскрыть скрытые закономерности, тенденции или ментальные модели . Повторяющиеся комментарии часто отражают сильные, подлинные эмоции или отношения.

Например:

• Повторяющиеся комментарии: если участник несколько раз упоминает, что ему понравилась какая-то функция, мы можем быть более уверены в подлинности его мнения.
• Повторяющиеся ошибки: когда несколько участников совершают одну и ту же ошибку или мы видим одну и ту же ошибку, повторяющуюся в одном сеансе, это явный признак реальной проблемы с удобством использования.

Спонтанность

Этот параметр относится к тому, были ли комментарии или поведение участника каким-либо образом вызваны организатором. Когда действия или комментарии вводятся спонтанно, без какой-либо подготовки , мы можем быть более уверены в том, что обратная связь или поведение являются подлинными.

Остерегайтесь прайминга, так как он может исказить спонтанное поведение участников. Например:

• Слишком раннее раскрытие цели исследования , например, во время введения в сессию или непосредственно в заданиях по тестированию удобства использования.
• Упоминание элементов или функций пользовательского интерфейса в вопросах или разговорах.

Уместность

Этот параметр относится к тому, насколько хорошо участник и задача соответствовали целям исследования. Ключевые вопросы для рассмотрения включают:

• Был ли участник представителем целевого пользователя?
• Адекватно ли выборка участников отражала характеристики целевой группы пользователей?
• Было ли задание реалистичным и справедливым или участникам предлагалось сделать что-то, что они обычно не делают?

Помехи

Это последнее измерение рассматривает аспекты дизайна исследования, которые могут непреднамеренно влиять на поведение участников и искажать результаты. Распространенные проблемы включают:

• Эффекты порядка: повлияло ли выполнение одного задания на то, как участники подходили к последующим заданиям? Например, если тест включал много повторяющихся заданий, участники могли заскучать или устать к концу, что могло повлиять на производительность.
• Сложные инструкции к заданию: если формулировка задания неясна — слишком длинная, чрезмерно техническая или написана непростым языком, — участникам может быть сложно выполнить задание, даже если сам дизайн работает хорошо.

Заключение

В тестировании удобства использования ни одна точка данных не рассказывает всю историю. Каждая точка данных должна быть рассмотрена критически и в контексте: то, что говорят пользователи, что они делают и как проводилось исследование, формирует выводы, которые мы делаем. Применяйте 6 параметров — подлинность, последовательность, повторение, спонтанность, уместность и помехи — чтобы избежать введения в заблуждение поверхностными сигналами и получить выводы, которым вы можете доверять.

Автор: Мария Розала — директор по исследованиям в Nielsen Norman Group. Она руководит и курирует исследования в NN/g, обучает команды по всему миру по темам UX и работает с клиентами, помогая им улучшить пользовательский опыт своих продуктов и услуг. Фэйфей Лю — международный исследователь UX в Nielsen Norman Group, проводящий исследования по широкому кругу вопросов дизайна с использованием количественных и качественных исследовательских методологий. Ее исследовательские интересы включают культурные различия и UX, UX для детей и электронную коммерцию.
Первоисточник.