Анализ данных юзабилити-тестирования за 4 шага

Резюме: Проводите анализ уверенно, собирая соответствующие данные, критически оценивая их и формируя проверяемые объяснения. 

Почему анализ качественных пользовательских тестов сложен

Анализ данных качественных тестов удобства использования часто представлен в учебниках как простой процесс каталогизации проблем удобства использования, обобщения производительности задач, подсчета ошибок и суммирования времени выполнения задачи. Однако это не всегда так просто. Это особенно актуально, когда у вас есть:

• Необычные типы исследований (например, демонстрация нескольких версий прототипа каждому участнику сеанса)
• Сложные исследовательские вопросы, связанные с такими темами, как открываемость , понимание или то, как люди решают проблемы.
• Прототипы низкого качества, не имеющие всех доступных функций, контента или экранов.

Давайте представим, что мы разработали новую страницу с подробностями о продукте, которую мы хотели бы протестировать. Участникам будет предложено найти определенные продукты на прототипе и выбрать тот, который им больше всего подходит. Ниже приведены некоторые из наших исследовательских вопросов.

• Можно ли обнаружить функцию сравнения продуктов?
• Какая информация о продукте важна для пользователей, а какая нет?
• Понимают ли люди информацию об обзоре продукта?
• Понимают ли люди, как работает продукт? Формируют ли они правильную ментальную модель?

Может быть трудно ответить на такие исследовательские вопросы, изучая производительность в одной задаче. Чтобы успешно ответить на эти вопросы, нам нужно:

• Собрать несколько фрагментов данных (что люди делали и говорили в разные моменты сессии)
• Сопоставить данные с планом исследования, особенностями набора респондентов и даже с мероприятиями по содействию (т.е. с тем, что исследователь делал или говорил).
• Триангулируйте всю эту информацию, чтобы предоставить достоверный ответ.

Анализ и синтез

Переход от данных к выводам и рекомендациям требует сочетания двух видов деятельности: анализа и синтеза.

Анализ относится к разбиению и изучению сложной информации, тогда как синтез относится к рекомбинации информации в новые значимые формы, а именно в идеи. (Обратите внимание, что когда мы говорим об «анализе» как об этапе исследовательского процесса, мы на самом деле имеем в виду оба эти вида деятельности.)

Анализ показывает, что документы разбиваются на стикеры. Синтез показывает, что эти стикеры объединяются для формирования понимания.

Анализ подразумевает разбиение данных на управляемые единицы информации. Синтез относится к их перестройке и объединению с другой информацией для создания идей, теорий и объяснений.

Когда мы анализируем качественные данные, анализ и синтез не происходят в аккуратной линейной манере. Иногда мы перемещаемся туда и обратно между ними.

4 шага для анализа данных юзабилити-тестирования

Чтобы проиллюстрировать, как мы получаем информацию из данных юзабилити-тестирования и как выглядит процесс анализа и синтеза в этом контексте, мы предлагаем четырехэтапную структуру .

1. Соберите соответствующие данные: выберите точки данных из каждой сессии (наблюдения и цитаты), которые имеют отношение к вопросу исследования. Этот шаг включает анализ и сокращение набора данных до чего-то более управляемого.
2. Оценить точность: изучить каждую точку данных, чтобы оценить ее релевантность и точность. Мы все еще находимся на этапе анализа.
3. Объясните данные: Объедините точки данных (шаг 1), наши оценки (шаг 2) и нашу экспертизу, чтобы предоставить разумные объяснения или ответы на наш исследовательский вопрос. Этот шаг включает синтез.
4. Проверка на соответствие: проверьте наши объяснения или ответы на вопросы нашего исследования по собранным нами данным, чтобы убедиться в их соответствии. Все ли собранные нами данные подтверждают объяснение? Если нет, мы повторяем объяснение (возвращаясь к шагу 3). На шаге 4 снова происходит анализ.

Хотя этот процесс кажется линейным, шаги 3 и 4 часто являются итеративными. На практике мы склонны формировать первоначальные объяснения на основе небольшого подмножества данных — часто точек данных, которые легко вспомнить или выделить. Однако, когда мы проверяем эти объяснения на более широком наборе данных, мы можем заметить несоответствия или упущенные закономерности, которые бросают вызов нашему первоначальному мышлению. Это побуждает нас уточнять наши объяснения. Это движение вперед и назад между шагами 3 и 4 может происходить много раз.

Шаг 1: Соберите соответствующие данные

Тесты удобства использования генерируют много данных. На этапе сбора мы начинаем собирать все соответствующие точки данных или наблюдения, которые могут помочь нам ответить на наши исследовательские вопросы. (Это немного похоже на сбор яблок в саду — мы собираем яблоки, которые выглядят многообещающе.) Для этого мы проверяем заметки сеанса, стенограммы и записи, если они доступны. Мы отмечаем или кодируем соответствующие наблюдения и цитаты.

Например, если бы мы хотели понять, можно ли обнаружить функцию сравнения на странице сведений о продукте, мы могли бы пересмотреть заметки и записи, чтобы собрать данные о поведении участников, комментарии в данный момент и ответы на последующие вопросы ведущего при выполнении соответствующих задач. Вопросы, которые мы могли бы задать, включают:

• Использовали ли участники функцию или заметили ее (например, наведя на нее курсор мыши)?
• Упоминали ли участники функцию сравнения или необходимость сравнения, размышляя вслух или отвечая на некоторые из последующих вопросов ведущего?
• Если участники не использовали функцию сравнения, как они выполняли задание по сравнению?

Этот шаг подразумевает анализ, поскольку мы разбиваем полный набор данных и извлекаем меньший набор полезных элементов.

Шаг 2: Оценка точности

На этапе 2 мы все еще находимся на этапе анализа (а не синтеза). На этапе оценки мы тщательно изучаем точки данных, чтобы оценить, насколько каждая из них релевантна и какой вес ей придать. Не все точки данных обрабатываются одинаково. Продолжая нашу аналогию со сбором яблок, это похоже на то, как сборщик яблок осматривает каждое яблоко на предмет синяков или других дефектов.

Например, возможно, участник прокомментировал, что ему понравилась функция сравнения, но он никогда ею не пользовался. Или, возможно, этот комментарий был ответом на наводящий вопрос ведущего (например, «Вам понравилась функция сравнения?»), Знание этих деталей заставляет нас доверять точке данных немного больше или меньше.

Шаг 3. Объясните данные

На третьем этапе мы начинаем процесс синтеза, объединяя наши наблюдения, оценки и знания в предметной области для выработки вероятных объяснений (или гипотез) для собранных нами данных.

Иногда возможны несколько объяснений, учитывая собранные нами данные. Например, если все наши участники пропустили разработанную нами функцию сравнения, могут быть сгенерированы следующие объяснения.

• Возможное объяснение 1: объект оказался не там, где ожидалось.
• Возможное объяснение 2: Эту особенность было трудно увидеть или заметить.
• Возможное объяснение 3: функция не была полезна участникам задания, поэтому они ее не искали.

Придумывание объяснений требует знаний и опыта в области UX, а также элемента воображения. Например, если исследователь проводил исследования подобных проектов в прошлом, у него может быть много воспоминаний о человеческом поведении и знаний о лучших практиках дизайна, из которых можно черпать вдохновение.

Шаг 4. Проверка на соответствие требованиям

Чтобы сузить круг возможных объяснений и повысить уверенность в наших объяснениях поведения пользователей, мы проверяем наши объяснения на соответствие существующим данным. Подтверждают ли существующие данные объяснение? Можем ли мы найти точки данных, которые противоречат ему или заставляют нас сомневаться в его точности? Этот шаг подобен проверке того, подходит ли аккуратно кусочек пазла.

Например, если участники не использовали функцию сравнения на странице обзора продуктов, и наша интерпретация заключалась в том, что пользователям это не нужно, то мы ожидали бы, что участники использовали другую успешную стратегию для сравнения продуктов. Однако, если участники испытывали трудности при сравнении, открывали много страниц обзора продуктов в нескольких вкладках для сравнения или жаловались на то, что было сложно сравнивать доступные продукты, мы могли бы отклонить объяснение, поскольку оно кажется неточным с учетом данных.

То, что здесь происходит, — это версия проверки гипотез. Наше объяснение движет предсказаниями; если данные не подтверждают наши предсказания, мы отвергаем или уточняем наше объяснение.

Качественное исследование часто раскрывает ценные идеи и ответы — но оно также может поднять столько же новых вопросов, которые требуют дальнейшего изучения! Вполне нормально, если ваш анализ закончится сообщением о том, что вы на самом деле не знаете причин, лежащих в основе данных, и что необходимы дополнительные исследования. Однако признак хорошего аналитика — это изучение своих данных с разных сторон, проверка нескольких объяснений на основе данных и выдвижение некоторых разумных гипотез для изучения в будущих исследованиях.

Заключение

Анализ данных качественного тестирования удобства использования часто сложнее, чем его представляют. Этот тип данных богат, детализирован и запутан. Хороший аналитик собирает все нужные данные, оценивает их с разных точек зрения, ищет объяснения, которые соответствуют данным, и проверяет эти объяснения на предмет соответствия.

Автор: Мария Розала — директор по исследованиям в Nielsen Norman Group. Она руководит и курирует исследования в NN/g, обучает команды по всему миру по темам UX и работает с клиентами, помогая им улучшить пользовательский опыт своих продуктов и услуг. Ссылка на первоисточник.