Метод «Волшебник страны Оз» в UX-тестировании

«Волшебник страны Оз» — это метод исследования пользователей, при котором пользователь взаимодействует с имитацией интерфейса, в некоторой степени управляемой человеком.
Метод «Волшебник страны Оз» помогает командам тестировать проекты, основанные на сложных технологиях, с минимальными затратами. Вместо того чтобы разрабатывать технологию, дизайнеры могут моделировать реакции, которые может выдавать технология, попросив человека «сыграть» роль системы.

Что такое метод «Волшебник страны Оз»?

Метод «Волшебника Изумрудного города» — это модерируемый исследовательский метод, при котором пользователь взаимодействует с интерфейсом, который кажется автономным, но (полностью или частично) контролируется человеком.

Метод «Волшебник страны Оз» назван в честь детского романа Фрэнка Баума «Удивительный волшебник из страны Оз» В этом романе главная героиня Дороти и её спутники встречают гигантскую голову, которая кажется могущественным волшебником, но потом выясняется, что это обычный человек, который дёргает за рычаги из-за занавеса.

Метод «Волшебник страны Оз» используется в модерируемых юзабилити-тестах. Как и в традиционном модерируемом юзабилити-тесте, в исследовании «Волшебник страны Оз» участвуют модератор и целевой пользователь. Кроме того, вам нужен кто-то, кто будет «волшебником». Этот человек будет выбирать или создавать ответы в интерфейсе.

Метод «Волшебник страны Оз» похож на тестирование бумажных прототипов (где кто-то может играть роль компьютера). Однако в методе «Волшебник страны Оз» дизайн может быть цифровым, а человек, генерирующий ответ системы, не виден пользователю.

Юзабилити-тест, в ходе которого пользователь находится в одной комнате с координатором, а специалист по тестированию управляет прототипом в отдельной комнате.
В ходе юзабилити-тестирования с использованием метода «Волшебник страны Оз» участвует ещё один человек, «волшебник», который за кадром озвучивает некоторые или все ответы системы.

Когда следует использовать метод «Волшебник страны Оз»

Метод «Волшебник страны Оз» полезен при тестировании новых интерфейсов, основанных на сложных технологиях, которые трудно полноценно протестировать с помощью прототипа, содержащего статический контент. К таким интерфейсам относятся:

• Диалоговые интерфейсы, например чат-боты
• Интерфейсы, использующие алгоритмы обучения для предоставления рекомендаций по контенту
• Интерфейсы, которые запрашивают информацию в режиме реального времени и предоставляют пользователю результаты

Например, авторы использовали метод «Волшебник страны Оз» в следующих исследовательских проектах:

• Проект по улучшению чат-бота службы поддержки на сайте интернет-магазина электроники. Исследование «Волшебник страны Оз» помогло команде понять, как предоставлять полезные персонализированные рекомендации в зависимости от устройства, с которого пользователь обращается в службу поддержки. Дизайнер обновил прототип в Figma на основе ответов участников исследования во вводном интервью.
• Проект по разработке нового голосового помощника. Метод «Волшебник страны Оз» помог команде понять, как пользователи будут взаимодействовать с новым голосовым помощником. Bluetooth-динамик был помещён в физический макет из картона. Пользователь разговаривал с макетом, а ответы голосового помощника генерировались с помощью приложения для преобразования текста в речь и передавались через Bluetooth-динамик.
• Проект по созданию правительственной формы, которая в режиме реального времени выполняла поиск в различных правительственных базах данных и предоставляла пользователям хранящуюся о них информацию. Исследование «Волшебник страны Оз» помогло команде понять, как пользователи воспринимают поиск своей информации и как эта информация должна быть представлена. Исследователи собирали информацию об участниках в ходе первичного интервью, а «волшебник» обновлял прототип в реальном времени, показывая, что мог бы увидеть пользователь при реальном поиске в базе данных.

Преимущества использования метода «Волшебник страны Оз»

Метод «Волшебник страны Оз» снижает инвестиционные риски, связанные со сложными и дорогостоящими технологиями (такими как генеративный искусственный интеллект): он позволяет на ранних этапах оценить их востребованность, полезность и удобство использования, прежде чем компании потратят деньги на их разработку.

Метод «Волшебник страны Оз» часто используется при разработке минимально жизнеспособных продуктов (MVP). Один из самых известных примеров MVP, в котором использовался метод «Волшебник страны Оз», — это Zappos, первый интернет-магазин обуви. Прежде чем вкладывать деньги в склады, товарные запасы и автоматизацию обслуживания, основатель компании Ник Суинмёрн протестировал ценностное предложение компании, самостоятельно выполняя заказы. Когда на его сайте появлялись заказы, Суинмёрн шёл в местный обувной магазин, покупал обувь и отправлял её покупателю по почте.

Как организовать исследование «Волшебник страны Оз»

Успешное исследование «Волшебник страны Оз» состоит из нескольких этапов. Следуйте этим пяти шагам, чтобы начать исследование.

Шаг 1. Создайте прототип

Вам понадобится прототип нового дизайна, с которым будет взаимодействовать пользователь. В зависимости от того, что вы тестируете, это может быть:

• Прототип в какой-нибудь программе для дизайна (например, Figma)
• Закодированный прототип
• Существующая технология в качестве прокси для новой функции (например, существующая платформа для обмена сообщениями, имитирующая работу нового чат-бота)

Если вы будете использовать программное обеспечение для дизайна (например, Figma или ProtoPie), подумайте о том, как мастер может быстро вносить изменения в прототип. Например, вы можете создать компоненты для любых элементов прототипа, которые нужно обновить в ходе сеанса. Это избавит мастера от необходимости искать конкретные области дизайна для обновления.

(Если вы используете Figma, функция многократного редактирования позволяет обновлять экземпляры одного и того же элемента пользовательского интерфейса в наборе компонентов.)

При использовании функции множественного редактирования в Figma один и тот же элемент может обновляться одновременно во всех вариантах компонента, когда мастер вносит изменения в один из них.

Шаг 2. Решите, какие ответы будет давать мастер

1. Закрытый метод: Мастер может выбрать один из предложенных вариантов ответа
2. Метод открытия: Мастер создаст новые ответы в сеансе.
3. Гибридный метод: Мастер может выбрать ответ из короткого списка или создать новый ответ по мере необходимости.

Мастер может либо выбирать системные ответы из списка, либо создавать новые ответы в процессе, либо делать и то, и другое во время сеанса.
Закрытый метод подходит для ситуаций, когда система может выдать лишь несколько возможных ответов.

Открытый метод лучше подходит для интерфейсов, обеспечивающих плавное взаимодействие с пользователем (например, диалоговые интерфейсы). Для таких интерфейсов может быть сложно предугадать и обеспечить заранее подготовленные ответы.

Гибридный метод обеспечивает наибольшую гибкость: некоторые ответы предопределены, но если ни один из них не подходит, можно создать новый ответ.

Плюсы и минусы каждого способа реагирования

Закрыто

• Мастеру не нужно создавать ответ прямо сейчас.
• Ответы легко анализировать, так как их меньше, чем тестов.
• Выбор ответа может занять много времени, если вариантов много.
• Возможно, не все ответы подходят для данной ситуации.

Гибрид

• Мастер может выбрать ответ или создать новый.
• Может быть непросто решить, использовать ли существующий ответ или создать новый.

Открытие

• Мастеру не нужно искать ответы среди существующих вариантов.
• Мастер может продолжить тестирование, если пользователь скажет или сделает что-то неожиданное.
• Создание новых ответов может потребовать усилий и времени.
• Если результаты тестов сильно различаются, оценить эффективность интерфейса может быть сложно.

Привлеките инженеров к планированию возможных реакций системы. Инженеры могут определить, какие реакции возможны, учитывая их знания о возможностях и ограничениях технологии.

Шаг 3. Составьте протокол исследования

Протокол исследования — это подробное описание целей исследования и способов его проведения. Протокол исследования поможет ведущему и фасилитатору понять, как действовать во время сессии.

В дополнение ко всем обычным элементам плана тестирования (например, задачам, которые вы предлагаете пользователю) протокол исследования «Волшебник страны Оз» должен включать:
Описание ролей, в том числе того, кто будет вести занятие, и того, кто будет волшебником

• Вопросы, которые ведущий задаст пользователю в начале сеанса и которые могут повлиять на ответы мастера во время сеанса (если это уместно)
• Элементы дизайна, которыми будет управлять мастер, и способы управления ими (например, деревья решений, пошаговые инструкции или скриншоты, на которые мастер может ориентироваться)
• Ответы, из которых мастер мог бы выбрать подходящий, если бы использовал закрытый или гибридный метод (.например, Загрузка… пожалуйста, подождите, когда мастеру нужно больше времени, или В разработке, если пользователь взаимодействует с системой неожиданным образом)
• Любые рекомендации о том, как должен реагировать мастер, если во время сеанса он импровизирует и придумывает новые ответы системы (например, рекомендации по тону голоса, если мастер притворяется чат-ботом)

Шаг 4. Выберите и подготовьте мастера

Волшебник должен быть знаком с:

• Концепцией и дизайном продукта: Мастер должен понимать, для чего предназначен продукт и как он будет работать. В идеале он также должен знать о любых технологических ограничениях, чтобы не предлагать системе неосуществимые решения.
• Ответами, которые они должны дать: Если вы проводите закрытый или гибридный тест, мастер мог помочь вам с созданием ответов.
• Программным обеспечением или кодом для создания прототипов, если мастеру потребуется обновить элементы в прототипе.

Во многих случаях дизайнеру или разработчику приходится выступать в роли «волшебника». Потратьте немного времени на подготовку «волшебника» к исследованию, чтобы все прошло гладко. Это может включать в себя ознакомление «волшебника» с протоколом исследования, отработку с ним ответов или обновление прототипа и даже приглашение «волшебника» к участию в пилотном тестировании (см. шаг 5).

Шаг 5. Тестирование исследования

Поскольку в системе много движущихся частей, тестирование вашего исследования гарантирует, что всё работает должным образом и что мастер может быстро давать ответы. Вы можете протестировать тест с другом, коллегой или реальным пользователем. Тестирование позволяет мастеру попрактиковаться перед реальными сеансами и избежать потери драгоценного времени на решение непредвиденных технических проблем.

В ходе пилотного исследования вы можете обнаружить, что вам нужны новые ответы, которых вы не ожидали. Такая информация позволит вам усовершенствовать протокол до начала исследования.

Нужно ли вам раскрывать личность волшебника?
Присутствие ведущего обычно не раскрывается участнику, чтобы обеспечить реалистичность поведения во время сеанса. Однако иногда участники догадываются, что ответ даёт человек, особенно если дизайн не отличается высокой точностью или участник хорошо разбирается в технологиях. В этом случае метод становится ближе к ролевой игре.

Не волнуйтесь, если участники будут гадать или спрашивать, сгенерированы ли ответы человеком. Напомните им, что они должны вести себя так, как если бы взаимодействовали с реальной системой.

В ходе пользовательских исследований, предполагающих обман, в конце сеанса необходимо провести разбор полётов, чтобы участники получили точную информацию об исследовании и могли решить, хотят ли они отказаться от участия.

Если незнание этой информации не причинит участнику вреда, вам не нужно сообщать, что ответ системы был сгенерирован человеком.

Истоки метода

Метод «Волшебник страны Оз» был впервые описан и применён в 1973 году Доном Норманом и Алленом Манро для тестирования автоматизированного помощника для путешественников с компьютерным терминалом в аэропорту. Название этому методу дал в 1983 году исследователь Джефф Келли в своей диссертации о интерфейсах на естественном языке в Университете Джонса Хопкинса. Эти основополагающие исследования были посвящены взаимодействию пользователей с интерфейсами на естественном языке на ранних этапах развития этой технологии.

Заключение

Исследование «Волшебник страны Оз» позволяет на ранних этапах получить представление о сложных и высокоинтерактивных интерфейсах, экспериментирование и создание которых могут быть дорогостоящими. Не все исследования юзабилити требуют использования метода «Волшебник страны Оз». Учитывайте цели исследования и то, что вам нужно узнать. Во многих случаях будет более чем достаточно прототипа со статическим контентом.

Если вам нужно узнать, как пользователи реагируют на системы, предоставляющие персонализированные рекомендации в режиме реального времени, или взаимодействуют с ними, то метод «Волшебник страны Оз» поможет вам понять, как наиболее эффективно проектировать такие системы. При проведении исследования методом «Волшебник страны Оз» ключевую роль играют подготовка и планирование. Составьте план, привлеките инженеров и протестируйте исследование, чтобы добиться наилучших результатов.