Как использовать опросы в дизайнерских исследованиях. Часть I: польза и подводные камни

Это перевод статьи Lilla Schmidt (Лиллы Шмидт). Оригинал был опубликован 26 января 2023 года.

Текст посвящен правильному использованию опросов для проведения дизайнерских исследований. Главная проблема этого метода — некорректные результаты, которые приводят к неэффективным бизнес-решениям. Это связано с неправильным подходом к организации. Автор объясняет, в каких ситуациях можно использовать опросы, чтобы получить достоверные результаты, а когда от этой методики лучше отказаться.

* * *

Опросы. Мы любим их или «любим ненавидеть». Почему они вызывают столько разногласий? На самом деле, трудно найти другой метод UX-исследований, который так часто используют неправильно, как опросы. С одной стороны, из-за их низкой стоимости и временных затрат, мы часто видим, что опросы являются основным методом исследования для многих продуктовых команд. С другой стороны, мы также видим исследователей с большим опытом в этой сфере, которые не приемлют опросов и утверждают, что собранные в них данные в лучшем случае необъективны или неинформативны. Так какая же сторона права?

Мы готовы поспорить, что получим лучше результаты, стремясь к балансу. Цель этой статьи - показать исследователям, работающим в продуктовых командах, как они могут этого достичь. В качестве отправной точки мы рассмотрим, от каких методов стоит отказаться, чтобы избежать сомнений в результатах. Во второй части разберем тезисы о том, как лучше проводить опросы. И наконец, мы покажем несколько вдохновляющих примеров использования UX-опросов. Давайте начнем.

Неправильно проведенные опросы

«Глупых вопросов не бывает» — эту фразу все мы слышали миллион раз. Да и, по большому счету, любопытство — черта, достойная восхищения.

Однако спросите любого исследователя или, если на то пошло, любого другого человека, чья работа заключается в сборе достоверных данных от людей. Репортеров, детективов или психологов — неважно у кого из них. Они обязательно скажут вам, что некоторые способы задавать вопросы работают лучше, чем другие. Однако прежде, чем мы перейдем к ним, давайте сначала разберем ошибки и посмотрим на то, что происходит, когда вопросы задаются неудачно.

Рассылка случайной группы вопросов по интернету

Как у исследователя, у вас, должно быть, возникают некоторые вопросы, которые нужно прояснить. Однако у вас может не быть ресурсов, например, времени, средств мотивации или инструментов, чтобы получить информацию. Рекрутинг определенной целевой аудитории для качественного исследования — утомительный процесс. Так почему бы просто не собрать ваши исследовательские вопросы в бесплатном инструменте для проведения опросов и не выложить их в достаточно большой онлайн-группе? Это же настолько простой, быстрый и дешевый способ получения данных.

Действительно, если вы присоединитесь к любой группе Facebook или Slack, посвященной или как-то связанной с UX, вы очень быстро увидите всплывающее окно с очередным опросом. Обычно за ним следуют просьбы заполнить его. Любой может это сделать, если он делает это бесплатно. И очень быстро. Очевидно, что опрос займет не более 10 минут. Может быть, 15. Но это максимум. Честное слово.

Но так же, как для приготовления хорошего ризотто риса с маслом недостаточно — простой список составленных наугад вопросов не приведет к хорошему результату опроса. Без четкой ориентации как на сами цели, так и на поиск целевых участников, лучше даже не начинать исследование. Ну вот, мы это сказали.

Пример вступительного текста и неструктурированного списка вопросов в исследовании (перевод источника автора):

Приложение по заказу еды

«Привет. Мы проектируем простое приложение для заказа еды из ресторана Cheve. Это исследование поможет нам понять поведение пользователей в процессе заказа разных вещей, в частности, еды онлайн. Это поможет нам создать дизайн, отвечающий потребностям пользователей.

Спасибо за участие»

1. Что вы думаете по поводу заказа блюд онлайн? (открытый вопрос)

2. Вы заказываете что-то онлайн? ДА/НЕТ

3. С какими проблемами вы сталкиваетесь, когда заказываете что-то онлайн?




Задумайтесь об этом на секунду и будьте честными с собой. Вы правда верите, что случайно собранные мнения приведут к адекватным и значимым продуктовым решениям? Представьте, как бы вы собирали эту информации вживую, например, обзванивая соседей. Один из них нахмуренный подросток, другой — добрая бабушка. От кого из них вы с большей вероятностью получите релевантный ответ? Хотя всегда есть шанс, что бабушка поможет вам найти ценные инсайты в юзабилити Тик Тока, в большинстве своем ее мнение — это просто отвлечение внимания. Размещая опросы в таком виде, вы сталкиваетесь с высоким риском того, что ваше исследование будет именно таким.

И даже если бабушка может быть вашим будущим целевым клиентом… Вы уверены, что она поняла вопросы? Когда вы привлекаете к опросу абсолютно разные группы людей, есть много вариантов, как именно они поймут ваши вопросы. И это влияет на достоверность полученных данных.

И это мы еще не говорим о том, что случайная последовательность вопросов в списке может менять мотивацию в процессе заполнения. То, как люди отвечают зависит от порядка вопросов, от их типа и даже от погоды.

Вы уверены, что вы учитываете все это, публикуя свои опросы в интернете для широкой аудитории?

Опросы как инструменты для гадания

Мы все хотим предсказать будущее. Особенно когда мы работаем над новыми продуктами или услугами. Возможно, именно поэтому одной из самых распространенных ошибок, которые мы видим в опросах, является широкое применение условных вопросов. Обычно они звучат примерно так:

«Представьте, что вы покупаете ракету...»

«Как бы вы повели себя, если бы стали...»

«Понравится ли вам это приложение, если вы станете новой мамой...»

Самое страшное в этих вопросах то, что они приводят к эффектным выводам в стиле «80% женщин старше 30 лет, живущих в больших городах, купили бы ракету». Пора начать строить эти ракеты? Не так быстро.




Люди очень хорошо умеют представлять себе будущее. Особенно те, которые лестны для их представления о себе. Но реально ли они действуют в соответствии с этими представлениями? Здесь картина уже не такая радужная. Видите ли, с помощью условных вопросов мы получаем ответы только об их намерениях. Если же вас интересует реальное поведение, лучше воздержаться от их использования.

Примеры вопросов для мозгового штурма, использованных в опросе (перевод источника автора):

Учитывая ваши текущие доходы, сколько вы могли бы жертвовать на климатический проект в месяц?

5€ - 100€

200€ - 500€

1000€ - 2000€

2000€ - 3500€

4000+

Представьте, что вы находитесь на сайте организации, занимающейся проблемами окружающей среды, и видите следующие три изображения. Какое из них могло бы больше замотивировать вас пожертвовать ей деньги?







Опросы как немодерируемые интервью

Повторяйте за нами: «Опросы и письменные интервью — не одно и то же». Мы не можем сказать вам, сколько раз мы видели, как кто-то публикует список открытых вопросов и на этом все заканчивается. И каждый раз, когда это происходит, мы, как исследователи, чувствуем, что внутри нас что-то умирает.

Поверьте, мы это понимаем. Традиционные интервью бывает сложно провести. У вас может не быть времени, чтобы поговорить со всеми участниками. У вас может не быть бюджета на поощрение респондентов. Или вы не хотите мучиться с рекрутингом.

Но прежде всего: этично ли просить непритязательных добровольцев делать грязную работу и отвечать на длинные вопросы, не давая им ничего взамен? И дело здесь не только в деньгах. В профессиональных, хорошо проведенных пользовательских интервью у участников есть возможность взаимодействовать с исследователем. Они делятся своими проблемами или потребностями, а мы, исследователи, даем им почувствовать, что они услышаны. Это хороший, продуктивный опыт. И у него нет ничего общего с безликим опросом.

Помимо этических соображений, существует аспект качества данных. В случае открытых вопросов вам просто придется принять любые ответы за чистую монету. Даже если они менее продуманы. Или просто непонятны. Только когда вы приступаете к анализу данных, вы понимаете, как трудно иметь дело с десятками ответов, различающихся по качеству. К тому времени, когда вы закончите анализ, вы, вероятно, пожалеете о том, что использовали такие опросы в качестве замены интервью.

Пример опроса, использованного как замена глубинного интервью (перевод источника автора):

Какой оттенок из выбранных цветов приложения вам кажется приятнее остальных?

Какая из проблем, с которыми вы сталкиваетесь в выборе цветов для приложения кажется вам наиболее сложной?

Пользовались ли вы когда-нибудь приложением или инструментом для подбора цветов для вашего проекта? Если да, уточните, каким именно.

Какие три главных параметра вы рассматриваете, когда выбираете цвета для проекта?

Как вы считаете, какую ошибку чаще всего допускают начинающие визуальные дизайнеры, когда они используют цвета в оформлении приложения? (Вы можете пропустить этот вопрос, если вы новичок).

Правильно проведенные опросы

После того как мы увидели, как не нужно проводить опросы, давайте посмотрим, что помогает создать достоверное, точное и информативное исследование.

Опросы, как их определяет большинство исследователей — это, по сути, серия вопросов (анкета или несколько составленных вместе анкет), на которые отвечают представители целевой группы. Они разрабатываются, а затем анализируются, чтобы оценить установки, мнения, определенные модели поведения и замерить уровень их распространенности в этой ЦА. Мы знаем, это длинное определение. Но чтобы получить хорошие результаты, нам необходимо иметь прочный фундамент. Давайте посмотрим, что это значит на практике.

Правильное время для опросов

Есть определенные типы исследовательских вопросов, для получения ответов на которые, стоит задумываться об использовании опроса. Одна из таких типичных ситуаций — когда вам нужно выяснить, как часто люди ведут себя определенным образом или проявляют некоторые установки. Здесь вы можете углубиться в детали, сгруппировав различные типы клиентов. Например, с помощью опросов вы можете измерить, сколько пользователей, увидевших вашу страницу с объявлениями, пришли к выводу, что они являются привлекательными. Или на более позднем этапе пути вы можете оценить, какая часть аудитории запомнила определенный элемент на странице.

Помимо измерения количества, опросы также хорошо подходят для того, чтобы ответить, что люди чувствуют по поводу определенных вещей. Не следует путать это с плохими кейсами использования опросов для изучения причин поведения.

Чтобы понять разницу между ними, проиллюстрируем тезис примером. Если кто-то спросит вас, насколько вы любите фисташковое мороженое или предпочитаете ли вы фисташковое мороженое лимонному, ответить будет очень просто. Вы очень любите фисташковое мороженое и предпочитаете его лимону. Вы, вероятно, также можете вспомнить, сколько раз вы ели фисташковое мороженое за последние пару недель. Вспоминание занимает пару секунд. Да. Можете ли вы выбрать верные ответы из выпадающего списка? Безусловно.

А если я спрошу, почему фисташковое мороженное кажется вам настолько вкусным? В этом случае дать правдивый ответ будет сложнее. Может быть, оно напоминает вам о семейных праздниках, может быть, вы предпочитаете мороженое на основе сливок, а может быть, у вашего любимого кафе-мороженого просто убойный рецепт. А может быть, это сочетание всего вышеперечисленного. Какова вероятность, что вы напишите все это в поле опроса, особенно если вы получили на мобильный телефон от незнакомца? Очень маловероятно.

Как мы видим, не стоит считать опросы каким-то «неправильным» методом. Однако важно понимать, в каких случаях их стоит применять, чтобы собрать корректные данные. Интервьюируя небольшую группу людей, мы получаем насыщенные, эмоциональные, глубокие данные. Но иногда нам необходимо измерить соотношение или оценить общее количество в больших масштабах. В таких случаях, как мы увидели на примере мороженого, вы действительно только зря потратите время, используя качественные методы.

Кроме того, крупномасштабные исследования могут помочь сбалансировать качественные данные. Да, мы говорим о предвзятости подтверждения при продуктовых исследованиях. Когда ваша команда принимает важные, долгосрочные решения по продукту, опросы могут помочь вам подтвердить, насколько ваши клиенты действительно демонстрируют такое поведение.

Прежде чем двигаться дальше, мы хотим упомянуть, что опросы можно проводить и в паре с количественными методами. Например, вы можете использовать аналитику для отслеживания успешности дизайна веб-страницы. Но чтобы узнать не только о том, что люди делают, но и о том, что они думают о своих действиях, опросы являются наиболее эффективными методами, с точки зрения потраченных бюджетов и времени.

Перед тем, как начать свое первое исследование

Возможно, вам повезло, и вы пришли в продуктовый дизайн с хорошим опытом количественных исследований. Некоторые из нас закончили соответствующие образовательные программы. В этом случае мы знакомы с такими темами, как составление объективных вопросов, методы очистки данных или статистические методы.

Но UXR — это многогранная область. Вполне возможно, что ваши сильные стороны лежат в другом поле. В этом случае мы не советуем сразу же бросаться на первое исследование. Сначала выделите время на надлежащую подготовку. Изучите методы проведения опросов. Это не значит, что нужно возвращаться в университет или тратить деньги на дорогие курсы. Есть несколько проверенных программ, которые можно проходить в удобном для вас темпе. Вы можете бесплатно прослушать уроки на Coursera и EdX. Некоторые моменты хорошо освещаются на курсах количественного анализа IDF. Эти курсы — хороший способ отточить свои навыки и быть более уверенным в надежности своих результатов.

И не забывайте: вы не одиноки. Создание опросов — это не какая-то врожденная способность, а то, чему нужно учиться и практиковаться. Если мы можем настаивать на чем-то одном и только на одном, то это следующее: не стесняйтесь обращаться к другим исследователям, более опытным в этой области. Даже если вы единственный исследователь в своей организации, вы можете обратиться к другим через группы Facebook, каналы Slack или LinkedIn. По нашему опыту, UX-исследования — это та область, где большинство людей понимают все трудности начинающих, поэтому обычно они рады помочь.

Кроме того, во второй части этой статьи мы также поделимся процессами, которым мы следуем при создании собственных опросов. Оставайтесь с нами.

Разумные примеры использования опросов в UX-исследованиях

Наконец, мы хотели бы поделиться нашими любимыми методами проведения опросов. Мы видели, как их применяют наши коллеги-исследователи здесь, в UX Studio, или узнали о них из рассказов наших коллег на UX-конференциях.

• Количественная оценка групп пользователей: возможно, в ходе интервью вы определили определенные портреты/ментальные модели/группы пользователей. Но как бы вы ответили на вопрос, насколько ценны те портреты ЦА, которые вы используете в бизнесе? Качественные методы с небольшим размером выборки не предназначены для ответа на этот вопрос. Но результаты можно сбалансировать с помощью опросов для оценки численности выявленных групп пользователей.

• Приоритизация — распределение по категориям: «Ничто в жизни не является настолько важным, насколько вы думаете, пока думаете об этом», — говорит Дэниел Канеман. Он называет это иллюзией фокусировки. К сожалению, это может привести к неудачным продуктам даже в тех командах, которые включают в разработку продукта исследования и тестирование. Это происходит из-за того, что во время интервью мы спрашиваем пользователей об определенных проблемах. Если мы видим, что они вспоминают о какой-то очень раздражающей проблеме, логично отдать приоритет ее решению. Но насколько мы уверены, что эти проблемы действительно являются наиболее важными для наших целевых клиентов, а не просто теми, которые были в центре нашего интервью? Распределение проблем клиентов по категориям — это метод, разработанным Шреясом Доши. На практике это значит, что клиент сам определяет приоритетность своих проблем. Это означает, что, проводя такой продуманный опрос, при определении приоритетов функций вы можете опираться на количественные данные. Кто бы этого не хотел?

• Успех функций: опросы полезны не только на этапе открытия, но и после внедрения новой функции или дизайна. В этот момент может быть трудно понять, как пользователи на самом деле относятся к изменениям — разобраться можно только на основании поведенческих данных. Например, почему выросло время, проведенное на странице — из-за того, что люди не могут найти то, что искали, или им понравился наш новый контент? Быстрые промежуточные опросы могут помочь вам достичь одной из главных целей UX-исследований: уменьшить неопределенность для команд разработчиков продукта. Чтобы отслеживать, как пользователи относятся к изменениям в продукте в динамике, и измерить их влияние на приоритетные цели, вы можете проводить опросы на своих веб-страницах.

Подведем итоги

Мы надеемся, что к этому моменту вы уже с нетерпением ждете возможности добавить опросы в свой набор инструментов. И вам стоит это сделать, поскольку это отличный инструмент для количественной оценки качественных показателей, сбора постоянной и недорогой обратной связи об отношении людей. Он помогает в определении приоритетов важных решений. Этого можно добиться только тогда, когда опросы проводятся правильно.

Надеемся, что после прочтения этой статьи вы можете более уверенно принимать решения, когда стоит применять опросы, а когда нет. Помните, что хуже слепого подхода к разработке продукта может быть только ложное понимание. Чтобы помочь вам в этом, мы в следующих статьях мы дополним эту информацию пошаговым руководством по созданию собственных опросов.

В то же время не стоит слишком сильно напрягаться. Оттачивайте свое мастерство, спрашивайте более опытных исследователей, пробуйте полученные знания на практике и в следующий раз у вас получится лучше. И получайте удовольствие от этого.