Главная страница

Способы проверки решений и инструменты для тестирования прототипов и сайтов

На эту статью нас вдохновил доклад Александра Мазайкина в Школе дизайна Яндекса. Мы постарались расширить тему и рассказали подробнее об инструментах, при помощи которых нужно проводить тесты.

Начнем с небольшого блока теории.

Зачем, что и когда тестировать?

Сразу давайте разберемся, почему нужно что-то проверять и тестировать.
  1. Проверить идеи или решения.
  2. Снизить влияние на результат субъективных факторов.
  3. Создать продукт для клиента.
А теперь немного подробнее.

На любой продукт — программу, приложение, сайт — можно посмотреть с двух сторон: с позиции клиента и с позиции владельца.

Это не новость, но интересы владельца и клиента отличаются. Если мы говорим о сайте, первый хочет продать как можно больше с минимальными затратами и максимальной прибылью, второй — получить всю необходимую для принятия решения информацию и сделать выгодную покупку.

И взгляд на то, какой должна быть эта информация, сильно отличается у этих двух групп. Если владельцу кажется, что нужно рассказать о компании и обязательно упомянуть про 20 сотрудников и 15 лет на рынке, то потребителю может быть интересна только цена и условия доставки.

Тестирование дает возможность достаточно быстро проверить, насколько то, что вы создали, подходит вашим клиентам, и уменьшить влияние на итоговый результат субъективных факторов. Например, личного мнения или видения руководителя проекта.

Тестирование актуально всегда. Вы можете быстро и с минимальными инвестициями проверить идею, а можете узнать мнение пользователей о готовом продукте.

В зависимости от того, какая информация нужна, вы можете применять разные способы и инструменты тестирования. Но в любом случае — процесс должен подчиняться нескольким правилам.

Важные правила тестирования

Infografika tri pravila.png

1. Чем раньше — тем лучше.

Внесение правок, доработок или полное изменение концепции на начальном этапе стоит сравнительно дешево и возможно почти всегда. Изменить готовый продукт — всегда дорого и не всегда возможно.

Ошибки на этапе проектирования архитектуры и создания прототипа, если их вовремя не исправить, могут увеличить затраты на запуск в несколько раз или убить проект.

2. Объективная информация.

Провести опрос разработчиков в офисе — плохая идея, когда ваш продукт предназначен для домохозяек. Объективную информацию о прототипе или продукте могут дать только реальные пользователи — люди, для которых все это делается.

Мнения профессионалов и экспертов важны, но куда важнее удобство для конечного пользователя.

3. Четкая методология.

Тесты проводятся в соответствии со строгими правилами, которые определяются и описываются до начала проверки. Если в ходе тестирования становится очевидно, что методология неверна — меняем ее и начинаем все заново.

Нельзя задавать всем разные вопросы и на основании этого делать какие-то выводы. Потому что в них будет ваше субъективное отношение и восприятие, а не объективные данные.

3. Какие бывают тесты?

testirovaniya.png
Давайте немного расшифруем.

Мы можем проверять поведение (что делают?) или отношение (что говорят?).
kachkolich.png
Метрики для проверки могут быть качественными (ответ на вопрос: почему?) и количественными (сколько? насколько?).

В зависимости от особенностей каждого вида тестирования его можно поместить в один из четырех секторов. Расположение точек по осям и относительно друг друга — близость способов между собой и связь с другими метриками.

А сейчас давайте подробнее поговорим о каждом из способов.

Как проводить тестирование?

Часть тестов можно провести онлайн. Другие — только оффлайн. Мы коротко расскажем об особенностях каждого исследования и поделимся некоторыми инструментами.
Infografika po stoimosti.png Infografika po srokam.png

1. Юзабилити-тестирование Online & OfflineКачественный


Описание теста:

даем респонтентам задания (например, оформить заказ) и смотрим, как они с ними справляются и какие трудности возникают. Исследование проводится, чтобы понять, как реальные пользователи реагируют на решение, принимают или не принимают его, насколько сайт или интерфейс удобен. Может проводиться как в лаборатории, так и онлайн.

Стоимость:

  • дешево, при проведении онлайн тестирования (10-20 респондентов за 5-20 т.р.);
  • дорого, если проводить исследование в лабораторных условиях (3-8 респондентов за 50-200 т.р.).

Скорость:

  • быстрое проведение и быстрые результаты при проведении исследования online (7-10 дней);
  • при поиске респондентов для лаборатории не всегда быстро получается подобрать пользователей (2-3 недели).


Инструментарий:

AskUsers и другие сервисы для проведения UX тестов.

Результат:

комплекс данных о поведении и отношении респондентов, оценка пользовательских сценариев и определение “узких мест”, неудобного функционала, непонятных для пользователей элементов.

2. Этнография Online + OfflineКачественный


Описание теста:

составляем портрет клиента, изучаем все, что влияет на принятие решения. Серьезная и глубокая проверка, цель которой —  выявить основные мотивации, боли и предпочтения ваших клиентов. Результат —  портрет клиента и ясное понимание того, в каком направлении двигаться при разработке. Сбор данных проводится в полевых условиях.

Стоимость:

дорого, у интернет-агентств и UX-лабораторий цены на услуги колеблятся от 50 000 до 500 000 рублей

Скорость:

достаточно долго (от 2 недель до 2 месяцев)

Инструментарий:

системы аналитики Яндекс.Метрика и Google Analytics, анализ ниши, конкурентов, изучение бухгалтерской/клиентской документации, брифование сотрудников компании.

Результат:

понимание глубинной мотивации пользователей, возможность максимально приблизить видение владельца продукта к видению пользователя.

3. Eye-tracking Offline


Описание теста:

аналогично юзабилити-тестированию, с тем отличием, что ведется запись того, куда смотрит пользователь. Проводится с использованием специального оборудования в лабораторных условиях.

Стоимость:

дорого, от 150 000 до 300 000 рублей за тестирование 3-8 человек.

Скорость:

при поиске респондентов для лаборатории не всегда быстро получается подобрать пользователей подходящих под портреты ЦА, плюс неделя на обработку данных (2-4 недели)

Инструментарий:

лаборатория оборудованная приборами для отслеживания направления взгляда, специальный софт для обработки данных. Компании, которые могут провести исследование: trackeye.ru, neurotrend.ru, usabilitylab.ru, eye-tracking.ru.

Результат:

аналогичен результатам юзабилити тестирования, в компелексе с пониманием распределения внимания пользователей.

4. A/B тестирование Online


Описание теста:

даем респондентам попользоваться двумя разными версиями продукта. Сравнение для определения наиболее подходящего и удобного для пользователей варианта. Точность результатов зависит от размера выборки (от 2 000 уникальных пользователей и выше). Нельзя проверять больше одной гипотезы.

Стоимость:

бесплатно с помощью инструментов Google, от 3 000 до 8 000 р. за 2000-10000 посетителей на 1 проект

Скорость:

быстро, при условии, что можно привлечь достаточный объем трафика. (1-4 недели)

Инструментарий (онлайн):

инструменты A/B тестирования от Google, другие сервисы.

Результат:

объективная информация об эффективности и удобстве использования разных версий продукта. Статистические данные выраженные в абсолютных и относительных единицах: например, вариант сайта с заявкой в первом экране выбрали 500 человек (25%), а в последнем экране выбрали 1500 человек (75%);

5. Анализ переходов, кликов и движений курсора OnlineКоличественный


Описание теста:

анализируем данные систем аналитики. Изучение пользовательских сценариев, карты кликов, тепловой карты, записей действий пользователя.

Стоимость:

Бесплатно с помощью Яндекс.Метрика и Google Analytics. Другие инструменты.

Скорость:

достаточно быстро (кроме оценки сценариев по записи пользовательских экранов), но нужна база для анализа —  определенное количество живых пользователей, действия которых отслеживались за период от нескольких недель. Анализ данных от 1 до 7 дней.

Инструментарий (онлайн):

системы аналитики Яндекс.Метрика (в том числе Вебвизора) и Google Analytics, AskUsers (запись экрана респондента).

Смотрите также: Вопросы, на которые AskUsers отвечает лучше Яндекс.Метрики


Результат:

выявление элементов, которые притягивают наибольшее внимание и возможность перераспределить его с помощью контрастов, понимание пользовательских сценариев.

6. Side by side Online & OfflineКоличественный


Описание теста:

упрощенный вариант A/B тестирования, когда пользователю нужно просто выбрать из двух вариантов наиболее понравившийся, без совершения каких-либо дополнительных действий. Можно проводить в тематических или своих группах соц. сетей, опрашивая потенциальных покупателей или community. Если не нашли подходящей площадки или не набрали нужную для статистики выборку, можно провести в AskUsers, с помощью функционала “опросников”.

Стоимость:

бесплатно в соц.сетях или 50 р. за 1-го респондента с помощью AskUsers

Скорость:

быстро, на подготовку прототипов и опрос обычно уходит 1-5 дней

Инструментарий (онлайн):

AskUsers или тематические паблики/форумы

Результат: выбор наиболее понравившегося пользователям варианта, как основного для использования на первых итерациях продакшен версий.

7. Интервью OfflineКачественный


Описание теста:

задаем респондентам вопросы о продукте, документируем ответы. Задача —  изучение мнения пользователей о продукте путем опроса при личной беседе. В отличие от онлайн-опроса (пункт 14) проводится вживую один на один с респондентом.

Стоимость:

в агентствах услуга “под ключ” стоит не дешево, от 30 000 до 250 000 рублей (от 1 до 10 респондентов),

Скорость:

быстро —  само тестирование, долго —  поиск подходящих респондентов (от 1 дня до 2 недель)

Инструментарий:

респондент, подготовленный список вопросов, диктофон, диван, ручка, блокнот, кофе.

Результат:

задокументированные ответы, которые дают понимание того, что волнует пользователя, какие страхи и боли имеются, что нравится или не нравится в продукте.

8. Фокус-группы OfflineКачественный


Описание теста:

усложненный вариант интервью, когда вопросы задаются не одному человеку, а группе из 3-12 респондентов. Проводится вживую.

Стоимость:

дорого, от 70 000 до 300 000 рублей

Скорость:

достаточно долго из-за подбора необходимой группы респондентов и подбора удобного всем участникам времени проведения (2-4 недели на подготовку и проведение).

Инструментарий:

группа респондентов, подготовленный список вопросов, диктофон, диваны, ручка, блокнот, кофе, печеньки.

Результат:

информация о продукте, каким его видят пользователи. Недостаток метода в том, что люди поддаются влиянию и неохотно высказывают свое мнение, если оно не совпадает с мнением группы или ее неформального лидера.

9. Совместный дизайн OfflineКачественный


Описание теста:

групповое тестирование при котором разработчики совместно с пользователями обсуждают возможные решения и идеи по их воплощению. Буквально, садятся в одном помещении и беседуют, предлагают и обсуждают решения. Проводится только вживую.

Стоимость:

дорого, от 100 до 400 т.р.

Скорость:

достаточно долгая подготовка и обратка результатов (2-4 недели).

Инструментарий:

респонденты (представители ЦА продукта), дизайнеры, юзабелисты, подготовленные варианты элементов дизайна, мудборды, компьютеры с графическими редакторами, блокноты ручки, сценарий беседы.

Результат: задокументированные предпочтения, идеи и предложения пользователей. Недостаток тот же, что и при работе с фокус-группой: многие будут отмалчиваться.

10. Дневник OnlineКачественный


Описание теста:

респонденту дается задание описать проблемы, с которыми он сталкивается при использовании продукта шаг за шагом —  документирование пользователем своих потребностей и действий в ходе работы с продуктом/сайтом или при изучении прототипа.

Стоимость:

не очень дорого, 5-15 т.р. за 1-5 дневников

Скорость:

медленная из-за необходимости подготовки и контроля процесса, а так же продолжительной и обработки и анализа результатов.

Инструментарий:

респондент, компьютер, AskUsers может упростить обработку сценария за счет записи экрана пользователя, ведущего дневник.

Результат: набор задокументированных пользовательских сценариев, на основе которых можно выделить основные поведенческие паттерны и найти неудобные интерфейсные решения.

11. Концепт-тест Online & OfflineКачественный


Описание теста:

изучение реакции человека на основную идею или базовую реализацию продукта, сайта или прототипа. Показываем вариант на короткое время или рассказываем идею —  следим за реакцией. Проводится как онлайн, так и вживую.

Стоимость:

бесплатно в соц сетях, не сильно дорого в AskUsers (от 1 до 10 т.р.), дороже в оффлайн (от 30 до 100 т.р.)

Скорость:

Быстро (от 2 до 10 дней)

Инструментарий:

соц. сети, AskUsers, агентство

Результат: информация о том, как пользователи принимают или не принимают вашу идею, концепцию или проект.

12. Сортировка карточек Online & OfflineКачественный


Описание теста:

используется, чтобы определить оптимальную организацию элементов в сложных системах. Например, меню или расположение блоков на странице. Респонденту дается набор карточек, которые нужно расположить в логичном, по его мнению, порядке. Проводится онлайн или вживую.

Стоимость:

онлайн —  дешево, можно использовать тематические паблики и свои группы в соц-сетях, можно спрашивать асессоров в AskUsers (от 0 до 10 т. р.) оффлайн —  дорого, но иногда оправдано (при большом количестве элементов могут возникать нетривиальные решения по группировке объектов), от 30 до 100 т.р.

Скорость:

проводится довольно быстро (от 2 ней до 2 недель)

Инструментарий:

соц. сети, тематические паблики, AskUsers.

Результат:

понимание, как организовать информацию, чтобы она была доступнее и понятнее пользователям. Чаще проводится на ранних стадиях разработки и прототипирования.

13. Тест привлекательности OnlineКачественный


Описание теста:

на короткое время респонденту показывается интерфейс или продукт. Задача тестируемого —  выбрать из списка прилагательных те слова, которые характеризую продукт наиболее полно. Потребуется от 10 до 50 респондентов.

Стоимость:

от бесплатного, до недорого в AskUsers (от 500р до 7500р)

Скорость:

быстро, от 2 до 10 дней

Инструментарий:

тематические сообщества и личные аккаунты в соц. сетях, опросники в AskUsers со своим списком из 10 прилагательных или открытые вопросы для неограниченной фантазии респондентов.

Результат:

описание первичного впечатления пользователей от вашего продукта, сайта, прототипа или решения, возможность найти боли покупателей и дополнительные триггеры для раскрытия торгового предложения на сайте.

14. Онлайн-опрос OnlineКоличественный


Описание теста:

респондент отвечает на вопросы об использовании сайта, продукта или об удобстве и простоте интерфейса. Отличается от юзабилити тестирования тем, что к вопросам могут прилагаться варианты ответов, а опрашивается гораздо больше респондентов (от 20 до нескольких сотен человек).

Стоимость:

в соц. сетях - бесплатно, но сложнее подобрать ЦА, в AskUsers - проще определиться с респондентами, но надо немного заплатить (от 1 до 10 т.р.)

Скорость:

быстро - от 2 до 7 дней.

Инструментарий:

тематические сообщества и личные аккаунты в соц. сетях, опросники в AskUsers.

Результат:

Статистика по предпочтениям потенциальных покупателей относительно интерфейсных решений, расположения элементов, привлекательности предложений и другого. Используется на различных этапах разработки и развития сайта, помогает решить локальные задачи, улучшить интефейсы и определить направления для дальнейшего развития.

15. Тайный покупатель Online & Offline


Описание теста:

респондентам, подходящим под портреты пользователей сайта, ставится задача пройти полный цикл от выбора товара на сайте до его оплаты и получения. Тестируется вся воронка продаж и соответствие информации на сайте.

Стоимость:

дорого - от 50 000 до 500 000 рублей в месяц

Скорость:

не долго - от 2 до 30 дней на проведение одной итерации, эффективнее проводить на регулярной основе от 2-3 до 100 тайных покупателей в месяц.

Инструментарий:

Специализированные агентства со своей базой тайных покупателей по всей Россиии и СНГ.

Результат:

задокументированная информация от соответствии торгового предложения на сайте, реальному положению дел, оценка работы операторов, консультантов, курьерской службы. Нахождение слабых мест в воронке продаж.

Как выбрать нужный способ тестирования?

Мы описали 15 способов проверить, насколько ваш сайт, продукт, прототип, идея или продукт подходит пользователю. У каждого из них свои задачи. Какие-то позволяют быстро и дешево получить достоверный результат, а другие, наоборот, требуют значительных затрат времени и денег. graf-vivods.png
  • Этнография —  это базовое исследование, которое стоит сделать еще на этапе подготовительных работ.
  • Тестирование качественных характеристик возможно на любом этапе —  начиная от идеи и прототипа и заканчивая готовым продуктом.
  • Количественные тесты в большинстве случаев есть смысл проводить, когда есть уже готовый продукт.
Для получения базовой информации о жизнеспособности или нежизнеспособности идеи или прототипа рекомендуется проводить недорогие и быстрые тесты: концепт, юзабилити, привлекательности, опрос.

Выводы и рекомендации

  • Тестирование нужно проводить на всех этапах создания и продвижения продукта.
  • Тестирование дает объективную информацию, которая может сильно повлиять на конечный результат.
  • Существует большое количество тестов под любые задачи.
  • Для проведения большинства тестов достаточно штатного инструментария AskUsers и систем аналитики Яндекс.Метрика и Google Analytics.
Чем больше тестов —  тем лучше вы понимаете, что нужно клиентам. И тем выше вероятность создать востребованный и нужный продукт, который будет работать эффективно и приносить его владельцу больший доход.

Уже тестируете? Или все еще верите в свою интуицию?

Подпишитесь на обновления, чтобы быть в курсе!

Оцените статью:

( 3 оценок, средняя: 3.56 из 5 )

Новые кейсы и лайфхаки еще впереди. Подпишитесь на обновления, и узнавайте все первыми. Это бесплатно!

Адрес подписки уже существует. Пожалуйста укажите другой адрес.

Указать другой

На ваш почтовый адрес отправлено письмо для подтверждения подписки.

Если вы ещё не являетесь пользователем AskUsers,
но хотите улучшить свой сайт, то просто зарегистрируйтесь.

Хочу попробовать
Блог
Для заказчиков
Для асессоров
Каталог разработчиков
О сервисе
Партнерская программа
Пресса
Контакты
Сделано с  StudioF1  в Студии F1

AskUsers.ru © Copyright 2015 г.

Регистрация
Буду проводить исследования
Буду тестировать сайты
Необходим для подтверждения регистрации и восстановления пароля

Если у вас уже есть аккаунт, воспользуйтесь формой входа

Восcтановления пароля

Если вы забыли пароль, введите ваш E-Mail.
Контрольная строка для смены пароля, а также ваши регистрационные данные, будут высланы вам по E-Mail.



Если у вас уже есть аккаунт, воспользуйтесь формой входа

Войти в личный кабинет
Забыли свой пароль?

Если у вас ещё нет аккаунта, зарегистрируйтесь прямо сейчас