Почему тестирование —  это постоянный и непрерывный процесс, а не разовая акция

К этой теме нас подтолкнуло выступление Олега Левчука в «Школе дизайна» Яндекса. Его короткая, но эмоциональная речь о гигиене и эмпатии, как основополагающих принципах тестирования, вскрывают проблемы, о которых многие никогда даже и не задумывались.

(Не пугайтесь тайминга: выступление Олега длится всего 10 минут. Смотреть с 3:01:00)

Исследования часто воспринимаются как внешний процесс — обязательный этап в проектировании и разработке продукта или сайта, который можно быстро пройти, а по результатам нарисовать презентацию, показать ее директору и забыть. Иногда — сделать какие-то глубокомысленные выводы, которые почти всегда подтверждают собственные теории, догадки и решения.

Это неправильно! Потому что тестирование — непрерывный внутренний процесс. Разработчики программного обеспечения давно уже это знают. Поэтому QA занимает в процессе разработки такую же важную часть, как и непосредственно написание кода.

Как устроен процесс тестирования в софтверных компаниях

На каждом этапе разработки программы с продуктом работают инженеры, единственная задача которых — находить баги и недочеты и сообщать о них программистам.

Вне зависимости от того на какой стадии находится проект — разработка архитектуры или финальный релиз. Вне зависимости от того, кто писал код — джуниор или тимлид. Проверяется и тестируется все и всегда. Каждая итерация и версия продукта.

Этот процесс органично встроен в систему разработки и рассматривается как что-то само собой разумеющееся. Разработчики ПО понимают и осознают, что без постоянного тестирования сделать рабочий продукт просто невозможно.

Как только появляется стабильный функционал и оболочка, бета-версии продукта предоставляются для тестирования уже реальным пользователям. Данные, начиная с технических и заканчивая отзывами, собираются и анализируются. По итогам в продукт вносятся доработки и изменения. И это тоже нормальный процесс.

Теперь перенесемся в индустрию разработки сайтов

Если отбросить согласования дизайна и функционала с клиентом, разработчики перед релизом проверяют, все ли сделано правильно и работает корректно, по чек-листам. Это в лучшем случае.

Чаще выводы делаются по принципу экспертной оценки тем человеком, который отвечает за кусок работы. Менеджер «на глазок» оценивает соответствие итогового результата ожиданиям клиента, и все очень недовольны, когда нужно что-то дорабатывать или вносить правки. Ничего не напоминает?

Тестирование сайта с привлечением реальных пользователей, если и проводится, то на финальном этапе, когда можно внести косметические правки, но поменять что-то масштабное чаще всего уже невозможно.

Стоит ли говорить, что ошибки, допущенные на этапе проектирования информационной архитектуры или планирования взаимодействия пользователя с сайтом, могут фактически похоронить проект еще до официального запуска?

Процесс непрерывного тестирования, встроенный в систему разработки, в сайтостроении пока еще скорее исключение, а не правило. И это неправильно.

Тестирование как непрерывный процесс

Посмотрите на графики. Это частота, с которой пользователи запрашивают товары и услуги в Яндексе в течение года.

Как думаете, если вы зададите один и тот же набор вопросов одной и той же аудитории в точках 1 и 2, будут ли отличаться ответы?

Даже целевой и потенциально мотивированной на покупку аудитории не нужны кондиционеры под Новый год или туры в Таиланд в летнюю жару. И ответы на одинаковые вопросы, заданные с промежутком в 3-6 месяцев могут очень сильно отличаться.

Это только один из примеров. Но даже по нему видно, насколько важно проводить эти манипуляции регулярно и на постоянной основе. Даже когда сайт уже готов и запущен, постоянное тестирование необходимо, чтобы вовремя вносить правки и доработки в соответствии с ожиданиями пользователей.

Нужно понимать, что результаты исследований устаревают. Иногда даже за то время, пока вы анализируете и сводите данные. Тестирование в разных временных точках и для разных аудиторных срезов — единственный способ получить комплексную, относительно актуальную и достоверную информацию.

Гигиена и эмпатия

Олег Левчук (еще не забыли про видео?) метко сравнил тестирование с чисткой зубов. Только если делать это регулярно, можно добиться стабильного результата — отсутствия дырок в зубах и ошибок на сайтах.

Гигиена дает еще одно преимущество: чем больше вы проводите тестов, тем лучше понимаете и продукт, и аудиторию. Это меняет мышление в лучшую сторону и дает более полное и глубокое понимание того, куда и как двигаться дальше.

Возникает эмпатия — то состояние, когда вы чувствуете свою аудиторию, не боитесь ее и готовы доверить ей свои идеи, чтобы уже на основе исследований, а не домыслов сделать объективные выводы.

Выводы и рекомендации

• Тестирование — это постоянный и непрерывный во времени внутренний процесс.

• Только повторяющиеся исследования дают полную и достоверную информацию о взаимодействии аудитории и продукта или сайта.

• Регулярные исследования дают глубокое понимание реальных потребностей аудитории.

• Разовые тесты могут подтвердить или опровергнуть идею или решение, но не дают достоверной информации в среднесрочной и долгосрочной перспективе.

Гигиена и эмпатия — вот те два принципа, вокруг которых строятся эффективные исследования. Регулярность тестов и понимание аудитории — факторы, без которых невозможно создать по-настоящему востребованный сайт или продукт.

Хотите что-то добавить? Добро пожаловать в комменты. Не согласны? Выскажите свое мнение — с удовольствием обсудим вашу точку зрения.