Тестирование на собственном опыте VS контроль качества VS исследование пользователей
Содержание
- Что такое «догфудинг»?
- Догфудинг — это не «Употребление Кул-эйда».
- QA-тестирование vs. Пользовательское тестирование vs. Dogfooding
- Тестирование качества
- Исследование пользователей
- Dogfooding — это не контроль качества и не пользовательские исследования
- Надежность: важнейший фактор в эпоху искусственного интеллекта
- Стоит ли использовать «собачий метод»?
Использование собственных продуктов внутри компании помогает выявлять ошибки, но оно не может заменить исследование пользователей: ваша команда знает слишком много, чтобы представлять реальных пользователей, — считает Тереза Фессенден из NNG.
Руководители крупных технологических компаний стремятся показать, что они и их сотрудники используют собственные продукты. Марк Цукерберг создает ИИ-агента, который поможет ему стать генеральным директором. Илон Маск активно публикует посты в X. Эта маркетинговая стратегия старше самой отрасли: люди, продающие будущее, хотят, чтобы вы знали, что они живут в нем первыми.
Такие выступления часто путают с догфудингом, который в последнее время стал популярной стратегией для команд, стремящихся разработать и выпустить продукты на основе ИИ. При правильном подходе это позволяет выявить ошибки, обнаружить неработающие процессы и наладить взаимодействие с пользователями еще до выпуска продукта. Но у его полезности есть предел — гораздо более низкий, чем кажется большинству продуктовых команд.
Впервые я услышал термин «догфудинг», когда устроился в Microsoft в 2013 году. Тогда дружелюбный менеджер по адаптации сотрудников весело сказал: «Мы здесь едим свой собачий корм». Этот термин был популярен в сфере технологий с 1988 года, когда менеджер Microsoft Пол Мариц разослал электронное письмо под названием «Едим наш собачий корм», призывая сотрудников активнее использовать продукты компании внутри компании.
Идея проста: когда команды используют разрабатываемые ими продукты, они из первых рук узнают, ведут ли себя продукты так, как ожидалось. Цель состоит в том, чтобы выявлять ошибки, сбои и неработающие сценарии до того, как с ними столкнутся пользователи, а также обнаруживать недостающие функции, которые проявляются только при реальном использовании.
В лучшем случае «собачий метод» — это масштабное стресс-тестирование продуктов в различных средах, а также формирование общей заинтересованности в продукте и эмпатии в рамках всей организации. Если продукт не работает, это сказывается не только на пользователях, но и на тех, кто его создает. Благодаря четкой обратной связи команды разработчиков могут устранять проблемы до того, как они распространятся на более широкую клиентскую базу.
Например, генеральный директор McDonald’s Крис Кемпчински подвергся критике в социальных сетях за то, что опубликовал видео, на котором он нерешительно откусывает крошечный кусочек нового продукта компании — бургера Big Arch. Интернет вынес мгновенный вердикт, справедливый или нет: этот человек не ест в McDonald’s. Видео стало вирусным, потому что зрители почувствовали, что он не является искренним поклонником собственного продукта. У вашей команды, которая продвигает ваш продукт, та же проблема. Это инсайдеры, которые используют продукт, а не реальные пользователи, столкнувшиеся с ним впервые.
В конечном счете польза «собачьего корма» сводится к тому, что стоит за этим процессом: делается ли это только для галочки? Или компания в любом случае провела бы стресс-тестирование системы без огласки? Если компания руководствуется в первую очередь тем, как новость воспримут инвесторы, то, скорее всего, это не настоящий контроль качества.
Например, если пользователь заполняет форму для запроса на возмещение расходов, форма работает должным образом, и пользователь может отправить запрос без ошибок, тупиковых ситуаций или багов. То, насколько пользователю нравится процесс возмещения расходов, не имеет значения для обеспечения качества.
Тестирование качества обычно проводят специалисты по контролю качества: их работа заключается в том, чтобы притворяться заказчиком и пытаться вывести продукт из строя, чтобы выявить проблемы до запуска.
Цель состоит не в том, чтобы смоделировать реальное использование, а в том, чтобы определить, стабильно ли работает система, пройдя по всем доступным путям и выявив ошибки или уязвимые места в рабочих процессах и состояниях системы, а также исключения или пограничные случаи.
В отличие от тестирования качества, юзабилити-исследователи не притворяются клиентами. Они находят представительных участников для получения прямой обратной связи. Цель состоит не в том, чтобы нажимать на каждую кнопку или переходить по всем уровням иерархии меню, чтобы понять, что не работает. Цель — наблюдать за реальным использованием продукта, чтобы определить, понимают ли пользователи, как работает система, и могут ли они достигать своих целей.
Но реально ли такое использование, если сотрудник понимает отраслевой жаргон лучше, чем конечные пользователи, и уже знаком с моделью данных и тем, как все взаимосвязано? Большое — и, как правило, ошибочное — допущение заключается в том, что пользователи разделяют ментальную модель системы, которую имеют сотрудники. Мы неоднократно убеждались, что это не так: у них совершенно иной взгляд на вещи, опыт и ожидания. Это эффект «проклятия знания»: если вы знаете, как что-то работает, вы не сможете достоверно имитировать незнание.
Таким образом, отзывы сотрудников о удобстве использования могут исказить результаты исследований и даже противоречить выводам, сделанным на основе пользовательского опыта.
Однако при правильном использовании для повышения надежности «собачий метод» дополняет существующее тестирование качества: чем больше людей будут проверять систему на прочность, тем больше будет данных о ее сбоях. Кроме того, это может служить верхней границей юзабилити системы: если сотрудникам сложно понять, как она работает, то, скорее всего, пользователям будет еще сложнее. (Но если они справятся, это не значит, что справятся и реальные пользователи.)
Однако в случае с недетерминированными моделями ИИ надежность оценить сложнее, поскольку система выдает вероятностные ответы. Надежность теперь зависит от многих факторов:
Тем не менее это не замена контроля качества и пользовательских исследований. Это лучше, чем не делать ничего из перечисленного, но в конечном счете модернизировать дизайн на основе отзывов сотрудников обходится дороже, чем с самого начала учитывать отзывы клиентов.
В конце концов, «собачий метод» показывает, что ваша команда думает о вашем продукте. Исследования показывают, что чувствуют ваши пользователи.
Автор: Тереза Фессенден из NNG
Руководители крупных технологических компаний стремятся показать, что они и их сотрудники используют собственные продукты. Марк Цукерберг создает ИИ-агента, который поможет ему стать генеральным директором. Илон Маск активно публикует посты в X. Эта маркетинговая стратегия старше самой отрасли: люди, продающие будущее, хотят, чтобы вы знали, что они живут в нем первыми.
Такие выступления часто путают с догфудингом, который в последнее время стал популярной стратегией для команд, стремящихся разработать и выпустить продукты на основе ИИ. При правильном подходе это позволяет выявить ошибки, обнаружить неработающие процессы и наладить взаимодействие с пользователями еще до выпуска продукта. Но у его полезности есть предел — гораздо более низкий, чем кажется большинству продуктовых команд.
Что такое «догфудинг»?
Догфудинг — это использование собственных продуктов внутри компании для их улучшения.Впервые я услышал термин «догфудинг», когда устроился в Microsoft в 2013 году. Тогда дружелюбный менеджер по адаптации сотрудников весело сказал: «Мы здесь едим свой собачий корм». Этот термин был популярен в сфере технологий с 1988 года, когда менеджер Microsoft Пол Мариц разослал электронное письмо под названием «Едим наш собачий корм», призывая сотрудников активнее использовать продукты компании внутри компании.
Идея проста: когда команды используют разрабатываемые ими продукты, они из первых рук узнают, ведут ли себя продукты так, как ожидалось. Цель состоит в том, чтобы выявлять ошибки, сбои и неработающие сценарии до того, как с ними столкнутся пользователи, а также обнаруживать недостающие функции, которые проявляются только при реальном использовании.
В лучшем случае «собачий метод» — это масштабное стресс-тестирование продуктов в различных средах, а также формирование общей заинтересованности в продукте и эмпатии в рамках всей организации. Если продукт не работает, это сказывается не только на пользователях, но и на тех, кто его создает. Благодаря четкой обратной связи команды разработчиков могут устранять проблемы до того, как они распространятся на более широкую клиентскую базу.
Догфудинг — это не «Употребление Кул-эйда».
Догфудинг— это не то же самое, что похожее по звучанию «пить Кул-Эйд» или беспрекословно следовать поведению или культуре из преданности миссии. Но легко объединить эти два фактора: многие современные примеры кормежки собак - это перформативные акты лояльности, а не подлинный контроль качества.Например, генеральный директор McDonald’s Крис Кемпчински подвергся критике в социальных сетях за то, что опубликовал видео, на котором он нерешительно откусывает крошечный кусочек нового продукта компании — бургера Big Arch. Интернет вынес мгновенный вердикт, справедливый или нет: этот человек не ест в McDonald’s. Видео стало вирусным, потому что зрители почувствовали, что он не является искренним поклонником собственного продукта. У вашей команды, которая продвигает ваш продукт, та же проблема. Это инсайдеры, которые используют продукт, а не реальные пользователи, столкнувшиеся с ним впервые.
В конечном счете польза «собачьего корма» сводится к тому, что стоит за этим процессом: делается ли это только для галочки? Или компания в любом случае провела бы стресс-тестирование системы без огласки? Если компания руководствуется в первую очередь тем, как новость воспримут инвесторы, то, скорее всего, это не настоящий контроль качества.
QA-тестирование vs. Пользовательское тестирование vs. Dogfooding
На первый взгляд неформальное внутреннее использование может показаться сочетанием тестирования качества и пользовательских исследований.Тестирование качества
Тестирование для обеспечения качества (QA) — это структурированный, системный процесс, направленный на оценку того, что продукт работает должным образом (то есть на проверку надежности продукта).Например, если пользователь заполняет форму для запроса на возмещение расходов, форма работает должным образом, и пользователь может отправить запрос без ошибок, тупиковых ситуаций или багов. То, насколько пользователю нравится процесс возмещения расходов, не имеет значения для обеспечения качества.
Тестирование качества обычно проводят специалисты по контролю качества: их работа заключается в том, чтобы притворяться заказчиком и пытаться вывести продукт из строя, чтобы выявить проблемы до запуска.
Цель состоит не в том, чтобы смоделировать реальное использование, а в том, чтобы определить, стабильно ли работает система, пройдя по всем доступным путям и выявив ошибки или уязвимые места в рабочих процессах и состояниях системы, а также исключения или пограничные случаи.
Исследование пользователей
User research — это структурированный подход к сбору данных от клиентов или типичных пользователей о продукте или услуге, о том, насколько они просты в использовании и насколько хорошо удовлетворяют потребности пользователей.В отличие от тестирования качества, юзабилити-исследователи не притворяются клиентами. Они находят представительных участников для получения прямой обратной связи. Цель состоит не в том, чтобы нажимать на каждую кнопку или переходить по всем уровням иерархии меню, чтобы понять, что не работает. Цель — наблюдать за реальным использованием продукта, чтобы определить, понимают ли пользователи, как работает система, и могут ли они достигать своих целей.
Dogfooding — это не контроль качества и не пользовательские исследования
Dogfooding — это нечто среднее между контролем качества и пользовательскими исследованиями, при котором сотрудники выступают в качестве основного источника обратной связи, а также пытаются воспроизвести «реальное» использование продукта.Но реально ли такое использование, если сотрудник понимает отраслевой жаргон лучше, чем конечные пользователи, и уже знаком с моделью данных и тем, как все взаимосвязано? Большое — и, как правило, ошибочное — допущение заключается в том, что пользователи разделяют ментальную модель системы, которую имеют сотрудники. Мы неоднократно убеждались, что это не так: у них совершенно иной взгляд на вещи, опыт и ожидания. Это эффект «проклятия знания»: если вы знаете, как что-то работает, вы не сможете достоверно имитировать незнание.
Таким образом, отзывы сотрудников о удобстве использования могут исказить результаты исследований и даже противоречить выводам, сделанным на основе пользовательского опыта.
Однако при правильном использовании для повышения надежности «собачий метод» дополняет существующее тестирование качества: чем больше людей будут проверять систему на прочность, тем больше будет данных о ее сбоях. Кроме того, это может служить верхней границей юзабилити системы: если сотрудникам сложно понять, как она работает, то, скорее всего, пользователям будет еще сложнее. (Но если они справятся, это не значит, что справятся и реальные пользователи.)
Надежность: важнейший фактор в эпоху искусственного интеллекта
Важно различать надежность и удобство использования — это две разные потребности пользователей. Как минимум, продукт должен быть функциональным и надежным, прежде чем его можно будет использовать. Если продукт постоянно дает сбой в процессе выполнения задачи или пропускает этап рабочего процесса, он по определению не может быть удобным в использовании. В детерминированных системах надежность обеспечивается просто, даже в случае сложных рабочих процессов: если пользователь делает x, то каждый раз происходит y.Однако в случае с недетерминированными моделями ИИ надежность оценить сложнее, поскольку система выдает вероятностные ответы. Надежность теперь зависит от многих факторов:
- Всегда ли система выдает правильный ответ?
- Использует ли она по умолчанию правильные источники данных?
- Учитывает ли она контекст пользователя? Использует ли она этот контекст надлежащим образом?
- Какие меры предосторожности предусмотрены для предотвращения катастрофических сбоев или несогласованности?
Тем не менее это не замена контроля качества и пользовательских исследований. Это лучше, чем не делать ничего из перечисленного, но в конечном счете модернизировать дизайн на основе отзывов сотрудников обходится дороже, чем с самого начала учитывать отзывы клиентов.
Стоит ли использовать «собачий метод»?
«Собачий метод» может быть полезным дополнительным источником данных при разработке продукта или услуги. Он используется наряду с другими методами, которые лучше подходят для получения более конкретных и применимых на практике данных. Каждый из них отвечает на свой вопрос, и ни один из них не заменяет другие:- Dogfooding: Работает ли продукт? Возникают ли в нем сбои? Есть ли очевидные недочеты, которые может заметить команда?
- QA-тестирование: Есть ли в продукте уязвимые места, ошибки или «слепые зоны»? Есть ли пробелы в функционале, состояниях ошибок или исключениях, которые нам нужно предусмотреть?
- Исследование пользователей: Может ли человек, не знакомый с продуктом, достичь своих целей? Что пытаются сделать пользователи и как продукт вписывается — или не вписывается — в их реальный контекст?
В конце концов, «собачий метод» показывает, что ваша команда думает о вашем продукте. Исследования показывают, что чувствуют ваши пользователи.
Автор: Тереза Фессенден из NNG
Понравилась статья? Жмите лайк или подписывайтесь на рассылку.
А также поделитесь статьей с друзьями в соцсетях.
