Совмещаем A/B-Тесты и Персонализацию

Если вы спросите большинство маркетологов, они скажут вам, что A/B-тестирование и персонализация — это две совершенно разные вещи. Я с уважением не согласен и думаю, что это разногласие лежит в основе того, как лучше всего использовать их вместе.

Мы, как маркетологи роста/эффективности, несем ответственность за результаты, часто измеряемые конверсиями, новыми клиентами или доходом. Каждый маркетолог хочет более высоких показателей конверсии, а A/B-тестирование и персонализация — это просто два способа увеличить конверсию.

Тем не менее, большинство маркетологов рассматривают тестирование и персонализацию как независимые усилия, хотя на самом деле их лучше всего применять вместе. Поняв это, вы сможете получить гораздо больше от своих усилий по оптимизации коэффициента конверсии.

Почему и когда вам следует использовать A/B-тестирование и персонализацию

A/B-тестирование и многовариантное тестирование (MVT) обычно используются для поиска одной наиболее эффективной страницы (или набора страниц), которую можно показать всем пользователям. Этот подход имеет смысл, если вы можете показать посетителям только одну версию вашего сайта.

Например, эти методы тестирования полезны, если вы хотите выбрать между двумя потоками регистрации, каждый из которых построен на отдельном стеке технологий, и хотите в будущем выбрать лучший поток на одном стеке технологий.

Персонализация — это адаптация опыта

A/B-тестирование эффективно сравнивает одну идею с другой и определяет, какая из них в среднем лучше.

Персонализация позволяет вам обслуживать разные версии вашего сайта, адаптированные к различным контекстам и интересам вашей аудитории. Наличие более чем одной версии вашего сайта позволяет вам «уменьшить среднее значение» вашего сообщения и предоставлять более эффективные варианты каждому посетителю. Несмотря на это, в прошлом году Clearhead обнаружила , что только 17% интернет-торговцев имеют возможность разрабатывать персонализированный опыт для клиентов; аналогичные истории можно найти и в других отраслях промышленности.

Многие маркетологи уже персонализируют свой сайт, даже не осознавая этого. Например, если у вас есть отдельные целевые страницы для разных аудиторий или кампаний, вы персонализируете свой сайт.

При правильном применении персонализация всегда дает лучшие результаты, чем показ одной страницы всем пользователям.

Почему? Предоставление наилучшего опыта для каждого сегмента аудитории дает лучшие результаты, чем обслуживание лучшего среднего исполнителя из всех. Эта таблица иллюстрирует, как это работает:

Но вы можете спросить: «Как мне узнать, какой вариант моего сайта будет обслуживать тот или иной сегмент моей аудитории?» Ответ заключается в том, чтобы одновременно проводить персонализацию и A/B-тестирование.

Вы можете получить лучшее от обоих, показывая каждому предопределенному сегменту подходящий для него опыт и зная, что тот опыт, который вы показываете, является для него подходящим.

Как объединить A/B-тестирование и персонализацию для достижения лучших результатов

Вместо того, чтобы быть полностью отдельными, A/B-тестирование и персонализация идут рука об руку, как шоколад и арахисовое масло. Когда вы занимаетесь персонализацией, у вас должен быть менталитет тестирования, который, как я вижу, отличается от того, что я вижу у большинства маркетологов сегодня.

Вы можете протестировать потенциальную персонализацию с помощью инструмента A/B-тестирования, настроив аудиторию для каждого сегмента, а затем проведя A/B-тестирование внутри этой аудитории.

Для этого сначала определите каждый целевой сегмент на основе имеющихся у вас данных о них. Затем создайте аудиторию, соответствующую этому определению. Затем создайте A/B-тест для каждого сегмента.

Для каждого A/B-теста назначьте соответствующую аудиторию, которая гарантирует, что он будет показан только этому сегменту. Затем вы найдете лучшую страницу (A или B) для показа этого сегмента. Большинство популярных инструментов A/B-тестирования имеют такую возможность.

Персонализация на основе правил

Вы также можете настроить это с помощью инструмента персонализации на основе правил, запустив A/B-тест в сегменте. Для этого вы устанавливаете ряд правил, определяющих таргетинг на определенный сегмент и/или контекст. Затем активируйте A/B-тест внутри каждого правила. Этот тест будет показан только тем посетителям, которые имеют право видеть это правило.

Большинство популярных инструментов персонализации предлагают A/B-тестирование в рамках правила, чтобы вы могли найти лучшую страницу (A или B) для отображения каждого сегмента.

В обоих подходах вы найдете один лучший опыт для показа каждого сегмента, что приведет к более высокой эффективности, чем демонстрация лучшего среднего результата для всех. Практический компромисс по сравнению с A/B-тестированием — это время и усилия, необходимые для создания большего количества версий вашего сайта (и их одобрения) в обмен на более высокие коэффициенты конверсии.

Масштабное объединение тестирования и персонализации

Тем из нас, кто никогда не бывает удовлетворен и всегда хочет добиться большего, следует спросить: «Есть ли масштабируемый способ сделать и то, и другое вместе еще быстрее?» Ответ — да, и этот подход называется прогнозирующей персонализацией.

По сути, вся персонализация, о которой мы читаем сегодня, основана на правилах, а это означает, что каждая персонализация требует от нас, маркетологов, установить правило, гласящее: «Для посетителей, которые соответствуют этому профилю и ведут себя таким образом, покажите им этот опыт».

Прогнозирующая персонализация добавляет автоматизации к этому подходу.

Представьте себе машину, которая автоматически обнаруживает сегменты в режиме реального времени, тестирует множество идей одновременно и показывает каждому отдельному посетителю индивидуальный опыт, который с наибольшей вероятностью приведет к конверсии в данный момент.

Этот подход имеет два важных последствия: во-первых, когда вы меняете свои маркетинговые усилия, правильный опыт, который нужно показать каждому посетителю, вполне может со временем измениться. При A/B-тестировании мы все уязвимы перед этим реальным риском, и без частого повторного тестирования было бы трудно даже узнать, что это происходит.

Благодаря прогнозирующей персонализации машина продолжает наблюдать и приспосабливаться к текущим оптимальным условиям. Мы защищены от будущих изменений наших маркетинговых усилий и изменений наших конкурентов.

Следующим выводом является то, что испытания не заканчиваются. Тесты дают результаты со статистической значимостью, а также информацию, которую мы можем использовать в наших маркетинговых усилиях. Мы оставляем тесты запущенными на случай, если правильный ответ изменится. Это также сдвиг в мышлении, который я вижу у большинства маркетологов сегодня.

Практический компромисс по сравнению с персонализацией на основе правил заключается в том, что вы не знаете заранее, какую версию сайта увидит отдельный посетитель (из числа версий, которые вы уже благословили), в обмен на еще более высокую производительность и тестирование множества идей одновременно.

Вы можете одновременно получить максимальную пользу от A/B-тестирования и персонализации, переложив на машину множество рутинных задач по оптимизации. Вы можете потратить больше времени на понимание своих потенциальных клиентов и разработку новых подходов к их конверсии.

Итак, какую технику и когда вы используете? Я предлагаю:

Пример A/B-тестирования и персонализации в действии: Chime

Chime — это онлайн-банк, призванный помочь участникам достичь финансового благополучия за счет устранения ненужных комиссий. Они предлагают мобильное приложение, которое позволяет участникам контролировать расходы и помогает участникам сформировать здоровую привычку к сбережениям за счет автоматизации. Компактная, опытная и основанная на данных маркетинговая команда Chime хотела привлечь больше новых клиентов.

Они начали с того, что сосредоточились на нескольких впечатлениях на странице, используя прогнозирующую персонализацию. В течение недели после первоначального мозгового штурма они создали восемь заголовков, две новые части основного контента и новое видео для тестирования на своей домашней странице, которую просматривают тысячи страниц в день. В совокупности эти идеи означали, что Chime тестировала 54 различные версии своей домашней страницы.

Первоначальные тесты прогнозирующей персонализации Chime

Примеры первоначальных тестов заголовков.

Обзорное видео от генерального директора и сооснователя Chime Криса Бритта.

Новая копия тела и изображения.

Первые результаты Chime

Через шесть недель они увидели рост на 8%. Как? Каждый посетитель автоматически помещался в один из миллионов возможных сегментов на основе того, что система прогнозирующей персонализации знала об этом посетителе.

Наблюдая за поведением посетителей, система узнала, какие комбинации заголовка, основного текста и видео наиболее эффективны для каждого сегмента. Через несколько часов система стала чаще показывать наиболее эффективные комбинации.

Второй раунд вариаций

Хотя рост на 8% был полезен для бизнеса, команда хотела большего и удвоила усилия на том, что сработало.

Они попробовали новые фотографии героев, еще одно видео и новую копию тела, основанную на том, что, по их мнению, нашло отклик у большинства посетителей на сегодняшний день. Эти идеи позволили тестировать домашнюю страницу до 216 версий страницы.

Изображения, ориентированные на продукт, показывающие приложение Chime в главном модуле.

Второе видео посвящено автоматическим сбережениям.

Различные изображения и основной текст.

Четыре недели спустя Chime заметила рост привлечения новых клиентов через свою домашнюю страницу на 79% по сравнению с группой, которая постоянно видела базовый веб-сайт Chime.

Уроки тестирования с помощью прогнозирующей персонализации

Помимо повышения производительности, подход Chime к сочетанию тестирования и персонализации позволил им получить ценную информацию о предпочтениях своих клиентов.

Например, они обнаружили, что тип устройства, время суток и география являются важными параметрами персонализации для посетителей.

В приведенном ниже примере показано лучшее сочетание заголовка и изображения: «Банковское дело — это здорово». Это единственная страница, которую увидели бы все пользователи, если бы Chime провел серию A/B-тестов.

Однако прогнозирующая персонализация принесла им на 23 % больше пользы для пользователей мобильных устройств, поскольку они обнаружили, что сообщение на сайте «Сохраняйте легко и автоматически» работало лучше для этих пользователей.

Аналогично, Chime смог увеличить эффективность на 17 % за счет персонализации по географическому признаку и на 30 % за счет адаптации заголовка в зависимости от времени суток.

Сегментирование результатов тестов и раньше приносило плоды другим , а инструменты прогнозирующей персонализации автоматизируют этот процесс.

Сначала Chime сосредоточился на наращивании темпа , заранее протестировав несколько идей. Они узнали, что работает, а затем удвоили усилия на высокоэффективных идеях, быстро увеличивая материальный объем.

В этом случае A/B-тестирование без персонализации заняло бы гораздо больше времени и оставило бы на столе много денег.

Второй пример A/B-тестирования и персонализации в действии: Perkville

Perkville — это универсальная программа рефералов и вознаграждений, которая помогает компаниям повышать лояльность клиентов и увеличивать доходы. Компания хотела увеличить объем обращений клиентов для бизнеса своих клиентов. Они решили сначала сосредоточиться на оптимизации своей страницы рефералов, которая включает в себя форму для заполнения участниками, которые хотят пригласить друзей.

Базовая форма направления участника Perkville (без изменений).

Относительно низкий ежедневный объем просмотров страниц на странице отправки рефералов (<2 тыс. в день) затруднял традиционное A/B-тестирование. Обычно на тестирование одной новой идеи и получение статистически значимых результатов уходили недели или месяцы. В результате Perkville попытались объединить A/B-тестирование и персонализацию с прогнозирующей персонализацией, чтобы протестировать больше идей и привлечь больше рефералов со своего сайта.

Изначально компания сосредоточилась на трех аспектах своей реферальной страницы для тестирования:1. Персонализация призыва к действию2. Упрощение формы (тестирование заголовков и другие изменения)3. Изменение внешнего вида и порядка социальных ссылок.

Примеры тестов

Perkville протестировал изменения в существующей форме, включая предварительное заполнение поля «отправить заметку», которое позволяет рефереру добавить личное примечание получателю. Они также протестировали упрощение заголовков и информации в верхней части формы.

Повторно заполните поле «Отправить заметку» предложением.

Упростите заголовок.

Перквилл также протестировал несколько вариантов текста призыва к действию в кнопке «Отправить» внизу формы, включая «Поделитесь любовью», «Расскажите друзьям» и «Поделитесь и заработайте x баллов, если они примут».

Полученные результаты

Через пять недель после начала первоначальных тестов компания Perkville увидела следующие результаты тестов прогнозирующей персонализации .

Общие результаты:

Улучшение: 42,5%Статистическая значимость: >99%

Результаты призыва к действию:

• Лучший исполнитель в целом: «Поделись любовью»
• Лучший результат (настольные устройства): «Расскажи друзьям».
• Лучший результат (планшетные устройства): «Поделитесь и заработайте 117 баллов, если они согласятся»

Если бы Perkville использовал A/B-тестирование без персонализации, они бы разослали призыв к действию «Поделись любовью» всем пользователям. Вместо этого, объединив A/B-тестирование с персонализацией посредством прогнозирующей персонализации, Perkville автоматически оптимизировал призыв к действию для каждого посетителя, обеспечивая больше конверсий. Перквилл обнаружил, что наиболее эффективный призыв к действию зависит от типа устройства, точно так же, как предположил Пип, скорее всего, произойдет при самостоятельном проведении A/B-тестирования.

Эти автоматизированные оптимизации сочетали A/B-тестирование и персонализацию, чтобы обеспечить в целом лучшие результаты, а также дать полезную информацию о том, какие варианты работают лучше всего.

Заключение

Не все финансовые компании и SaaS-компании способны делать то, что сделали Chime и Perkville. Для тех, у кого одновременно может быть открыта только одна версия страницы, A/B-тестирование без персонализации вполне может быть правильным подходом к увеличению количества конверсий. Однако объединение ваших усилий по A/B-тестированию и персонализации обычно дает лучшие результаты, поэтому я считаю, что об этом стоит подумать, когда вы пытаетесь повысить коэффициент конверсии для своей компании.

A/B-тестирование и персонализация часто рассматриваются как совершенно отдельные усилия. Надеюсь, я убедил вас, что на самом деле оба эти инструмента оптимизации конверсии лучше всего использовать вместе для достижения максимальных результатов для вашего бизнеса сегодня.

Автор: Гай Ялиф — соучредитель и генеральный директор Intellimize.