A/B-тестирование сайта – важный этап при работе над совершенствованием продукта. В ходе эксперимента проводится анализ показателей двух гипотез и выявляется более результативная. Анализировать можно цвет кнопок, удобство навигации, регистрационную форму и многое другое.
Что можно улучшить проведение A/B тестов?
Сплит-тестирование сайта (split testing) – рабочий маркетинговый инструмент, который помогает оценить качество работы сайта и его результативность. С его помощью можно провести оценку изменений блока. К примеру, как изменится поведение пользователей при изменении цветовой гаммы информационного блока или замены призыва к действию.
Сотрудники отдела маркетинга совместно с SEO-оптимизаторами проводят тестирование следующих элементов:
- Названия и оформления клавиш, стимулирующих конверсию. Их размещение на веб-странице и удобство использования.
- Заголовков и описаний продуктов.
- Размеров, внешнего вида и размещения форм регистрации, обратной связи, заявок и прочих конверсионных элементов.
- Макета и дизайна раздела.
- Информационного контента и отзывов покупателей.
- Цены продукта, блока с описанием и других элементов бизнес-предложения.
- Изображений или видеоматериалов для продуктов и услуг.
- Объема текста на странице.
Принцип работы А/В-тестов
На практике А/Б-тест сайта помогает понять какой из компонентов страницы может повысить ее результативность.
Сначала оцените метрики контрольной страницы, и разработать способы по ее улучшению. Важно понять, что нужно улучшить:
- Повысить конверсию.
- Увеличить время нахождения на сайте.
- Повысить размер среднего чека.
- Снизить число отказов.
Если процент отказов при посещении главной страницы составляет 90%, а длительность нахождения на сайте не превышает пары секунд, измените визуальные компоненты страницы.
При помощи А/В-теста подбирается оптимальный дизайн заглавной страницы, ее цветовая гамма, графика, рисунки, фотоматериалы и шрифт.
Если цель увеличить частоту подписок, вносятся изменения в форму заявок. Со сплит-тестом можно подобрать более результативный цвет клавиши, читабельный текст, размер полей и расположение формы.
В результате незначительных изменений может значительно возрасти конверсия, средний чек или улучшиться поведенческие факторы.
Конверсия
Повышение конверсии – основная задача при использовании сплит-тестов. Небольшие правки в оформлении страницы могут привести к ее росту, например, изменение цвета кнопки загрузки информационного продукта, коммерческого предложения.
Чем заметнее результат, тем выше разница
Средний чек
По динамике изменения среднего чека можно оценить состояние дел интернет-магазина. По этому показателю в комплексе с прочими параметрами оценивается:
- Портрет клиента и уровень его платежеспособности.
- Ассортимент, выложенный на сайте.
- Правильность организации мерчандайзинга.
- Эффективность акционного предложения.
- И сезонность продаж.
Для проверки этих и других параметров тестируются блоки с дополнительными продажами, похожими товарами, частоту покупок и т.д.
Поведенческие факторы
При оценке поведенческих факторов учитывается взаимодействие посетителей с сайтом:
- Длительность сеанса.
- Глубина просмотров, которая выражается в числе просмотренных страниц.
- Процент постоянных пользователей.
- Процент отказов.
- CTR сниппета в поисковых системах и другие параметры.
Задача маркетолога видеть, каким образом можно улучшить страницу, и прогнозировать будущий результат. А/В-тест сайта не выдвигает гипотезы, он только помогает подтвердить предположение маркетолога.
Методика проведения A/B тестирования
Метод прост. При работе с контекстной или таргетированной рекламой создается дубликат страницы и меняется один параметр. Трафик распределяется равномерно на обе страницы. При тестировании трафика с поисковых систем, изменения поочередно внедряются на одну страницы до получения репрезентативных результатов.
Чтобы А/Б тестирование сайта принесло результат, пройдите 6 этапов.
Этапы проведения А/В-тестирования
- Определить цели и бизнес-задачи, а затем убедиться, что тестирование направлено на их реализацию.
Например. Руководством поставлена задача увеличить посещаемость сайта, в первую очередь, активных пользователей по методу DAU за истекший месяц. У маркетолога есть гипотеза, что улучшить показатели можно, если увеличить число регистраций на сайте или повысить параметры удержания.
После анализа воронки становится понятно, что 70% посетителей не завершают регистрацию. Если упростить анкету, число активных пользователей гипотетически возрастет.
- Затем установите метрику, по которой будет оцениваться результат тестирования. Обычно для этого используют CTR или процент конверсии.
При проблемах с фирмой регистрации в качестве конверсии можно выбрать завершенную регистрацию, разделенную на совокупное число новых пользователей, посетивших сайт за последний месяц.
- Проработайте гипотезу. Решите, что следует изменить, и каких результатов достичь.
Внесите правки в поле и цвет формы, размер шрифта, заменить изображение на заглавной странице и т.д. на этом этапе определяется две гипотезы, с помощью которых можно будет выявить различия в изначальной и новой версиях, а также проанализировать изменения.
один тест = одна гипотеза
Возможно проведение односторонних и двусторонних тестов. Первые предполагают выявление изменений в одном сегменте, вторые – в двух.
- Подготовка эксперимента. Чтобы сплит-тест показал конкретный результат, разработайте версию с изменениями, которые нужно тестировать. И определить параметры контрольной и экспериментальной группы.
Определяется группа тестируемых, отобранная в соответствии с установленными параметрами:
- Типу,
- Используемой платформе,
- Геолокации и т.п.
Участников делят на две группы. В классическом варианте тестирования предусмотрено деление на одинаковое число пользователей. А и В вариант страницы должны транслироваться рандомно.
Рассчитайте какими будут уровень статистической значимости, минимальная величина выборки и время, отведенное на тест.
- А после этого проводите эксперимент, проверив показатели первого дня.
Проведение эксперимента по одной гипотезе
Для выполнения А/В-тестирования веб-мастеру потребуются специализированные инструменты. Востребован — Google «Оптимизация». Этот сервис позволяет сравнивать заголовки, виды шрифтов, кнопки конверсии, форму визуальных элементов, фотографии и многое другое. Это бесплатный софт, который подойдет для мелкого бизнеса.
Кроме Google «Оптимизации» для сплит-тестов подходят:
- Платный сервис — Optimizely. С его помощью можно экспериментировать с визуальным интерфейсом без внесения правок в HTML-код тестовых страниц.
- Платный софт — Visual Website Optimizer. Для его использования нужно разбираться в работе с HTML-кодом. Можно корректировать любые элементы веб-страницы.
Анализ результатов
По завершении split-тестов, собираются данные и рассчитывается метрика обоих вариантов. Если различий в показателях нет, имеет смысл провести сегментацию выборки по типу платформы, переходам, геолокации, полу и прочим показателям. Такой подход позволит оценить работу гипотезы В для конкретного сегмента.
Теперь рассчитайте статистическую значимость. Только по этому параметру можно оценить, что послужило причиной трансформации – случайный фактор или естественные причины. Для определения статистической значимости сравните тестовые цифры статистики со значимостью.
Уровень статистической значимости
При значении p ниже показателя значимости, откажитесь от идеи.
При значении р больше или равном параметру значимости, нулевая гипотеза о схожести гипотез А и В не может быть отвергнута.
Результаты A/B-тестирования могут быть положительными и отрицательными:
- Целевая версия может господствовать или иметь идентичные значения со второй гипотезой. Если причины провала новой версии проработаны, а причина слома не выявлена, рассмотрите косвенные причины: слабый месседж, сильный брендинг конкурентов, низкое качество работы клиентского отдела.
Плохое исполнение провалит самую результативную гипотезу. Проведите интерактивное исследование для проверки и сравнения нескольких итераций. Проведите сегментацию и рассмотрите итоги тестирования для разных групп посетителей.
- Вариант В показывает производительность выше нулевой гипотезы. После публикации результатов экспериментируйте со всей аудиторией, а не отдельной выборкой, и соотнести результаты обоих тестов.
Вне зависимости от результатов исследования, рассматривайте каждую попытку, как способ получить новую информацию о покупателе и предпочтениях.