A/B-тестирование email-писем: гипотезы, метрики и выбор победителя
Как провести A/B-тест email-рассылки: выбрать один фактор, подготовить сопоставимые группы, назначить целевую метрику и правильно интерпретировать результат.
A/B-тест сравнивает два варианта письма на сопоставимых группах получателей. Его задача — проверить заранее сформулированную гипотезу, а не выбрать оформление по субъективному впечатлению.
Результат теста должен помогать принять конкретное решение: какую тему использовать, как сформулировать предложение, когда отправить письмо или какое целевое действие понятнее аудитории.
Подготовить варианты и провести тестовую отправку можно через сервис email-рассылок CogaSystem.
Что можно проверять в A/B-тесте
Тема письма
Сравните две формулировки с одинаковым содержанием письма. Такой тест помогает оценить, какая тема лучше привлекает внимание конкретного сегмента.
Имя отправителя
Можно проверить название компании и сочетание имени специалиста с брендом. Адрес отправителя и остальные условия при этом должны оставаться одинаковыми.
Формулировка предложения
Сравните два способа представить одну и ту же ценность. Не меняйте одновременно предложение, изображение, кнопку и условия.
Целевое действие
Проверьте текст кнопки или ссылки: например, прямое действие и формулировку с пояснением ожидаемого результата.
Структура письма
Можно сравнить расположение одного важного блока: например, показать условия до преимуществ или после них. Остальное содержание должно совпадать.
Время отправки
Для такого теста используются одинаковые письма и сопоставимые группы. Отличается только время или день отправки.
Как сформулировать гипотезу
Хорошая гипотеза связывает конкретное изменение с ожидаемым результатом и метрикой. До запуска должно быть понятно, что именно проверяется и по какому показателю будет определяться победитель.
Изменение: сделать тему письма более конкретной.
Ожидаемый результат: больше получателей обратят внимание на сообщение.
Основная метрика: доля открытий.
Условие: содержание письма, аудитория и время отправки остаются одинаковыми.
Формулировка «проверить, какой вариант лучше» слишком общая. Вместо неё укажите, какой элемент изменяется, на какое действие он должен повлиять и как будет измеряться результат.
Как провести A/B-тест
- Сформулируйте гипотезу. Опишите предполагаемое изменение и метрику, на которую оно должно повлиять.
- Выберите один фактор. Подготовьте два варианта, различающиеся только одним существенным элементом.
- Определите аудиторию. Используйте один сегмент получателей с одинаковыми признаками и ожиданиями.
- Сформируйте группы. Распределите контакты случайным образом и исключите попадание одного адреса в оба варианта.
- Назначьте основную метрику. Выберите показатель, по которому будет определяться победитель.
- Задайте период проверки. Дайте получателям достаточно времени для открытия, перехода или целевого действия.
- Запустите варианты в сопоставимых условиях. Отправьте их одновременно либо учтите различия во времени.
- Сравните результат. Оценивайте не только разницу показателей, но и количество событий, размер групп и практическое значение изменения.
- Зафиксируйте вывод. Сохраните гипотезу, варианты, сегмент, период, объём, результат и ограничения теста.
Как выбрать размер тестовых групп
Универсального размера группы нет. Он зависит от объёма базы, обычного уровня конверсии, ожидаемой разницы и выбранной метрики.
- Обе группы должны быть одинаковыми или максимально близкими по размеру.
- В каждой группе должно накопиться достаточно целевых событий.
- Несколько открытий или один дополнительный клик не дают надёжного основания для вывода.
- Чем реже происходит целевое действие, тем больше аудитории обычно требуется.
- Для небольшой базы может быть полезнее проверить гипотезу на нескольких последовательных кампаниях.
Как выбрать целевую метрику
Для темы письма
Открываемость можно использовать как вспомогательный показатель реакции на тему и имя отправителя. Дополнительно проверяйте клики, отписки и последующие действия.
Для содержания и CTA
Основной метрикой обычно становится переход по нужной ссылке или доля получателей, выполнивших целевое действие.
Для коммерческого предложения
Оценивайте заявки, заказы, покупки, выручку или другую бизнес-метрику, ради которой запускалась кампания.
Для времени отправки
Сравнивайте реакцию за одинаковый период после доставки. Нельзя сопоставлять вариант, который собирал результат несколько дней, с письмом, отправленным несколько часов назад.
Основную метрику нужно выбрать до запуска. Иначе после получения результатов появляется риск обратить внимание только на показатель, который случайно оказался выше.
Пример A/B-теста email-письма
Задача: увеличить число переходов к тарифам.
Гипотеза: конкретный текст кнопки понятнее общего призыва и увеличит количество переходов.
Вариант A: кнопка «Узнать больше».
Вариант B: кнопка «Посмотреть тарифы».
Основная метрика: доля уникальных переходов по кнопке.
Неизменные элементы: тема, отправитель, текст, дизайн, аудитория и время отправки.
Вывод: принимается после завершения заданного периода и проверки количества переходов в обеих группах.
Как определить победителя
Победителем нельзя автоматически считать вариант с любым небольшим преимуществом. Разница может возникнуть из-за случайного распределения получателей или малого количества событий.
- Дождитесь окончания периода. Не завершайте тест сразу после появления первых открытий или кликов.
- Проверьте условия. Убедитесь, что варианты были отправлены сопоставимым группам без технических различий.
- Сравните основную метрику. Не заменяйте её другим показателем после получения результата.
- Оцените количество событий. Один или два дополнительных перехода могут быть случайностью.
- Определите практическую пользу. Даже подтверждённая разница должна быть достаточно значимой для бизнеса.
- Проверьте дополнительные показатели. Победивший вариант не должен одновременно приводить к заметному росту жалоб или отписок.
Типичные ошибки A/B-тестирования
- Варианты отличаются сразу по нескольким элементам.
- Гипотеза формулируется после получения результата.
- Получатели распределяются по группам неслучайно.
- Один контакт получает оба варианта.
- Письма отправляются в разное время без учёта этого фактора.
- Тест завершается сразу после первых событий.
- Победитель определяется по показателю, который не был выбран заранее.
- Небольшая случайная разница объявляется доказанным улучшением.
- Открываемость используется как единственная бизнес-метрика.
- Отрицательные показатели — жалобы и отписки — не учитываются.
Проверка перед запуском теста
- Гипотеза сформулирована до отправки.
- Изменяется только один основной фактор.
- Варианты относятся к одному предложению.
- Группы сформированы случайно из одного сегмента.
- Один получатель не попадает в обе группы.
- Размер групп позволяет ожидать достаточное количество событий.
- Основная метрика выбрана заранее.
- Период оценки одинаков для обоих вариантов.
- Письма отправляются одновременно или разница времени учитывается.
- Результат будет зафиксирован вместе с условиями теста.
Что A/B-тестирование даёт бизнесу
Единый порядок проведения тестов защищает команду от поспешных выводов и субъективного выбора. Вместо обсуждения предпочтений бизнес получает проверяемую связь между конкретным изменением и реакцией аудитории.
Сохранение гипотез, условий и результатов формирует историю экспериментов. Она помогает повторно проверять выводы, учитывать различия между сегментами и постепенно улучшать рассылки без случайных изменений.