Top.Mail.Ru

Как создать A/B-рассылку в CogaSystem

Пошаговая настройка A/B-теста email-рассылки: гипотеза, варианты, выбор метрики, тестовая группа и отправка победителя.

Функция A/B-рассылки позволяет сравнить варианты сообщения внутри одной кампании и затем отправить более результативный вариант оставшейся аудитории.

Ключевой принцип. Перед настройкой сформулируйте гипотезу и метрику. Интерфейс разделит варианты, но качество вывода зависит от сопоставимости групп и достаточного числа событий.

Если вы готовы перейти от подготовки к отправке, используйте сервис email-рассылок CogaSystem.

Как настроить A/B-рассылку

  1. Создайте кампанию. Выберите режим A/B-тестирования и одну базу или заранее подготовленный сегмент.
    ab1.jpg
  2. Подготовьте варианты. Измените только один фактор, который проверяет гипотезу.
    ab2.jpg
  3. Задайте долю теста. Оставьте достаточную часть аудитории для проверки и последующей отправки победителя.
  4. Выберите критерий. Укажите метрику, период ожидания и правило выбора победителя.
  5. Проверьте настройки. Сверьте тему, отправителя, ссылки, персонализацию и тестовые группы.
  6. Запустите и зафиксируйте вывод. После завершения сохраните результат и условия для следующих кампаний.

Как подготовить условия сравнения

Зафиксируйте до запуска: проверяемый элемент, состав аудитории, долю тестовых групп, время ожидания и критерий результата. Например, сравните две формулировки темы при одинаковых отправителе, содержании и времени отправки.

В опубликованной инструкции описаны несколько вариантов и отправка победителя оставшейся аудитории. Не ограничивайте метод только двумя письмами, если текущий режим позволяет больше вариантов. Доступные настройки выбора победителя проверяйте в форме A/B-кампании; при недостатке событий не объявляйте случайное различие доказанным эффектом.

Проверка перед завершением

  • Получатели распределены случайно внутри одного сегмента.
  • Варианты отправляются в сопоставимое время.
  • Победитель определяется по заранее выбранной метрике.
  • При малой выборке результат не объявляется универсальным правилом.
Обратите внимание. Не меняйте одновременно тему, дизайн и предложение. Даже заметная разница не покажет, какое изменение сработало.

Что это дает бизнесу

Единый порядок измерения защищает команду от поспешных выводов. Вместо оценки кампании по одной цифре бизнес получает понятную связь между доставкой, реакцией аудитории и целевым действием на сайте или в CRM.