A/B-тестирование рассылок. Как проверить одну гипотезу и выбрать показатель

A/B-тест рассылки отвечает на один проверяемый вопрос. Если меняете формулировку кнопки, сохраните одинаковыми тему, текст и время отправки. До запуска запишите, какой результат повлияет на решение.

Пример расчёта и шаблон теста

Учебный пример: вариант A — кнопка «Подробнее», вариант B — «Посмотреть условия». После доставки 1 000 писем в каждой группе целевое действие совершили 24 и 32 человека соответственно. Доли составили 2,4% и 3,2%. Разница — 0,8 процентного пункта, а не 0,8%. На таком примере видно направление изменения. Для решения проверьте заранее выбранное правило оценки и убедитесь, что различие не объясняется случайностью или разной доставляемостью.

Карточка: гипотеза → что меняется → как разбиваем аудиторию → основная метрика и знаменатель → срок → правило решения → защитный показатель. Защитным показателем может быть число жалоб или отписок.

На встречу про эмоциональный маркетинг возьмите два варианта одного элемента и объясните, какую реакцию хотите проверить. Это позволяет обсуждать текст по задаче, а не по вкусу.

Лекторий 24/703.12.2026 · 11:00 МСК · МоскваЭмоциональный маркетинг в direct-коммуникациях: как персонализация по эмоциональному профилю и данным клиента повышает лояльность и повторные продажиГлеб КащеевСмотреть программу и записаться ↗

Сначала определите вопрос теста

Например: «Поможет ли более конкретная тема получить больше переходов к графику пилота?» Тогда письмо внутри и предложение должны оставаться одинаковыми. Если цель — проверить разные офферы, не меняйте стиль и длину остальных частей без необходимости.

Выберите основной показатель до отправки. Для письма с предложением записаться это может быть доля завершённых записей. Для инструкции — доля получателей, которые открыли нужный раздел или выполнили шаг. Открытия помогают понять, заметили ли письмо, но сами по себе не показывают результат действия.

Сделайте группы сопоставимыми

Случайно разделите подходящую аудиторию и отправьте варианты в близкое время. Исключите дубли получателей и заранее определите, когда сравните результат. Если группы малочисленны, небольшая разница может исчезнуть на следующей отправке. Не превращайте один тест в обязательное правило для всех сегментов.

Разберите условный пример

Две группы получили письмо о выборе времени демонстрации. У первой тема сообщает «Готов график демонстраций», у второй — «Выберите время демонстрации». Если у второй больше открытий, но запись завершили примерно столько же людей, сначала проверьте путь после клика. Возможно, проблема находится на странице выбора времени.

После проверки сохраните гипотезу, размеры групп, период, результат и решение. При повторном тесте оставьте один главный вопрос. Для подготовки вариантов пригодится разбор эмоционального маркетинга в рассылках.

Если результаты нестабильны, сохраните оба варианта и повторите тест на новой сопоставимой отправке, прежде чем менять основную цепочку.