A/B-тест email-рассылки: что и как сравнивать

Сплит-тест полезен только при достаточном объёме и повторяемом решении. Маленькая база часто даёт случайного победителя, а тест каждой запятой расходует аудиторию без бизнес-эффекта. Приоритет получают изменения, способные повлиять на доставку, переход или целевое действие.

Как сформулировать гипотезу

Гипотеза связывает изменение с ожидаемым поведением и объясняет механизм эффекта.

Запишите текущую проблему, одно изменение и одну главную метрику.

Отклоните гипотезу, если победителя нельзя применить в следующих письмах.

Пример. Конкретная польза в теме должна увеличить уникальные открытия среди доставленных писем.

Что тестировать в письме

Тему оценивают по открытию, содержание и CTA — по переходу и действию после клика.

Выберите элемент, ближайший к обнаруженному провалу воронки.

Не тестируйте кнопку, если письмо почти никто не открывает.

Пример. При хорошем открытии и слабом клике сравнивают предложение или ясность CTA.

Как разделить аудиторию

Случайное распределение уменьшает влияние различий между сегментами, устройствами и активностью.

Исключите дубли, служебные адреса и заранее известные особые группы.

Сравните размер, историю активности и доставляемость вариантов.

Пример. VIP-клиенты не должны случайно оказаться только в одной версии.

Как выбрать главную метрику

Одна primary metric предотвращает выбор случайно выросшего показателя после просмотра результатов.

Свяжите метрику с изменяемым элементом и заранее задайте защитные показатели.

Не объявляйте победу по CTR, если выросли отписки или упала покупка.

Пример. Тест CTA оценивают по целевому действию, а не только по открытию.

Как оценить размер выборки

Чем меньше ожидаемый эффект и редче событие, тем больше наблюдений требуется.

Используйте калькулятор мощности с базовой конверсией и минимально полезным эффектом.

Не запускайте формальный тест, если база заведомо слишком мала.

Пример. Для редкой покупки потребуется больше адресатов, чем для открытия.

Когда остановить эксперимент

Ранний просмотр колеблющихся цифр провоцирует остановку на случайном пике.

Зафиксируйте длительность или правило последовательного анализа до старта.

Дождитесь полного окна конверсии обеих групп.

Пример. Письмо, отправленное утром, нельзя окончательно оценивать через десять минут.

Как тестировать время отправки

Группы должны получать один контент, но в разные заранее выбранные окна, с учётом часовых поясов.

Распределите адресатов случайно внутри сопоставимых сегментов.

Смотрите не только открытие, но и итоговое действие за одинаковый период.

Пример. Утро и вечер сравнивают в одном типе дня, не смешивая будни и праздник.

Как разметить варианты

Метки должны сохранять эксперимент, версию и placement, не меняя целевую страницу.

Сформируйте ссылки автоматически и проверьте редиректы до отправки.

Сведите события с назначенной группой, а не восстанавливайте вариант по URL вручную.

Пример. Варианты A и B различаются content, сохраняя campaign.

Как внедрить победителя

Один тест подтверждает результат в конкретной аудитории и периоде, а не вечный закон.

Повторите сильный вывод на следующей кампании или оставьте небольшой контроль.

Сохраните гипотезу, выборку, результат и ограничения применимости.

Пример. Победившая тема для распродажи не становится шаблоном сервисных писем.

Какие материалы продолжат работу

Соседние задачи раскрыты отдельно: основы email-маркетинга, тема письма, аналитика email, метрики email, общий принцип A/B-теста, UTM-метки. Такое разделение сохраняет один поисковый интент у страницы и даёт читателю следующий шаг без повторения целых инструкций.

Практическая проверка. Для раздела «Как сформулировать гипотезу» сначала зафиксируйте исходное состояние: Гипотеза связывает изменение с ожидаемым поведением и объясняет механизм эффекта. Этот контроль относится к этапу «как сформулировать гипотезу» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Рабочее действие не оставляют устной договорённостью: Запишите текущую проблему, одно изменение и одну главную метрику. Этот контроль относится к этапу «что тестировать в письме» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Критерий завершения этапа формулируется заранее: Отклоните гипотезу, если победителя нельзя применить в следующих письмах. Этот контроль относится к этапу «как разделить аудиторию» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Контрольный пример должен сохранять смысл задачи: Конкретная польза в теме должна увеличить уникальные открытия среди доставленных писем. Этот контроль относится к этапу «как выбрать главную метрику» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Для раздела «Что тестировать в письме» сначала зафиксируйте исходное состояние: Тему оценивают по открытию, содержание и CTA — по переходу и действию после клика. Этот контроль относится к этапу «как оценить размер выборки» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Рабочее действие не оставляют устной договорённостью: Выберите элемент, ближайший к обнаруженному провалу воронки. Этот контроль относится к этапу «когда остановить эксперимент» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Критерий завершения этапа формулируется заранее: Не тестируйте кнопку, если письмо почти никто не открывает. Этот контроль относится к этапу «как тестировать время отправки» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Контрольный пример должен сохранять смысл задачи: При хорошем открытии и слабом клике сравнивают предложение или ясность CTA. Этот контроль относится к этапу «как разметить варианты» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Для раздела «Как разделить аудиторию» сначала зафиксируйте исходное состояние: Случайное распределение уменьшает влияние различий между сегментами, устройствами и активностью. Этот контроль относится к этапу «как внедрить победителя» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Рабочее действие не оставляют устной договорённостью: Исключите дубли, служебные адреса и заранее известные особые группы. Этот контроль относится к этапу «как сформулировать гипотезу» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Критерий завершения этапа формулируется заранее: Сравните размер, историю активности и доставляемость вариантов. Этот контроль относится к этапу «что тестировать в письме» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Контрольный пример должен сохранять смысл задачи: VIP-клиенты не должны случайно оказаться только в одной версии. Этот контроль относится к этапу «как разделить аудиторию» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Для раздела «Как выбрать главную метрику» сначала зафиксируйте исходное состояние: Одна primary metric предотвращает выбор случайно выросшего показателя после просмотра результатов. Этот контроль относится к этапу «как выбрать главную метрику» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Рабочее действие не оставляют устной договорённостью: Свяжите метрику с изменяемым элементом и заранее задайте защитные показатели. Этот контроль относится к этапу «как оценить размер выборки» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Критерий завершения этапа формулируется заранее: Не объявляйте победу по CTR, если выросли отписки или упала покупка. Этот контроль относится к этапу «когда остановить эксперимент» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Контрольный пример должен сохранять смысл задачи: Тест CTA оценивают по целевому действию, а не только по открытию. Этот контроль относится к этапу «как тестировать время отправки» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Для раздела «Как оценить размер выборки» сначала зафиксируйте исходное состояние: Чем меньше ожидаемый эффект и редче событие, тем больше наблюдений требуется. Этот контроль относится к этапу «как разметить варианты» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Рабочее действие не оставляют устной договорённостью: Используйте калькулятор мощности с базовой конверсией и минимально полезным эффектом. Этот контроль относится к этапу «как внедрить победителя» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Критерий завершения этапа формулируется заранее: Не запускайте формальный тест, если база заведомо слишком мала. Этот контроль относится к этапу «как сформулировать гипотезу» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Контрольный пример должен сохранять смысл задачи: Для редкой покупки потребуется больше адресатов, чем для открытия. Этот контроль относится к этапу «что тестировать в письме» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Для раздела «Когда остановить эксперимент» сначала зафиксируйте исходное состояние: Ранний просмотр колеблющихся цифр провоцирует остановку на случайном пике. Этот контроль относится к этапу «как разделить аудиторию» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Рабочее действие не оставляют устной договорённостью: Зафиксируйте длительность или правило последовательного анализа до старта. Этот контроль относится к этапу «как выбрать главную метрику» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Критерий завершения этапа формулируется заранее: Дождитесь полного окна конверсии обеих групп. Этот контроль относится к этапу «как оценить размер выборки» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Контрольный пример должен сохранять смысл задачи: Письмо, отправленное утром, нельзя окончательно оценивать через десять минут. Этот контроль относится к этапу «когда остановить эксперимент» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Для раздела «Как тестировать время отправки» сначала зафиксируйте исходное состояние: Группы должны получать один контент, но в разные заранее выбранные окна, с учётом часовых поясов. Этот контроль относится к этапу «как тестировать время отправки» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Рабочее действие не оставляют устной договорённостью: Распределите адресатов случайно внутри сопоставимых сегментов. Этот контроль относится к этапу «как разметить варианты» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Критерий завершения этапа формулируется заранее: Смотрите не только открытие, но и итоговое действие за одинаковый период. Этот контроль относится к этапу «как внедрить победителя» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Контрольный пример должен сохранять смысл задачи: Утро и вечер сравнивают в одном типе дня, не смешивая будни и праздник. Этот контроль относится к этапу «как сформулировать гипотезу» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Для раздела «Как разметить варианты» сначала зафиксируйте исходное состояние: Метки должны сохранять эксперимент, версию и placement, не меняя целевую страницу. Этот контроль относится к этапу «что тестировать в письме» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Рабочее действие не оставляют устной договорённостью: Сформируйте ссылки автоматически и проверьте редиректы до отправки. Этот контроль относится к этапу «как разделить аудиторию» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Чек-лист