Инкрементальный тест рекламы: как измерить дополнительные продажи

После запуска рекламы продажи могут вырасти и без её помощи: начался сезон, конкурент поднял цену, база получила письмо, а постоянные клиенты и так собирались купить. Атрибуция найдёт касание перед заказом, но не ответит, состоялся бы заказ без него. Инкрементальный тест строит этот недостающий сценарий через контрольную группу.

Этот материал посвящён причинному приросту от рекламы. Интерфейсные A/B-тесты, опросный Brand Lift и выбор модели в статье про атрибуцию решают соседние задачи и не заменяют holdout.

Пример постановки. Интернет-магазин сомневается в ретаргетинге на посетителей корзины. Главная метрика — оплаченный заказ в течение четырнадцати дней, минимально полезный эффект — 0,25 процентного пункта. Пользователей случайно назначают в доступную для показа и удерживаемую группы до запуска, а повторные устройства и параллельные рассылки учитывают как возможное загрязнение. Такая запись заранее говорит, какой вопрос решает эксперимент и какого ответа для решения недостаточно.

Не начинайте с формулы, если рекламная платформа не умеет стабильно исключить контроль или бизнес не связывает заказ с единицей назначения. В этом случае красивый расчёт создаст ложную точность. Сначала проведите технический пилот: загрузите аудитории, проверьте фактический показ, потерю идентификаторов, задержку заказа и возврат данных. Только после этого фиксируйте размер основного теста.

Проверяйте SRM — несоответствие долей групп ожидаемому разбиению. Если назначалось 90/10, а в выгрузке результата оказалось 97/3, возможна потеря данных, ошибка фильтра или различная доступность события. Анализировать lift до объяснения такого расхождения опасно: наблюдаемые группы уже могут перестать быть результатом случайного назначения.

Для повторных покупок заранее определите единицу результата. Число заказов, число покупателей и маржа отвечают на разные вопросы. Частая реклама способна увеличить заказы у небольшой группы, не расширив число покупателей, либо ускорить покупку, которая произошла бы неделей позже. Поэтому рядом с основной метрикой полезно показать частоту, средний чек и распределение результата во времени, не превращая их в новые главные цели после просмотра данных.

Документ эксперимента должен пережить смену аналитика. В нём остаются версия гипотезы, код назначения, запрос формирования результата, исключения и неизменный снимок исходных данных. Если расчёт выполнялся вручную в таблице, сохраните формулы и контрольные суммы. Это дешевле повторного спора через месяц, когда рекламный кабинет обновит атрибуцию или CRM пересчитает возвраты.

Что такое инкрементальный тест

Эксперимент делит доступную аудиторию на тест и контроль до воздействия. Тест видит рекламу по заданному правилу, контроль намеренно удерживается от неё, а итоговую метрику считают одинаково и в одно время.

Главная величина — разница конверсий или выручки между группами. Если в тесте купили 5,2% людей, а в контроле 4,8%, наблюдаемый прирост равен 0,4 процентного пункта. Относительный lift составляет примерно 8,3%, но для бюджета важнее перевести разницу в дополнительные заказы и маржу.

Нулевая или отрицательная разница не означает автоматически, что вся реклама бесполезна. Возможно, выборка мала, эксперимент загрязнён пересечением каналов или кампания перераспределяет покупки во времени. Вывод делают вместе с интервалом неопределённости и проверкой дизайна.

Когда эксперимент действительно нужен

Holdout особенно полезен там, где высокий органический спрос делает отчёт рекламной системы слишком оптимистичным: ретаргетинг, брендовый поиск, акции для действующей базы и приложения с частыми повторными покупками.

• Большой базовый спрос. Многие люди купят без напоминания, поэтому последнее касание переоценивается.
• Несколько каналов. Один покупатель встречает рекламу в разных местах, а отчёты одновременно приписывают себе результат.
• Изменение бюджета. Перед масштабированием важно понять предельный, а не средний эффект уже охваченной аудитории.
• Спор о ценности. Эксперимент создаёт единое правило решения вместо сравнения несовместимых кабинетов.

Для маленькой кампании с десятками конверсий полноценный тест может не окупиться: статистический шум окажется больше ожидаемого эффекта. Тогда сначала улучшите сбор событий через Яндекс Метрику и посчитайте диапазон эффекта, который бизнес вообще способен заметить.

Как выбрать единицу рандомизации

Рандомизировать можно пользователей, устройства, географические зоны, магазины или временные интервалы. Единица должна одновременно позволять исключить показ и надёжно связать результат с назначенной группой.

Назначение фиксируют до старта и анализируют по принципу intention-to-treat: человек остаётся в исходной группе, даже если фактически не увидел объявление. Иначе команда начнёт сравнивать тех, кому алгоритм уже выбрал показ, с принципиально другой контрольной аудиторией.

Геотест требует сопоставимых регионов по прошлым продажам, тренду, цене, промо и каналам. Один крупный город нельзя объявить тестом, а всю остальную страну контролем без моделирования исходных различий.

Как оценить размер выборки и срок

До запуска задают базовую конверсию, минимально полезный эффект, допустимые ошибки и ожидаемый охват. Эти параметры определяют, сколько наблюдений и времени понадобится.

1. Зафиксируйте одну основную метрику: оплаченный заказ, маржу или подтверждённую заявку.
2. Возьмите базовый уровень за сопоставимый период без аномальной акции.
3. Определите минимальный эффект, ради которого измените бюджет или стратегию.
4. Рассчитайте выборку статистическим инструментом и добавьте запас на потери идентификаторов.
5. Проведите тест через полный недельный и покупательский цикл, не подсматривая результат ежедневно.

Слишком короткий тест ловит различия между буднями и выходными. Слишком длинный повышает риск смены цен, ассортимента и конкуренции. Дату окончания и правила остановки записывают заранее, а не выбирают в день, когда график выглядит убедительно.

Как подготовить тест и контроль

Группы должны различаться только исследуемым воздействием. Одинаковые цены, посадочные страницы, доступность товара, правила обработки и другие кампании — обязательное условие интерпретации.

• Проверьте баланс по прошлым покупкам, региону, устройству и ценности клиента.
• Исключите сотрудников, тестовые аккаунты и технический трафик одинаковым правилом.
• Сохраните исходное назначение группы в отдельном поле, которое не переписывают рекламные платформы.
• Опишите допустимые пересечения: органический контакт не запрещён, исследуемый показ контролю запрещён.
• Заранее выберите окно конверсии, возвраты и правило повторной покупки.

Контроль не обязан быть огромным. Его долю выбирают как компромисс между точностью и упущенным показом. Но уменьшать контроль после старта нельзя: это создаёт селекцию по ранним результатам.

Перед основным тестом полезен A/A-прогон: обе группы не получают нового воздействия, а команда проверяет разбиение и метрики. Систематическая разница на этом этапе показывает ошибку данных или назначения.

Как посчитать дополнительный результат

Сначала считают конверсию в каждой группе, затем абсолютную разницу. Дополнительные заказы равны этой разнице, умноженной на размер тестовой аудитории; дополнительную прибыль считают после возвратов и переменных расходов.

Например, в тесте 100 000 человек и конверсия 3,4%, в контроле — 3,0%. Оценка дополнительных заказов равна 400. Если отчёт платформы показывает 2 100 атрибутированных заказов, это не противоречие: многие из них могли бы произойти без показа.

Показывайте доверительный интервал рядом с точечной оценкой. Формулировка «эффект находится в диапазоне» честнее одного числа и помогает увидеть, включает ли диапазон экономически бессмысленный результат.

Какие данные сохранить

Воспроизводимый тест требует не только итоговой таблицы. Сохраните назначение, правила исключения, версии кампаний, расходы, сырой результат и журнал изменений.

• Идентификатор эксперимента и гипотеза с датой утверждения.
• Единица рандомизации и стабильный ключ назначения.
• Список исключений и причины потери наблюдений.
• Показы, расходы и фактическое попадание в рекламную аудиторию.
• Заказы, выручка, возвраты и маржа в выбранном окне.
• Внешние события: промо, сбой, изменение цены или доступности.

Дашборд удобен для наблюдения, но итоговую выборку фиксируют отдельным снимком. Иначе поздний возврат или переобработка событий изменит старый вывод без следа. Общие правила контроля данных собраны в гайде про маркетинговую аналитику.

Что загрязняет эксперимент

Главные угрозы — переток воздействия в контроль, одновременные изменения и выборочное исключение неудобных наблюдений.

• Контроль видит ту же кампанию с другого устройства или через другой кабинет.
• Менеджеры быстрее обрабатывают заявки тестовой территории.
• В одной группе меняется ассортимент или срок доставки.
• Тест запускают перед праздником, а контроль берут из прошлого месяца.
• Результат пересчитывают с разными окнами, пока не появится рост.
• Анализируют десятки сегментов и публикуют единственный положительный.

Загрязнение чаще уменьшает видимую разницу, но может и создавать ложный прирост. Поэтому его не исправляют молча фильтрами после теста. Покажите основной анализ, чувствительность к разумным фильтрам и долю пересечений.

Как интерпретировать нулевой или отрицательный lift

Нулевой результат — полезная развилка: кампания могла не добавлять продажи, тест мог быть недостаточно чувствительным или эффект мог проявляться в другой части пути.

1. Проверьте, достаточно ли наблюдений и не слишком ли широк интервал.
2. Убедитесь, что тест действительно получил больше исследуемого воздействия.
3. Сравните качество трафика и обработку, не меняя основную метрику задним числом.
4. Посмотрите заранее заявленные сегменты, но пометьте исследовательские находки.
5. Решите: остановить, изменить механику или повторить тест с большей мощностью.

Отрицательный эффект возможен: навязчивая частота, неверное обещание или скидка способны каннибализировать более прибыльный канал. Такой результат нельзя прятать за ростом кликов; он даёт прямое основание изменить кампанию.

Как принять бюджетное решение

До старта запишите действия для разных диапазонов эффекта. Тогда аналитика не превратится в спор после получения цифр.

При масштабировании эффект не обязан сохраняться: сначала алгоритм охватывает более отзывчивых людей, затем предельная аудитория дорожает. Поэтому следующий тест отвечает уже на вопрос о добавочном бюджете, а не повторяет средний результат.

Сопоставьте причинный прирост с расходами через оценку эффективности рекламы, но не смешивайте инкрементальный ROI с кабинетным ROAS: у показателей разные числители.

Чек-лист перед запуском

Инкрементальный тест не делает рекламную аналитику идеальной, но отделяет удобный отчёт о касаниях от причинного вопроса. Начните с одного дорогого канала и одного решения, которое команда готова изменить по результату.