Маркетинговый эксперимент: как проверить гипотезу и не обмануться

Материал разбирает дизайна маркетингового эксперимента через конкретную единицу — пользователь, заказ, аккаунт или другая заранее выбранная единица. Для каждого этапа указаны данные, решение и ограничение метода; соседние задачи вынесены во внутренние ссылки, чтобы страница сохраняла границу поискового интента.

Сформулируйте проверяемую гипотезу

Пример. Формулировка «короткая форма увеличит долю завершённых заявок среди мобильных посетителей» проверяемее, чем «новая форма лучше».

Типичная ошибка. Не объединяйте в одной гипотезе новый текст, дизайн, цену и источник трафика.

После этапа «Сформулируйте проверяемую гипотезу» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Практический смысл этапа «Сформулируйте проверяемую гипотезу» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Сформулируйте проверяемую гипотезу» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Для этапа «Сформулируйте проверяемую гипотезу» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Сформулируйте проверяемую гипотезу» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

Связанную задачу разберите отдельно в материале про эффективность рекламы, чтобы не смешивать разные поисковые интенты и правила принятия решений.

Выберите основную метрику

Пример. Основной метрикой может быть завершение заявки, а защитными — доля нецелевых обращений и нагрузка на поддержку.

Типичная ошибка. Не выбирайте метрику после просмотра результата: это повышает вероятность случайного успеха.

Практический смысл этапа «Выберите основную метрику» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Выберите основную метрику» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Для этапа «Выберите основную метрику» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Выберите основную метрику» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

После этапа «Выберите основную метрику» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Связанную задачу разберите отдельно в материале про сквозную аналитику, чтобы не смешивать разные поисковые интенты и правила принятия решений.

Опишите аудиторию и единицу анализа

Пример. Если один пользователь видит разные варианты в соседних сессиях, эффект смешивается; закрепите вариант по устойчивому идентификатору.

Типичная ошибка. Не считайте независимыми наблюдения, которые принадлежат одному клиенту или одной кампании.

Для этапа «Опишите аудиторию и единицу анализа» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Опишите аудиторию и единицу анализа» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

После этапа «Опишите аудиторию и единицу анализа» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Практический смысл этапа «Опишите аудиторию и единицу анализа» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Опишите аудиторию и единицу анализа» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Связанную задачу разберите отдельно в материале про исследование Brand Lift, чтобы не смешивать разные поисковые интенты и правила принятия решений.

Создайте контрольное сравнение

Пример. Половина подходящих посетителей видит прежний CTA, половина — новый; остальные условия страницы сохраняются.

Типичная ошибка. Сравнение недели запуска с прошлым месяцем не доказывает эффект, если изменились спрос, каналы или ассортимент.

После этапа «Создайте контрольное сравнение» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Практический смысл этапа «Создайте контрольное сравнение» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Создайте контрольное сравнение» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Для этапа «Создайте контрольное сравнение» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Создайте контрольное сравнение» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

Связанную задачу разберите отдельно в материале про сегментацию аудитории, чтобы не смешивать разные поисковые интенты и правила принятия решений.

Распределяйте варианты случайно

Пример. Проверяйте баланс устройств, источников и новых пользователей после распределения, не меняя группы вручную.

Типичная ошибка. Не отправляйте лучший трафик в новый вариант: вы измерите качество аудитории, а не изменение.

Практический смысл этапа «Распределяйте варианты случайно» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Распределяйте варианты случайно» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Для этапа «Распределяйте варианты случайно» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Распределяйте варианты случайно» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

После этапа «Распределяйте варианты случайно» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Связанную задачу разберите отдельно в материале про маркетинговый бюджет, чтобы не смешивать разные поисковые интенты и правила принятия решений.

Определите длительность заранее

Пример. Если покупка происходит через десять дней после заявки, завершать тест через три дня после набора кликов нельзя.

Типичная ошибка. Не останавливайте эксперимент в первый удачный день и не продлевайте только ради значимого результата.

Для этапа «Определите длительность заранее» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Определите длительность заранее» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

После этапа «Определите длительность заранее» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Практический смысл этапа «Определите длительность заранее» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Определите длительность заранее» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Проверьте качество данных

Пример. Сверьте число участников в аналитике с логами и CRM, затем разберите резкий провал одного устройства или источника.

Типичная ошибка. Не объясняйте техническую ошибку поведением аудитории.

После этапа «Проверьте качество данных» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Практический смысл этапа «Проверьте качество данных» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Проверьте качество данных» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Для этапа «Проверьте качество данных» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Проверьте качество данных» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

Оцените эффект и неопределённость

Пример. Рост с 10 до 11 процентов — это один процентный пункт и десять процентов относительно базы; обе величины нужно подписать.

Типичная ошибка. Не заменяйте практическую полезность одной статистической значимостью.

Практический смысл этапа «Оцените эффект и неопределённость» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Оцените эффект и неопределённость» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Для этапа «Оцените эффект и неопределённость» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Оцените эффект и неопределённость» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

После этапа «Оцените эффект и неопределённость» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Примите решение по протоколу

Пример. Сильный рост основной метрики без ухудшения качества ведёт к внедрению; слабый неопределённый результат — к остановке или новому тесту.

Типичная ошибка. Не объявляйте любой незначимый результат доказательством отсутствия эффекта.

Для этапа «Примите решение по протоколу» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Примите решение по протоколу» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

После этапа «Примите решение по протоколу» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Практический смысл этапа «Примите решение по протоколу» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Примите решение по протоколу» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Сохраните знания

Пример. Через квартал команда увидит, какие типы изменений работают, а где регулярно переоценивается уверенность.

Типичная ошибка. Не храните только успешные тесты: отрицательные результаты защищают от повторения затрат.

После этапа «Сохраните знания» зафиксируйте исходный факт, выбранный вариант и причину выбора применительно к пользователь, заказ, аккаунт или другая заранее выбранная единица. Следующая проверка должна отвечать на вопрос, изменился ли показатель «разница между группами с интервалом неопределённости и качеством данных» и можно ли выполнить решение: масштабировать изменение, повторить тест или отвергнуть гипотезу.

Практический смысл этапа «Сохраните знания» раскрывается через решение: масштабировать изменение, повторить тест или отвергнуть гипотезу. Для него собирают распределение по вариантам, исходная метрика, события и защитные показатели. Пункт «Сохраните знания» задаёт начало проверки, а условие «распределение по вариантам, исходная метрика, события и защитные показатели» показывает, каких сведений не хватает до действия.

Для этапа «Сохраните знания» заранее отделите наблюдение от объяснения. Наблюдение подтверждают через распределение по вариантам, исходная метрика, события и защитные показатели; объяснение остаётся гипотезой до отдельной проверки. Так пункт «Сохраните знания» не превращается в удобную историю, которую невозможно повторить на следующем периоде.

Итоговый чек-лист

Итог дизайна маркетингового эксперимента — не заполненный шаблон, а воспроизводимое решение. Команда должна уметь показать исходные данные, объяснить выбранную границу и повторить расчёт после следующего изменения. Если это невозможно, сначала исправляют методику, а уже затем используют вывод для продукта, маркетинга или редакционного плана.