Как проверить гипотезу в канале: A/B-тесты постов на малых охватах

Совет «сделайте два варианта поста и сравните охват» кочует из статьи в статью. В канале он не работает: два поста отличаются не только заголовком, но и временем выхода, днём недели и темой. Разница в 15–20% между ними будет у вас почти всегда — даже если вы ничего не меняли. Ниже — что делать вместо этого, что так проверить можно и чего нельзя, как отличить результат от случайности без формул и как записывать тесты.

Что такое A/B-тест и почему в канале его не поставить

A/B-тест — это сравнение двух вариантов на двух случайных группах одной и той же аудитории в одно и то же время. Группы набираются жребием, обе видят свой вариант одновременно — и единственное, чем отличается опыт одной от другой, это сам вариант. Так устроены тесты на сайтах и в рассылках: половине уходит письмо с темой А, половине — с темой Б.

Гипотеза — это предположение о причине и следствии, сформулированное так, что его можно опровергнуть цифрами. «Надо писать интереснее» — не гипотеза, опровергать нечего. «Если выносить цифру в первую строку, охват вырастет, потому что в превью видно конкретику» — гипотеза.

В канале механики разделения нет: публикация — одно сообщение, его видят все подписчики. Любые «два варианта» здесь — два разных поста, выпущенных в разное время для всей аудитории целиком, и отличаются они не одним параметром, а десятком сразу. Отсюда вывод, который обычно не пишут: в канале проверяют гипотезы, но не ставят A/B-тесты. Метод другой — последовательное сравнение серий: медленнее и грубее, зато не врёт.

Почему разница в охвате двух постов — это шум

Разберём на числах. Канал на 4 000 подписчиков. Во вторник вышел пост с вопросом в первой строке — 2 900 просмотров. В пятницу пост на ту же тему, но с утверждением вместо вопроса — 2 400 просмотров. Разница 500 просмотров: 500 ÷ 2 900 × 100% = 17%. Вывод «вопрос в заголовке даёт плюс 17% охвата» выглядит убедительно. И он неверен.

Чтобы понять почему, нужна вторая цифра — обычный разброс: насколько ваши посты отличаются друг от друга сами по себе, без всяких изменений. Возьмите десять последних постов одного формата и посчитайте отклонение каждого от медианы.

Медиана здесь 2 600 просмотров — середина между пятым и шестым значением: (2 550 + 2 650) ÷ 2 = 2 600. Посты гуляют от −20% до +21% от неё без единого изменения в тексте. «Эффект заголовка» в 17% целиком влезает в этот коридор, а 2 900 и 2 400 — два рядовых значения для такого канала.

Откуда берётся разброс:

• Время выхода. По нашим данным посты с 21:00 до 01:00 по Москве набирают на 12–30% больше охвата, чем типичный пост (3,85 млн публикаций за неделю) — разбор по часам в статье про лучшее время для публикации.
• День недели. Субботний пост и пост в среду живут по-разному, поэтому «вторник против пятницы» — сравнение дней, а не заголовков.
• Тема. Самый сильный фактор. Пост про деньги и пост про внутреннюю жизнь канала различаются по охвату в разы, и заголовок этого не перебьёт.
• Пересылки и читатели без подписки. Просмотры в MAX включают тех, кому пост переслали, и тех, кто читает канал без подписки: один репост в крупном чате поднимает охват вдвое. По этой же причине ERR в MAX часто выше 100% — что означают метрики канала и где у них границы, разобрано отдельно.
• Частота и случайность. Два поста подряд делят внимание между собой (сколько постов в день публиковать), а часть подписчиков в этот день просто не заходила в приложение — причины тут нет.

Если охваты просели не на 15%, а вдвое и надолго, это не разброс, а проблема — её ищут по отдельному алгоритму.

Масштаб разброса зависит от размера канала. По данным Tapbox на 18 сентября 2026 года медианный охват поста у каналов на 1–10 тысяч подписчиков — 2 458, на 10–100 тысяч — 17 368; медианный ERR в этих же группах — 109% и 90%. Чем меньше числа, тем сильнее на них влияет случайность: при охвате 3 000 десяток случайных читателей не меняет ничего, при охвате 200 один пересланный пост переворачивает картину.

Отсюда честный вывод: до двух-трёх сотен подписчиков серии бесполезны — любой параметр утонет в случайности, быстрее спросить людей напрямую, опросом или в комментариях.

Как сформулировать гипотезу, которую можно проверить

Формула одна: «Если сделать одно изменение, то метрика вырастет или упадёт, потому что причина». Требований к ней три:

1. Одно изменение. Не «перепишем посты», а «вынесем цифру в первую строку».
2. Метрика, которую видно в цифрах: охват, реакции, комментарии, голоса в опросе, клики по кнопке, переходы по метке, отписки. «Стало понятнее» — не метрика.
3. Причина. Без неё не понять, переносится ли вывод на другие посты. «Выросло, потому что в превью видно конкретику» — переносится. «Выросло, потому что выросло» — нет.

На практике «надо писать интереснее» превращается в «если выносить цифру в первую строку, медианный охват серии станет выше обычного, потому что в превью видно конкретику», а «людям нужен призыв» — в «если заканчивать пост прямым вопросом, комментариев станет больше, потому что понятно, что отвечать».

Оговорка про метрики: дочитывания в канале не видны — их не показывает ни штатная статистика, ни внешние сервисы, такие гипотезы проверяют косвенно, по реакциям. Просмотры каждого поста, наоборот, видны всем: счётчик стоит под публикацией и с февраля 2026 года доступен не только авторам.

Как проверить гипотезу в канале: серии вместо двух постов

Серия — это 5–10 подряд идущих постов с одинаковым проверяемым параметром. Сравнивают не пост с постом, а медиану серии с медианой базы: отдельный пост тогда перестаёт решать — один удачный репост растворяется среди восьми обычных значений.

1. Сформулируйте гипотезу по формуле выше и выберите одну метрику. Не три: иначе после теста вы найдёте ту, которая выросла, и объявите победу.
2. Снимите базу: охваты последних десяти постов того формата, который меняете. Медиана плюс самое слабое и самое сильное значение в процентах от неё — это ваш обычный разброс.
3. Выберите один параметр. Заголовок, или длина, или картинка, или время выхода. Один.
4. Зафиксируйте остальное: время публикации, дни недели, частоту, темы, оформление. Сильнее всего помогает отложенный постинг — время выхода перестаёт зависеть от того, когда вы освободились.
5. Выпустите серию из 5–10 постов с изменённым параметром — не останавливайтесь на третьем, даже если первые два выстрелили.
6. Посчитайте медиану серии и сравните с базой: разница должна быть заметно больше обычного разброса.
7. Повторите серию через одну-две недели. Повторилась разница в ту же сторону — результат. Нет — совпадение.
8. Запишите вывод в журнал: что меняли, сколько постов, какие цифры, что решили. Отрицательный результат тоже, иначе через три месяца проверите то же заново.

И сразу о том, чего ждать: тест отвечает на вопрос, а не поднимает охват. Его итог — знание: «у нас работает», «у нас не работает» или «разницы не видно». Третий ответ самый частый и совершенно нормальный.

Цифры по каждому посту нужны одним списком. Штатная статистика канала (настройки канала → «Статистика», с 19 августа 2026 года) показывает сводные подписчики и просмотры за период от недели до трёх месяцев — этого хватает на тренд, но не на медиану по десяти постам. Охваты либо выписывают вручную из счётчиков под постами, либо берут готовым списком в Tapbox Стат.

Что можно проверять сериями, а что нельзя

Годится всё, что можно повторить в каждом посте серии и измерить числом:

А вот чего сериями не проверить:

• Темы. Разные темы — это разные посты, а не варианты одного: тема влияет на охват сильнее любого приёма, поэтому «серия про скидки» против «серии про закулисье» не говорит ничего.
• Редкие события: розыгрыш, запуск, большой анонс. Их мало, серии не собрать, и каждый тянет приток новых подписчиков.
• То, что меняется один раз на весь канал — название, описание, аватар. Тут возможно только наблюдение «до и после», а это не тест: за два месяца изменится и остальное.
• Неизмеримое: «стало понятнее», «выглядит солиднее». Не можете назвать число — это не гипотеза, а вкус, и проверяют его разговором.
• Продажи на малых числах. Три заявки против пяти — разброс, а не рост: нужны десятки событий в серии, а у канала на несколько тысяч подписчиков их единицы.

Как понять, что разница не случайна, без матстатистики

Правило из двух условий. Результатом считается разница, которая выполнила оба.

• Разница больше обычного разброса. Если посты гуляют от −20% до +21% от медианы, прирост медианы серии на 8% не значит ничего. Прирост на 31% — уже разговор.
• Разница повторилась. Вторая серия в ту же сторону и примерно того же размера. Одна серия — всё ещё совпадение, просто подороже купленное.

Продолжим пример. База: медиана 2 600 просмотров, разброс от −20% до +21%. Серия из восьми постов с цифрой в первой строке дала медиану 3 400: 3 400 ÷ 2 600 = 1,31, прирост 31% — выше верхнего края разброса, первое условие выполнено. Через две недели вторая серия: медиана 3 250, прирост 25%. Сторона та же, размер близкий — вывод записываем.

А если вторая серия дала 2 800, то 2 800 ÷ 2 600 = 1,077, прирост 8%, внутри разброса. Честный вывод тогда такой: «разницы не видно». Не «приём не работает» и не «тест провалился» — просто на ваших числах эффект, если он есть, меньше обычного шума.

Считайте медиану, а не среднее. Медиана — значение из середины упорядоченного списка, и один пост, который переслал крупный канал, её почти не двигает. В примере выше среднее десяти постов 2 609, но если бы десятый собрал 9 000 вместо 3 150, среднее выросло бы до 3 194, а медиана осталась бы 2 600.

И про калькуляторы значимости A/B-тестов: они рассчитаны на две независимые случайные группы, а в канале таких групп нет — одни и те же люди видят все посты серии. Считать p-value тут не на чем, и правило двух условий честнее цифры из калькулятора, применённого не по назначению.

Сколько длится один тест

Считайте от своей частоты: серия с повтором и паузой занимает примерно в два с половиной раза больше времени, чем выпуск 5–10 постов.

• Пост каждый день. Серия из семи постов — неделя, тест с повтором — три-четыре недели.
• Три поста в неделю. Серия — две с половиной недели, тест — около полутора месяцев.
• Пост в неделю. Серия — два месяца, за это время изменится всё, кроме проверяемого параметра. Тесты на такой частоте не ставят: спросите подписчиков напрямую или разговорите комментарии.

Отсюда следствие: в год влезает 6–10 проверенных гипотез, не больше. Начинайте с того, что затрагивает каждый пост: первая строка, длина, время выхода, картинка.

Как вести журнал тестов: шаблон

Журнал — таблица, по строке на тест: без неё через месяц вы не вспомните, какие цифры были в базе. Держать можно рядом с контент-планом или месячным отчётом по каналу.

Раз в квартал перечитывайте журнал целиком: часть выводов устареет. Приём, который давал плюс 30% на трёх тысячах подписчиков, на десяти может не дать ничего.

Частые ошибки

• Сравнили будни с выходными. Самая частая: пост во вторник против поста в субботу — это тест дня недели, что бы вы в нём ни меняли.
• Поменяли сразу три вещи: новый заголовок, другая длина и картинка в придачу. Результат есть, причина неизвестна, повторить нельзя.
• Остановились на первом удачном посте. Два поста зашли — серию свернули, объявив победу. Это то же сравнение двух постов, только дороже.
• Не сняли базу, сменили параметр посреди серии, взяли среднее вместо медианы. Без базы цифра после теста ничего не значит, правка на пятом посте разрывает серию, а среднее переворачивает один репост.
• Тест во время посева или розыгрыша. Приток подписчиков меняет и охват, и ERR — пока идёт закупка, тесты бессмысленны.
• Ждали от теста роста. Тест — измерение, а не улучшение. Рост даёт решение, принятое по результату, и только если результат был.

Чек-лист перед запуском теста

• Гипотеза записана одной фразой: изменение, метрика, причина.
• База снята: медиана десяти постов и разброс в процентах от неё.
• Меняется ровно один параметр, остальное зафиксировано.
• Время выхода и дни недели у серии и базы совпадают.
• В серии от пяти до десяти постов, и вы доведёте её до конца.
• На время теста не запланированы розыгрыш и посев.
• Решено заранее: разница меньше разброса — считаем, что разницы нет.
• В календаре стоит дата повторной серии, в журнале — строка с базой.
• Приняли, что «разницы не видно» — это тоже результат.