A/B-тестирование: как проверить гипотезу и не ошибиться с выводами

Команда сократила форму заявки, и в отчёте появилась прибавка к конверсии. Чтобы решить, оставлять ли новую версию, нужно проверить три вещи: как собирались данные, насколько точно измерен прирост и достаточно ли он полезен бизнесу. Условия такой проверки задают до запуска.

A/B-тестирование помогает сравнить два варианта сайта на случайно распределённых группах пользователей. Ниже разберём весь путь на условном примере формы: от гипотезы и расчёта аудитории до заключения, с которым руководитель сможет принять решение.

Что проверяет A/B-тест и когда он нужен

Вариант A — текущая версия, контроль. Вариант B — версия с изменением. Пользователи попадают в группы случайно, а обе версии работают одновременно. Так у вариантов есть возможность столкнуться с одними и теми же днями недели, рекламными кампаниями и внешними событиями.

Если сначала неделю показывать старую форму, затем неделю новую, в разницу попадут и изменения аудитории между неделями. Для такого сравнения «до и после» причины роста придётся изучать отдельно.

Эксперимент уместен, когда оба решения работоспособны, но их влияние на поведение неизвестно. Например, посетителям может быть удобнее короткая форма, а отделу продаж — заявка с подробностями. Тест позволяет оценить результат этого выбора.

Поломки сначала исправляют: неотправляющаяся форма, перекрытая кнопка или потеря заявок требуют технической диагностики. Идеи для проверки интерфейса собраны в материале о проверке кнопок на сайте.

Начните с одного понятного изменения. Можно сравнивать и две полностью разные страницы, но вывод тогда относится ко всему набору отличий. Чтобы отдельно оценить текст кнопки, сохраните остальную страницу одинаковой.

Сформулируйте гипотезу через наблюдение и действие

Для начала найдите место, где посетитель затрудняется: изучите шаги формы, записи сессий, обращения в поддержку, замечания отдела продаж. Зафиксируйте наблюдение отдельно от предполагаемой причины. Если люди уходят с формы, причину ухода ещё предстоит выяснить.

В нашем условном примере компания продаёт услуги для бизнеса. По наблюдениям команды, часть посетителей останавливается у обязательного поля «Компания». Менеджеры могут уточнить название организации при разговоре. Возникает гипотеза: если убрать это поле, больше посетителей оставят заявку, подходящую компании, потому что заполнение станет проще.

До запуска оформите короткую карточку. Она связывает изменение с результатом и не даёт незаметно сменить цель по ходу работы.

Для своей карточки замените наблюдение ссылкой на конкретный отчёт или запись, укажите страницу и имена ответственных. Практический порог обсудите с руководителем: какой эффект оправдает разработку, сопровождение и дополнительную работу менеджеров. Число из примера — учебное условие.

Выберите метрику, по которой примете решение

Основная метрика отвечает на задачу бизнеса. Если цель — подходящие заявки, определите, какую заявку отдел продаж считает квалифицированной: например, подтверждённый контакт с запросом на нужную услугу. Менеджеры должны применять одинаковые критерии к обеим группам.

В примере считаем:

Конверсия = число участников с хотя бы одной квалифицированной заявкой за 7 дней / число участников группы × 100%.

Один человек учитывается один раз, даже если отправил форму повторно. Знаменатель включает всех подходящих участников, назначенных в группу при первом входе на тестируемую страницу. Условие включения одинаково для A и B и определяется до взаимодействия с изменённой формой.

Семь дней — выбранное в примере окно наблюдения после включения человека в тест. В своём проекте посмотрите, сколько времени обычно проходит до нужного события и обработки заявки. Позднему участнику нужно дать столько же времени, сколько раннему. Поэтому окончательный отчёт появится после завершения окна у последней группы пришедших. Когда набор новых участников закончится, уже включённым сохраняют назначенные варианты до конца наблюдения.

Рядом с основной метрикой оставьте два вида показателей:

• Диагностические: начало заполнения и успешная отправка. Они помогают понять, на каком шаге изменилось поведение.
• Защитные: ошибки формы и время обработки заявок. По ним проверяют, приемлема ли цена улучшения.

Задайте защитным показателям допустимые границы и способ проверки. Например, компания может разрешить рост среднего времени обработки одной заявки не более чем на минуту. Это условие нужно оценить с учётом разброса времени, а критическую поломку отправки — устранять сразу.

Роль каждого показателя фиксируют заранее. Если выросли отправки, а по квалифицированным заявкам результат неопределён, в заключении сохраняется эта неопределённость. Диагностическая метрика объясняет происходящее, но решение по основной задаче остаётся открытым.

Оцените выборку и календарь до разработки вариантов

Выборка — количество участников в каждом варианте. Для её планирования нужны базовая конверсия, минимальный обнаруживаемый эффект, уровень значимости и мощность.

Базовую конверсию возьмите за сопоставимый недавний период: та же страница, аудитория, определение события и окно наблюдения. В примере она равна 5%.

Минимальный обнаруживаемый эффект, MDE, задаёт чувствительность теста. Допустим, нужно уметь обнаруживать рост с 5% до 6%. Разница составляет 1 процентный пункт, или 20% относительно исходных 5%. Проверьте, какой формат — абсолютный или относительный — ожидает калькулятор.

Уровень значимости α ограничивает частоту ложноположительных выводов при соблюдении выбранной процедуры. В примере α = 0,05: при отсутствии реального различия процедура может ошибочно обнаруживать его примерно в 5% повторений.

Мощность — вероятность обнаружить заданный эффект, когда он действительно есть. Для планирования примера выберем 80%. Меньшие эффекты тест будет обнаруживать реже. Эти параметры согласуют до запуска; для более ответственного решения могут понадобиться другие значения.

Для быстрой оценки двух равных групп с бинарной конверсией используют приближение:

n ≈ 16 × p × (1 − p) / Δ².

Здесь n — участники на вариант, p — базовая конверсия в долях, Δ — абсолютная разница тоже в долях. При p = 0,05 и Δ = 0,01 получается около 7 600 участников на вариант. Это грубая оценка для двусторонней проверки с α около 0,05 и мощностью около 80%; двусторонняя проверка допускает как рост, так и падение. Точное планирование зависит от метода анализа.

Попросите аналитика или используйте калькулятор выборки для сравнения двух долей: введите 5% базовой конверсии, 1 процентный пункт MDE, α = 0,05, мощность 80% и равное распределение. Сохраните настройки и уточните, выдаёт ли инструмент число на вариант или на весь тест. Калькулятор должен соответствовать методу, которым затем будет анализироваться результат.

Для учебного календаря округлим ориентир до 8 000 человек в группе, всего 16 000. Если в эксперимент можно включать около 800 новых подходящих участников в день, набор займёт примерно 20 дней. Для этого сценария команда заранее выбирает 21 полный день набора, чтобы охватить целые недели, затем ещё 7 дней на завершение окна наблюдения.

В прогноз берут именно новых участников выбранного эксперимента. Повторные визиты уже включённого человека не увеличивают выборку. По окончании проверяют фактические размеры групп: прогноз трафика может не сбыться.

Если нужная аудитория набирается слишком долго, пересмотрите задачу до запуска. Можно выбрать более существенное изменение или сначала провести исследование удобства. Изменение MDE допустимо, если новый порог по-прежнему отвечает бизнес-задаче. Подбор параметров ради короткого теста оставит маленькие, но важные эффекты незаметными.

Настройте распределение и проверьте путь заявки

Для простого теста начните со случайного распределения 50/50. Закрепляйте вариант за стабильным идентификатором участника: при повторном визите он должен видеть ту же версию. Если используете cookie, учитывайте их удаление и переходы между устройствами. При большом числе таких переходов аналитик должен оценить, подходит ли этот способ идентификации.

Инструмент экспериментов должен назначать вариант, сохранять назначение и передавать его в аналитику. Система аналитики должна связывать участника с целевым событием, а при оценке качества заявок — с результатом обработки в CRM. Проверьте эти возможности до выбора сервиса. Наличие счётчика посещений покрывает лишь часть такой цепочки.

Перед запуском разработчик и аналитик проходят сценарий в обеих версиях:

1. Открывают страницу на компьютере и телефоне и проверяют форму.
2. Повторно заходят с тем же идентификатором и проверяют сохранение варианта.
3. Отправляют тестовую заявку и находят её в системе обработки.
4. Сверяют ID эксперимента, вариант, время включения и целевое событие.
5. Проверяют, что повторная отправка не превращается во второго участника, а внутренний трафик исключается по заранее заданному правилу.

При новом механизме распределения полезен A/A-тест: две группы получают одинаковую версию, а команда проверяет распределение и сбор данных. Он помогает обнаружить ошибки инфраструктуры. Единичное статистически значимое расхождение возможно и при корректной системе, поэтому его причину изучают; отсутствие расхождения также не гарантирует исправность всех событий.

В календаре отметьте релизы и другие эксперименты на этой странице. Для первого теста проще развести пересекающиеся изменения. Если они идут одновременно, их возможное взаимодействие должно входить в план анализа.

Завершайте тест по заранее выбранному правилу

В примере установлен фиксированный горизонт: 21 день набора и 7 дней ожидания последних результатов. Итоговый анализ делают после этого срока. Если аудитории оказалось меньше расчётной, в отчёте отмечают потерю чувствительности и оценивают ширину интервала эффекта.

В ходе теста следят за отправкой форм, потерями данных и защитными показателями. При серьёзном вреде эксперимент можно остановить раньше и откатить изменение. В отчёте это будет досрочная остановка по безопасности, с описанием инцидента.

А вот правило «закончим, как только результат станет значимым» требует специальной статистической процедуры. Повторная проверка обычным тестом с фиксированным горизонтом и остановка при первом удачном результате увеличивают частоту ложных находок. То же касается продления теста только потому, что желаемой значимости пока нет.

Если бизнесу нужны промежуточные решения, заранее выберите последовательный метод анализа, рассчитанный на такие проверки, и соблюдайте его правила. Уточните метод в документации платформы: одинаковая надпись «значимость» в разных отчётах может относиться к разным процедурам.

Сначала проверьте данные, затем сравнивайте конверсию

Аналитик начинает с числа назначенных участников, полноты событий и связи с CRM. Сравните плановую пропорцию групп с фактической. Небольшое отклонение от 50/50 естественно при случайном распределении; подозрительный перекос проверяют статистически.

Такую проверку называют SRM — Sample Ratio Mismatch. В неё передают размеры групп и ожидаемые доли распределения. Если проверка выявила значимое несоответствие, найдите причину: вариант мог не загрузиться в части браузеров, событие могло потеряться, фильтр — удалить пользователей только одной группы. До устранения или обоснованного объяснения проблемы вывод об эффекте откладывают.

Затем проверьте, всем ли участникам дали полное окно наблюдения, одинаково ли определялась квалифицированная заявка, нет ли дублей и изменений правил исключения. Сохраните эти результаты рядом с отчётом. Для квалифицированных лидов отдельно сверьте несколько записей из каждой группы с CRM по идентификаторам.

Сегменты по устройствам и источникам помогают диагностировать проблемы. Если после теста перебрать множество сегментов и выбрать самый удачный, возрастает риск случайной находки. Значимые для решения сегменты и поправки на множественные сравнения планируют заранее. Неожиданный результат в другом сегменте можно сохранить как гипотезу для следующего эксперимента.

Разберите результат: прирост, интервал и полезный эффект

Допустим, компания из примера закончила эксперимент по плану, проверила данные и получила такую учебную таблицу. У каждого участника завершилось семидневное окно.

Абсолютная разница составляет +0,5 процентного пункта. Относительный прирост — 10%: разницу 0,5 делим на исходные 5 и умножаем на 100%. В отчёте нужны оба значения и размеры групп.

Теперь оценим точность. Приближённый 95%-й доверительный интервал разницы двух независимых долей в этом примере — от −0,19 до +1,19 процентного пункта. Для больших выборок его можно вычислить как разницу конверсий плюс-минус 1,96 стандартной ошибки. Здесь стандартная ошибка равна квадратному корню из суммы pA × (1 − pA) / nA и pB × (1 − pB) / nB. Здесь pA и pB — конверсии в долях, nA и nB — размеры групп.

Интервал включает ноль, небольшое ухудшение и полезный для компании рост на 1 процентный пункт. Данных недостаточно, чтобы уверенно определить направление эффекта. Запланированная чувствительность относилась к росту на 1 пункт, а наблюдаемая разница оказалась меньше. Набор расчётной выборки допускает такой исход.

Доверительный интервал показывает неопределённость оценки при выбранной модели. Уровень 95% характеризует процедуру: при многократном повторении корректно устроенных экспериментов примерно 95% построенных таким способом интервалов будут накрывать истинный эффект. Для малых выборок и редких событий требуется более подходящий метод, чем использованное здесь нормальное приближение.

Как читать p-value

В статистической проверке сначала задают нулевую гипотезу: например, конверсии A и B одинаковы. P-value — вероятность получить столь же сильное или более сильное расхождение по выбранному критерию при условии, что нулевая гипотеза верна и предпосылки модели соблюдены.

Значение ниже заранее выбранного α даёт основание отвергнуть нулевую гипотезу в рамках этой процедуры. Размер и полезность эффекта оценивают отдельно. Вероятность того, что B лучше, требует другой постановки и не получается простым переименованием p-value.

Как перейти от статистики к решению

Сопоставьте интервал с нулём и минимально полезным эффектом:

• Интервал выше нуля и поддерживает полезный размер эффекта. Проверьте защитные показатели и затраты; при выполнении заранее заданных критериев планируйте внедрение.
• Интервал включает и ухудшение, и полезный рост. Зафиксируйте неопределённость. Можно оставить A и подготовить следующий тест с достаточной чувствительностью.
• Верхняя граница ниже минимально полезного прироста. Данные ограничивают ожидаемую пользу. Оцените, есть ли смысл продолжать работу над этой версией при её стоимости.

Если для внедрения необходимо убедиться в росте как минимум на 1 пункт, нижняя граница интервала должна поддерживать именно этот порог. Тест, спланированный для обнаружения отличия от нуля при эффекте 1 пункт, решает более простую задачу; критерий подтверждения минимальной пользы потребует отдельного расчёта выборки.

Статистически незначимый итог описывают через допустимый диапазон эффекта. Чтобы сделать вывод о практической равноценности версий, заранее задают границы допустимых различий и планируют соответствующую проверку.

Запишите вывод так, чтобы к нему можно было вернуться

Сохраните карточку гипотезы, варианты страниц, даты набора и наблюдения, правила исключения, размеры групп, метод анализа и защитные показатели. Рядом запишите принятое решение и его основания.

Для нашей учебной таблицы заключение может выглядеть так:

«После 21 дня набора и завершения 7-дневного окна в группах по 8 000 участников. Конверсия в квалифицированную заявку: A — 5%, B — 5,5%. Разница +0,5 процентного пункта; приближённый 95%-й интервал от −0,19 до +1,19 пункта. Направление эффекта остаётся неопределённым. Решение — сохранить A. Для следующего теста уточнить причину затруднения у поля и оценить, доступна ли выборка для меньшего эффекта».

В рабочем отчёте к этому выводу приложите результаты проверки распределения и событий, а также значения защитных показателей. В учебной таблице их чисел нет, поэтому она иллюстрирует только статистическую часть решения.

Начните свой эксперимент с карточки гипотезы и выгрузки базовой конверсии. Если для проверки нужны изменения формы, передачи событий или связи заявки с CRM, эти работы можно включить в доработку сайта.