A/B-тестирование: как проверить гипотезу на сайте и в рекламе без ложных выводов

Два процента в отчёте ещё не означают победу

Больше заявок у варианта B — ещё не причина менять сайт. A/B-тестирование, или сплит-тест, сравнивает варианты на случайно разделённых группах в один период, чтобы оценить влияние изменения, а наблюдаемая разница требует оценки погрешности.

Ошибка начинается раньше расчёта значимости. Если на новую страницу отправили только мобильную рекламу, а на старую — посетителей из поиска, сравнение смешивает свойства страницы со свойствами аудитории. Даже красивое число в калькуляторе не отделит один фактор от другого. Рассмотрим компанию, которая проверяет форму запроса расчёта услуги на своём сайте: меняется способ объяснения, какие сведения приложить к обращению. Трафик ведут из одной рекламной среды, а работу менеджеров и предложение сохраняют одинаковыми, чтобы разница относилась к выбранной гипотезе.

Сначала устраните перекос распределения, затем оценивайте эффект. Такой порядок лучше попытки математически исправить уже несопоставимые группы, потому что заказчик сможет объяснить, кто видел каждый вариант и почему различие между ними отвечает именно вопросу о форме.

Гипотеза с несколькими изменениями не объясняет результат

Победитель нужен вместе с причиной. Если одновременно изменить цену, заголовок и состав полей, удачный результат позволит выбрать целую страницу, но не покажет, какое решение помогло посетителю и какие части можно переносить на другие услуги компании.

В документации экспериментов Директа рекомендована одна гипотеза с одним параметром. В тесте формы её можно сформулировать так: пояснение к загрузке материалов поможет человеку подготовить обращение без дополнительного звонка. Основным показателем станет доля посетителей с подходящим обращением, а нажатия кнопки останутся промежуточным событием. Критерий подходящего обращения определяют до запуска и одинаково применяют к обоим вариантам. Иначе менеджер, которому нравится новая форма, сможет невольно чаще принимать её заявки за хорошие.

Предпочтительнее менять пояснение при прежнем наборе полей, если вопрос связан с понятностью формы. Сокращение обязательных полей — уже другая гипотеза: оно может увеличить отправки, но ухудшить сведения для расчёта, поэтому потребует отдельного решения о качестве обращений.

Последовательные недели сравнивают вместе со спросом

Календарь способен изменить вывод. Когда старую страницу оценивают по прошлой неделе, а новую по текущей, в разницу попадают изменения спроса и рекламных условий, которые компания не контролирует и которые могут оказаться сильнее влияния нового пояснения формы.

Для A/B-теста посетителей распределяют одновременно. При повторном визите человеку желательно показывать тот же вариант, иначе он переносит впечатление от одной страницы на другую. Единицу распределения обсуждают с аналитиком: посетитель и сеанс — разные способы считать участие. Если покупка требует нескольких посещений, случайное назначение при каждом сеансе особенно мешает понять результат. До запуска в отчёте нужны идентификатор варианта и проверка того, что формы отправляют одинаковые сведения о событии, включая ошибку сервиса.

В Директе эксперименты создают через «Библиотека → A/B-эксперименты». Это актуальный инструмент для рекламных кампаний, а для изменения страницы на собственном сайте потребуется ещё способ распределения посетителей между версиями и передача признака версии в аналитику. Рекламное разделение и тест интерфейса не стоит смешивать в одном отчёте без объяснения. В первом случае меняется кампания или её настройка, а во втором человек попадает на разные страницы после перехода, поэтому аналитик заранее описывает, на каком этапе назначается вариант и какие пользователи входят в расчёт.

Объём данных планируют до открытия калькулятора

Единого числа посетителей нет. Нужная выборка зависит от исходной доли обращений и минимального эффекта, ради которого компания готова менять страницу, а также от выбранной мощности теста и допустимой вероятности ложного вывода о различии.

Мощность означает способность обнаружить заранее заданный эффект, если он существует. Уровень значимости относится к риску отвергнуть отсутствие различия, когда оно верно. Эти параметры вместе с величиной эффекта входят в план расчёта выборки. В руководстве NIST о размерах выборки показана связь между изменением доли, значимостью и мощностью для задачи проверки доли. Для двух вариантов аналитик использует метод расчёта именно двух независимых групп, а не переносит формулу одной группы без объяснения.

Чем меньший прирост хочется различить, тем больше информации понадобится. Поэтому разумнее сначала спросить, имеет ли экономический смысл небольшой эффект: если изменение дорого поддерживать, статистически заметная прибавка может оказаться слишком малой для внедрения. В задании калькулятору полезно сохранить исходную конверсию, ожидаемую разницу в процентных пунктах, распределение трафика и принятые статистические параметры. Тогда другой специалист сможет воспроизвести оценку до запуска, а руководитель поймёт, почему срок теста связан с количеством подходящих посетителей, а не с удобной датой отчёта.

Калькулятор A/B-тестов стоит выбирать по описанию метода, даже если другой сервис предлагает более простой цветной ответ. В нём различают двустороннюю и одностороннюю постановку: первая ищет изменение в любую сторону, вторая проверяет заранее выбранное направление. Выбор делают до просмотра результата. В рабочем файле полезно оставить название метода, входные данные и полученный требуемый объём каждой группы, чтобы при повторном расчёте не спутать число на вариант с суммарной аудиторией теста. Если интерфейс калькулятора не объясняет, что именно он считает, аналитик готовит воспроизводимый расчёт отдельно.

Остановка при первом хорошем числе повышает риск ошибки

Ранний лидер может смениться. Если каждый день открывать обычный калькулятор с фиксированной выборкой и завершать тест при первом удобном результате, правило принятия решения меняется после наблюдения данных и риск ошибочной победы оказывается выше заявленного.

До запуска выбирают либо план с фиксированным объёмом данных, либо специально рассчитанную последовательную методику. Смешивать их нельзя. Во время теста всё равно отслеживают поломки формы и грубые перекосы распределения, потому что ждать конца при технической ошибке бессмысленно. Но остановка из-за неисправности и остановка из-за красивой разницы отвечают разным вопросам. Причину досрочного завершения записывают в результат, чтобы незаконченный эксперимент не превратился в доказанную гипотезу при следующем обсуждении сайта.

Для рекламных экспериментов Яндекс советует учитывать полные бюджетные интервалы. Эти рекомендации относятся к обучению и работе рекламных кампаний, поэтому их нельзя выдавать за универсальную достаточную длительность любого теста интерфейса. Лучше продлить сбор данных по заранее выбранному правилу, чем каждый раз менять конечную дату вслед за колебанием показателя. Если необходимый объём недостижим, компания может остановить работу с выводом о недостатке данных и выбрать более крупное изменение, которое имеет смысл проверять при доступном трафике.

Значимость и польза — разные вопросы

Математический результат нуждается в переводе. В описании сравнения двух долей NIST тест строится на долях успеха и размере каждой выборки, поэтому одних процентов в отчёте недостаточно, а редкие события требуют отдельного внимания к применимости выбранного метода.

Расчётный пример: в группе A получено 40 обращений на 2000 участников, а в B — 50 на 2000. Доли равны 2 % и 2,5 %. Абсолютная разница составляет 0,5 процентного пункта, относительная — 25 %. Большое относительное число звучит убедительнее абсолютного, но оба описывают те же десять дополнительных обращений в этих данных. Решение о внедрении учитывает интервал неопределённости и качество обращений вместе с арифметическим приростом.

Калькулятор долей отвечает на статистический вопрос о выбранном событии. Если основной итог — стоимость подходящего обращения, понадобится учитывать и расход, а если заявки созревают в продажи позднее, дату окончания сбора обращений надо отличать от даты окончания учёта продаж. В Метрике существует отчёт «Директ, эксперименты». Его можно использовать для анализа рекламных групп, но название отчёта ещё не определяет метод оценки формы: важно, какие посетители вошли в группы, какое событие считается успехом и одинаково ли оно зарегистрировано в каждой версии.

Неверный вывод становится постоянным расходом

Цена ошибки переживает эксперимент. Когда команда внедряет страницу по случайному колебанию, она тратит деньги на поддержку выбранного решения и может отказаться от действительно полезного изменения, потому что будущие сравнения начнутся уже с ошибочно объявленного победителя.

Заключение теста удобно хранить вместе с гипотезой. В нём называют выборку, период, основное событие и полученную разницу с её неопределённостью. Отдельно пишут, что произошло с ограничивающими показателями и качеством данных. Если данных недостаточно для уверенного вывода о различии, это так и формулируют. Фраза «эффекта нет» сильнее, чем позволяют сведения: маленькая группа могла просто не дать возможности обнаружить полезное изменение.

Отказ от преждевременной победы сохраняет деньги на следующий тест. Компания получает не красивый отчёт, а понятное решение: внедрять изменение, продолжать сбор по принятому плану или возвращаться к гипотезе, которую возможно проверить при нынешнем объёме обращений.

У теста сохраняют и журнал внешних изменений. Повышение цены услуги, остановка рекламы или замена источника трафика могут объяснить сдвиг показателей без связи с новым пояснением формы. Когда такие события происходят, команда решает, остаётся ли первоначальный вопрос проверяемым, а при существенном нарушении условий заново планирует эксперимент вместо того, чтобы задним числом выбирать удобный отрезок данных. Это особенно полезно руководителю, который принимает работу через некоторое время после окончания кампании и уже не помнит каждое изменение настроек.