A/B-тест сайта: когда он полезен и как не принять случайность за улучшение

Ранний победитель может оказаться случайностью

Приняв первые удачные цифры за доказанное улучшение сайта, компания рискует вложить деньги в изменение, которое не помогает клиентам обращаться за услугой. На сайте услуг маркетолог может сравнить прежнее и новое пояснение перед формой: действительно ли посетители лучше понимают, какие сведения нужны для ответа, и чаще ли отправляют полезное обращение. Рассмотрим форму запроса услуги: сотрудник оценивает пригодность поступивших обращений, а маркетолог связывает их с показанной версией.

A/B-тест одновременно показывает сравнимым группам прежний и изменённый варианты. Разница между ними относится к заранее выбранной гипотезе. Если новый текст, цена и форма меняются сразу, общий результат относится ко всему сочетанию, а отделить пользу конкретного изменения по этому сравнению будет трудно. Прежний вариант служит контролем: он сохраняет исходный путь обращения для сравнения. Проверяемая версия отличается тем пояснением, пользу которого компания намерена оценить.

У эксперимента есть цена ожидания: разработчик готовит варианты, аналитик связывает показ с событием, сотрудники уточняют качество полученных обращений, поэтому тест полезнее запускать ради решения, которое компания действительно примет после отчёта, чем ради демонстрации растущего графика. Внедрение ждёт окончания сравнения. При малом трафике другим способом исследования можно раньше найти явное препятствие и решить, какое изменение вообще стоит сравнивать.

Varioqub использует данные Яндекс Метрики для распределения посетителей по группам и расчёта результатов. Сам инструмент не выбирает коммерческую цель сайта: её маркетолог согласует с руководителем и сотрудником, который получает обращения.

Размытая гипотеза оставляет спор о результате

«Новая страница станет лучше» не задаёт проверяемого результата. Для пояснения перед формой полезнее назвать препятствие: человек не понимает, какие сведения потребуются, и прекращает обращение. Предложенное изменение объясняет состав запроса до открытия полей. Гипотеза связывает это объяснение с поведением посетителя, а не с мнением участников о красоте текста.

Одно изменение и известное действие

Выберите изменение, причину и результат в обращениях. Для описанного сайта это новое пояснение, предполагаемое уменьшение неопределённости и доля посетителей, отправивших обращение по нужной услуге.

Перед запуском полезнее записать, кого касается новое пояснение и какое поведение подтвердит его пользу, чем обсуждать результаты уже после просмотра цифр, поскольку тогда разные участники смогут оценивать один вариант по разным признакам и получать противоположные выводы. Значение слова «полезное» фиксируют заранее. Руководитель называет изменение, ради которого готов оплачивать разработку и дальнейшее сопровождение страницы. Принимающий обращения сотрудник объясняет признаки содержательного запроса: по нужной услуге, с данными для ответа и без дублирования уже полученного сообщения. Обе версии оценивают по этим признакам, чтобы предпочтения сотрудника не смещали результат.

В методическом примере из исследований Microsoft о подготовке эксперимента сложное изменение предлагают делить на простые гипотезы, каждую со своими показателями. Для сайта услуг такой выбор помогает сохранить понятную связь между проверяемым пояснением и решением о его постоянном использовании.

Клик подменяет полезное обращение

Новая подпись может привлечь больше нажатий, хотя посетители затем бросают форму. Клик ещё не заявка. Для проверки пояснения основной показатель лучше связать с получением обращения, если именно оно составляет ожидаемый результат сайта, а промежуточные действия оставить для объяснения пути. Например, обещание мгновенного расчёта приведёт человека к форме с другим ожиданием, если менеджер на самом деле готовит предложение после уточнения задачи. Тогда дополнительные нажатия показывают силу обещания, но не подтверждают удобство или коммерческую пользу нового пояснения.

Событие отправки сначала сопоставляют с записью, которую получает компания: иначе эксперимент будет сравнивать работу счётчика или неудачные попытки, а руководитель увидит рост, не подтверждённый новыми запросами на услугу. Правило качества одинаково для вариантов. Повторную отправку, тестовую заявку и запрос по другой услуге отделяют от полезных обращений по принятому до запуска правилу. Сотрудник, оценивающий обращение, получает нужные сведения без подсказки о желательном победителе.

Основной показатель и объясняющие данные

В отчёте Varioqub показатель «Конверсия в цель» определяется как доля визитов с достижением выбранной цели среди всех визитов варианта. Приёмочную метрику и дополнительные показатели выбирают при создании эксперимента. Поэтому в задании отдельно называют, считают ли результат по визитам или по посетителям: повторные заходы одного человека способны изменить знаменатель. Количество нажатий, открытий формы и ошибок помогает найти место изменения, но решение о пользе принимает компания по согласованному основному результату. Если цель сайта ещё не определена, разумнее сначала разобраться с настройкой целей Метрики, чтобы разные участники не называли конверсией разные действия.

Большая посещаемость не гарантирует чувствительный тест

Тысячи просмотров сайта мало говорят о возможности проверить редкое обращение на одной странице. В расчёт входит подходящая аудитория. Если гипотеза касается формы определённой услуги, аналитик оценивает посещения этой страницы при условиях эксперимента и исходную частоту нужного действия.

Какой эффект удастся увидеть

Калькулятор выборок Varioqub использует посещаемость экспериментальных страниц за месяц, срок сравнения и исходную конверсию.

В поле «Всего визитов в месяц» берут посещения страниц, на которые распространяются условия теста. Поле «Продолжительность» задаёт срок в днях.

«Доля аудитории» определяет размер выборки, выделенной эксперименту. Число сравниваемых версий задают в поле «Вариантов».

Калькулятор оценивает минимальный обнаруживаемый эффект — MDE: насколько небольшое изменение различимо при выбранных данных и уровнях ошибок. Увеличение выборки или срока позволяет уменьшить этот порог. Число всех посетителей компании не заменяет исходные данные конкретного сравнения. Маркетологу полезнее заранее спросить, различит ли планируемый тест изменение, которое окупит работу над страницей, чем назначить привычный срок и ждать убедительного цвета в отчёте, потому что при редких обращениях даже большое относительное улучшение может соответствовать слишком малому числу дополнительных событий. Порог сравнивают с ценой изменения. Если для нужного эффекта потребуется непрактично долгое наблюдение, компания выбирает более заметное изменение или другой способ исследования.

При небольшом трафике можно наблюдать, как представители аудитории понимают предложение и проходят форму, сопоставить обращения с записями и устранить найденную ошибку. Это помогает увидеть препятствие. Такой разбор не измеряет процент прироста от новой версии, поэтому результат описывают найденным затруднением и изменённым действием посетителя, оставляя количественный эффект открытым. Разработчику указывают на обязательное поле, которое участник не заметил. Если человек верно понимает форму, но ему не подходит сама услуга, маркетолог уточняет предложение, сохраняя различие между поведением на странице и интересом к покупке.

Последовательный показ смешивает изменение и время

Показать старую форму на одной неделе, а новую на следующей удобно для разработчика, но сравнение смешает изменение страницы с составом посетителей, рекламой и рабочими днями. Разница будет неоднозначной. Для A/B-теста специалист организует параллельное распределение подходящей аудитории и объясняет, по какой единице закрепляется вариант. Распределение по предпочтениям менеджера искажает сравнение: знакомым клиентам может достаться новая версия, а случайным посетителям прежняя, поэтому результат будет описывать исходный состав аудитории вместо пользы пояснения. Условия отбора согласуют до запуска. Человек видит предусмотренный вариант при повторном заходе в пределах выбранного способа идентификации, а ограничения этого способа аналитик учитывает в выводе. Случайное распределение проверяют по фактическому составу групп.

Дни недели и соседние изменения

Срок охватывает рабочий ритм аудитории. Если обращения по услуге по-разному поступают в будни и выходные, план должен учитывать это различие и нужную выборку, а не ограничиваться первым удачным днём. Акции, остановки рекламы и недоступность услуги сохраняют в журнале событий эксперимента.

Документация Varioqub о пересечениях предупреждает, что одновременные эксперименты способны влиять друг на друга; выбранные сравнения можно исключить из пересечения. Для проверки пояснения лучше сначала убрать конкурирующее изменение этой же формы, поскольку иначе объяснить движение показателя по одной гипотезе станет сложнее. Другие разделы сайта продолжают свою работу с учётом согласованного состава эксперимента.

Остановка на удачном дне искажает вывод

Ежедневный просмотр нужен для контроля работы, но поиск первого положительного результата меняет способ принятия решения. Условия остановки известны заранее. В рекомендациях Microsoft для идущего эксперимента повторные измерения и ранний просмотр требуют соответствующего статистического метода; при отсутствии убедительного эффекта предлагается дождаться запланированного окончания. Способ завершения и правило чтения отчёта сохраняют вместе с гипотезой, чтобы удачное движение показателя не изменяло порядок оценки задним числом.

Неопределённость и практическая польза

Результат лучше обсуждать вместе с оценкой неопределённости и чувствительности, чем сводить к слову «победитель», поскольку наблюдаемая разница может быть мала относительно разброса данных или недостаточна для оплаты внедрения и поддержки, даже когда выбранный метод отмечает её статистическую значимость. В справке отчёта Varioqub отсутствие цветового выделения не трактуется как доказательство неизменности метрики: вывод связан с обнаруживаемым эффектом. Конкретную статистическую оценку объясняет аналитик. Маркетолог оценивает, достаточно ли пользы для работы компании.

Разницу читают в правильных единицах. В расчётном примере переход конверсии с 2 % до 2,2 % означает прибавку 0,2 процентного пункта и относительный рост на 10 %. Это арифметическое сравнение, которое само по себе ничего не говорит о достоверности или числе полезных обращений.

Остановить вариант из-за неисправной формы — отдельное решение о работе сайта. Такой контроль защищает посетителя и компанию. Он не превращает оставшийся набор данных в подтверждение успеха: аналитик объясняет, какую часть наблюдения ещё можно использовать и понадобится ли новое сравнение после исправления.

Как проверить, готов ли вывод к внедрению

Перед постоянным внедрением маркетолог получает описание вариантов, выбранной аудитории, основного результата и условий завершения, чтобы руководитель мог восстановить причину решения по данным эксперимента, а следующая команда не считала удачную цифру универсальным свойством страницы. Результат сохраняют вместе с исходными данными. Изменение предложения или состава трафика даёт повод оценить его применимость заново. При запуске новой версии разработчик сохраняет согласованный способ возврата, а маркетолог продолжает контролировать получение обращений. Отправка формы продолжает создавать обращение, а сотрудники получают сведения, обещанные новым пояснением.

Для разных каналов и устройств полезно видеть результаты согласованных групп, особенно когда новая форма заметно меняется на телефоне. Принципы сегментации аудитории Метрики помогают описать такую проверку. Дополнительный разрез используется для объяснения результата, а превращение случайно удачной группы в новую главную цель требует отдельного основания.

С ШТАБ ИТ можно обсудить аналитику и доработку сайта, начиная с препятствия перед обращением, исходной частоты полезного действия и изменения, которое компания готова проверить. Если данных недостаточно, первым результатом станет подготовка измерения или исследование пути посетителя, поскольку компании нужно выбрать действие по найденному препятствию, прежде чем оплачивать постоянное изменение страницы.

Совпадает ли измеренный результат с полезным обращением компании? Объяснил ли аналитик, какое изменение различимо при собранной выборке и почему сравнение завершено именно сейчас? Понятно ли руководителю, какую пользу он получает после внедрения и как вернётся к исходному варианту при обнаружении проблемы?