Проверка гипотез в маркетинге: как тестировать идеи быстро и недорого

Рост после правки был случайным?

Как выяснить, что именно мешает получить подходящую заявку: спросить клиента, проверить форму или сравнить две версии? У каждого способа свой ответ. Проверка гипотезы — способ выяснить, связано ли ожидаемое изменение показателя с вашим действием. Здесь разберём, как испытать правку на странице услуги, где маркетингу нужны обращения, которые отдел продаж сможет взять в работу.

Вывод зависит от сравнения. Если вчера посетителей приводил поиск, а сегодня запустилась рассылка, число заявок может вырасти из-за новой аудитории, даже если форма осталась прежней и отдел продаж принимает обращения по тому же правилу. Сначала назовите вопрос, на который хотите ответить, и запишите, какой результат изменит решение. Прежде чем делить аудиторию, полезно увидеть, сохраняется ли ожидаемый путь от перехода до отправки формы. Дороже обходится тест, в котором измеряют не тот результат и после завершения всё равно не знают, что оставить на странице.

Из наблюдения получается проверяемое предположение

Источник идеи должен быть виден. Если люди открывают форму, но редко отправляют её, причиной может быть обязательный вопрос о бюджете, ошибка отправки или неподходящая аудитория, которую привели на страницу с обещанием другой услуги или условий. Каждая из причин требует отдельной проверки. Для начала подойдёт разбор конверсии сайта, если команде пока непонятно, на каком шаге люди уходят.

Генерация гипотез начинается с наблюдений. Посмотрите записи работы формы и вопросы, которые задают в продажах. Если клиенты говорят, что не могут определить бюджет до разговора, сформулируйте проверяемую правку: сделать поле необязательным и сравнить долю принятых отделом продаж заявок. При этом команда заранее определяет, что значит «принята»: сотрудник получил контакты и увидел запрос по услуге, которую компания действительно оказывает. Для оценки одинаково обрабатывают заявки из обеих групп. Так увеличение числа пустых форм не станет аргументом за сохранение правки.

У предположения должна быть причина. Когда её нельзя объяснить даже после просмотра обращений, сначала соберите сведения об участке, где люди прерывают действие.

Образец карточки гипотезы

Наблюдение: [что происходит перед отправкой]. Изменение: [одно поле формы]. Ожидаемый результат: [доля обращений, которые подходят отделу продаж]. Ограничение: [какие заявки и в какой срок засчитываются]. Решение: [порог, с которого имеет смысл оставить правку].

Как проверить идею до полноценного эксперимента

Пробу выбирают по вопросу. Если неизвестно, как человек понимает слово «бюджет», полезнее показать форму и попросить объяснить, что он готов ввести, когда пока не представляет стоимость и не знает, какие исходные данные помогут продавцу её оценить. Если страница просто теряет заявку после нажатия, воспроизведите ошибку и устраните её: ждать результата маркетингового эксперимента для восстановления отправки бессмысленно. Такие действия дают основания для правки до покупки трафика.

Наблюдение за несколькими людьми помогает заметить, где им сложно. Оно не показывает, на сколько изменится число подходящих заявок после запуска, даже если люди одинаково понимают вопрос. Для оценки влияния нужна сопоставимая группа посетителей, которой показывают действующий вариант. Переходить к такому испытанию стоит, когда команда знает, какой показатель сдвинуть и насколько заметный результат окупит дальнейшую работу.

При малом потоке можно начать с проверки понимания или затрат команды. Принятое решение тогда опирается на эти наблюдения, а влияние на долю подходящих заявок остаётся открытым вопросом.

Разговор полезен там, где важен смысл вопроса. Если человек отказывается оставлять данные, уточните, какой результат обещает ему страница и на каком экране он увидел лишнее требование. Команда получит несколько наблюдений для новой гипотезы. Сравнение форм лучше назначать после такой пробы, когда причина понятна и осталось измерить, насколько часто она мешает покупателям.

Когда для ответа нужны две группы

Сравнение нужно для оценки влияния. Команда уже знает, что обязательное поле мешает части людей, но ещё не знает, сократит ли его удаление число подходящих заявок или поможет собрать их больше. Оставьте рядом действующую форму, потому что при показе всех изменений одному потоку объяснить результат новой версией не получится: на той же неделе могла смениться аудитория или отдел продаж начал отвечать быстрее.

В условиях Вариокуба долю аудитории можно задать от 1 до 100 %. Это общая доля для всех выборок, а не процент на каждый вариант. Поле «Страницы применения» ограничивает область испытания. Если проверяете одну форму, убедитесь, что эксперимент не изменил форму на другом адресе.

Перед стартом назовите, какой материал получит владелец страницы от каждого способа. Из просмотра формы ему нужны места непонимания. Из проверки ошибок — воспроизведение и подтверждение исправления. Из сравнения версий — разница выбранного показателя при одинаковом учёте. Технический порядок деления аудитории вынесен в разбор A/B-тестирования; здесь важно обосновать, для какого решения он вообще понадобился.

Порог эффекта задают до запуска

Основной показатель выбирайте один. В настройках Вариокуба основную метрику используют для решения об успехе, а дополнительные дают сведения для разбора. Для формы можно выбрать долю посетителей, от которых отдел продаж получил подходящее обращение, если его можно связать с назначенным вариантом и учесть повторные сообщения об одной покупке только один раз. Уточните, когда отдел успевает принять заявку, иначе последняя часть выборки получит меньше времени на обработку. Отдельно учтите обращения, которые ещё ждут ответа.

Цена теста зависит от размера изменения. «Калькулятор выборок» в Вариокубе показывает минимальный обнаруживаемый эффект, или MDE. В отчёте о результатах MDE выражен в процентах от значения контрольного варианта. Чем меньше изменение, которое нужно заметить, тем больше данных потребуется при прочих равных. Если текущий поток позволяет заметить лишь крупный сдвиг, заранее решите, годится ли такой опыт для решения о расходах.

Минимальный полезный эффект выбирает компания. Если доработка формы требует времени отдела и повышает объём обработки, согласуйте, какой прирост подходящих заявок компенсирует эти затраты. Для другой стороны сравнения пригодится расчёт стоимости заявки, в котором события и расходы относятся к одному периоду.

Объём теста оценивают заранее. Если при текущем потоке за доступный срок можно заметить только двукратный рост, а бизнесу нужен ответ о небольшом улучшении, постановка эксперимента отнимет время и оставит вопрос открытым. Здесь дешевле проверить правку наблюдением либо выбрать участок с большим потоком. Запишите границу вывода. Результат такого наблюдения может помочь выбрать формулировку, а для сравнения долей потребуются другие данные.

Почему большой показатель бывает слабым доводом

Сильное число иногда отвечает на другой вопрос. В расчётном примере действующая форма дала 40 подходящих заявок на 1 000 посетителей, а изменённая — 50 на 1 000. Доли составили 4 % и 5 %. Разница в один процентный пункт описывает полученные данные. Для вывода о правке нужны разброс оценки и способ распределения участников по группам.

После запуска могут вырасти отправки, но не доля подходящих обращений. Тогда правка облегчила действие на сайте, а решение для бизнеса остаётся открытым: продажам придётся обработать больше заявок, чтобы найти то же число покупателей. Откройте несколько спорных записей из каждой версии и разберите причину, по которой их не приняли, прежде чем менять предложение, сроки обработки или число обязательных полей в следующей пробе.

Отдельно отмечайте задержку ответа: если заявка ещё открыта, ей не место среди тех, что продажи уже отклонили.

Сбой и слабый результат требуют разных действий. Когда форма перестала передавать заявки, отметьте время сбоя и отдельно решите, какие данные пригодны; продолжать испытание ради запланированной даты в этот момент не нужно. Если же передача работает и диапазон оценки допускает как пользу, так и ущерб, решите, даст ли дополнительный период сведения нужного качества. До этого полезно проверить сопоставимость расчёта конверсии и одинаковый порядок разбора обращений.

Правила решения до получения данных

Правило выбора согласуют заранее. Впишите основную метрику, срок проверки и ограничения, которые вы отслеживаете отдельно, например рост доли обращений, для которых менеджер не может определить услугу или ответить по оставленному контакту. В отчёте Вариокуба контрольный вариант находится в первой строке. Перед итогом посмотрите размеры групп и проверьте, одинаково ли система записывала нужное событие в обеих версиях.

Если о прекращении уже договорились, зафиксируйте и неудачный результат. По нему коллега поймёт, какой способ сбора данных подвёл или какой эффект оказался слишком мал для дальнейшей работы.

Если команда оставляет форму, запишите отдельно два результата: выросла ли доля посетителей, приславших подходящее обращение, и осталась ли приемлемой доля непригодных заявок среди тех, что отдел уже обработал. Без этой записи будущий отчёт покажет только прирост отправок.

Что остаётся после закрытия проверки

Решение получает владелец страницы. В журнале оставьте наблюдение, выбранный способ проверки и вопрос, который этот способ помог решить. Для испытания формы добавьте даты, версии и итог по принятым обращениям, чтобы в следующем месяце команда смогла отличить вывод о влиянии правки от случая, когда её приняли по результатам разговора или исправили явный сбой. Если отдел переделает страницу дальше, сохраните условия, в которых получен прежний результат. Важна и причина отказа от правки.

Не закрывайте наблюдение словом «подтверждено», если участники только объяснили, почему им трудно заполнять поле. Сохраните их затруднение и назовите нерешённый вопрос: достаточно ли этого изменения для нужной доли заявок. Такой результат годится для нового решения. Следующую проверку стоит запускать, если доступен подходящий поток и команда успеет разобрать обращения в одинаковый срок.