Как узнать, какие продажи добавила реклама

Продажа после рекламы ещё не объясняет её вклад

Часть покупателей пришла бы и без очередного объявления. Инкрементальность в маркетинге — дополнительный результат, вызванный рекламой по сравнению с тем, что произошло бы без исследуемого воздействия. Для её оценки нужен обоснованный вариант сравнения: обычный отчёт о переходах показывает связь с рекламой, но не восстанавливает отсутствующий сценарий покупки.

Разберём решение о повторном рекламном бюджете для компании, которая умеет считать оплаченные покупки. Сосредоточимся на контрольной группе, расчёте прироста и границах вывода, не превращая статью в инструкцию по настройке конкретного счётчика.

Представим постоянного покупателя, которому напомнили о знакомом магазине. Он увидел объявление, перешёл и сделал привычную закупку. Система вправе связать заказ с этим контактом по выбранному правилу. Но история не сообщает, отказался бы человек от покупки без напоминания. Возможно, реклама помогла ему вернуться раньше. Возможно, он собирался заказать сегодня в любом случае. Различить эти предположения по одному зарегистрированному переходу невозможно, потому что в истории наблюдается только совершившийся путь, а решение того же человека в условиях без рекламы нам недоступно.

Атрибуция отвечает на другой вопрос. Разбор моделей атрибуции объясняет распределение зарегистрированного результата между контактами, тогда как исследование инкрементальности оценивает дополнительный эффект выбранного воздействия.

Контроль создаёт сценарий без исследуемого воздействия

Покупатели и непокупатели — плохая готовая пара для сравнения. Они различаются самим результатом выбора, поэтому отделять их после кампании и называть разницу эффектом рекламы было бы подменой исследовательской задачи.

Группы формируют до оценки результата. Для эксперимента важно, чтобы потенциальная склонность к покупке была сопоставимой, а правило распределения не отдавало рекламе самых заинтересованных людей. Исследуемое воздействие задают заранее. Контрольная группа не получает именно его, но может продолжать встречаться с компанией через другие обычные каналы. Тогда вывод относится к добавлению выбранной рекламы поверх существующего продвижения. Утверждение о пользе всего маркетинга из такого сравнения не следует.

В описании Target Lift Яндекса указаны тестовая группа 90% и контрольная 10%. Для последней используют виртуальный аукцион. В объяснении механизма исследования Яндекс описывает пользователей, которым объявление могло бы показаться: оно выигрывает аукцион, но фактического показа не происходит. За такие виртуальные показы рекламодатель не платит. Благодаря этому контроль не состоит просто из всех людей, которых реклама случайно не достигла.

Я выберу проект сравнения до медиаплана, поскольку красивые формулы не исправят неопределённость исходного наблюдения, если команда не может назвать, как исключит тестируемое воздействие в контроле и сохранит сопоставимость групп.

Другие рекламные контакты нужно описать. Когда одна группа дополнительно получает персональную скидку или особую рассылку, эксперимент начинает оценивать сочетание действий, и отделить вклад одного объявления из найденной разницы уже нельзя.

Прирост считают относительно сопоставимого основания

Абсолютную разницу продаж оценивают с учётом размера групп. Если в одной вдвое больше людей, она способна дать больше покупок без дополнительного рекламного эффекта, поэтому результаты сначала приводят к сопоставимой базе и уже после этого сравнивают абсолютное количество продаж.

Ниже — условный расчёт, а не отчёт клиента и не параметры Target Lift. Для простоты группы равны: по десять тысяч человек, отобранных по заранее заданному правилу. Результат — число покупателей с оплаченным заказом за один период. Каждого покупателя учитывают один раз. Отмена оплаты исключается по одинаковому правилу. Такая единица не смешивает людей, повторные заказы и зарегистрированные события сайта.

Оценка дополнительного числа покупателей — сорок. Разница долей составляет 0,4 процентного пункта, а относительный прирост — 40% к уровню контроля. Это три представления одного расчёта. Они не взаимозаменяемы в подписи отчёта. Указание только «рост 40%» скрывает исходную долю и объём наблюдения, хотя от них зависит практическое значение результата и возможность отличить эффект от случайного колебания.

Неравные группы потребуют пересчёта. Если в контроле пять тысяч человек и пятьдесят покупателей, доля остаётся 1%, а ожидаемое число покупателей для десяти тысяч человек без воздействия — сто. Сравнивать сто сорок сразу с пятьюдесятью было бы ошибкой. Однако простое выравнивание размера не устраняет различие состава: расчёт ещё требует обоснованного формирования групп и оценки неопределённости.

Стоимость дополнительного покупателя отличается от обычной CPA

Бюджет делят на разные результаты. В документации Conversion Lift цена дополнительной конверсии определяется как рекламный расход, разделённый на число дополнительных конверсий. Такая единица помогает обсуждать экономику причинного прироста, сохраняя отличие от стоимости действий, приписанных рекламе обычным отчётом.

Продолжим условный пример с сорока дополнительными покупателями. Пусть на исследуемую рекламу потрачено шестьдесят тысяч рублей. Тогда цена дополнительного покупателя равна полутора тысячам. Если стандартный отчёт отнёс к кампании восемьдесят покупателей, цена по этому отчёту составит семьсот пятьдесят рублей. Разница не означает автоматически ошибку учёта. Атрибуция распределяет зарегистрированные покупки, а исследование оценивает причинный прирост, поэтому найденные сорок дополнительных покупателей нельзя заменить восемьюдесятью атрибутированными ради более привлекательной цены.

Цену дополнительного покупателя я сопоставлю с его вкладом в прибыль перед изменением бюджета. Выручка заказа ещё не покрывает себестоимость и расходы исполнения, а обещание будущих повторных покупок требует подтверждения, иначе дорогую первую продажу оправдают доходом, которого компания пока не наблюдала. Основание расчёта поможет уточнить разбор маржинальности. При разном составе покупателей полезно дополнительно изучить возвращённые заказы и стоимость обслуживания.

Нулевой прирост не даёт нулевую цену. При отсутствии положительного дополнительного результата деление нельзя показывать как выгодную стоимость привлечения, а при отрицательной оценке отрицательное значение цены не становится коммерчески полезной скидкой.

Есть и цена знания. Исключение части аудитории из рекламы и проведение исследования имеют деловую стоимость, поэтому размер и метод теста выбирают относительно решения, которое компания действительно готова принять по его итогам. Небольшому бюджету может быть полезнее сначала исправить качество учёта, чем заказывать сложное измерение, чувствительности которого не хватит для ожидаемого эффекта.

Измерение планируют вместе с рекламой

Восстановить полноценный контроль после кампании трудно. Компания уже изменила воздействие, а правило сравнения ещё не определено, поэтому поиск похожей аудитории задним числом потребует дополнительных предположений и более осторожного вывода.

Доступность инструмента выясняют заранее. Например, Target Lift подключают до первых показов: для сайта в условиях указаны кампания от семи дней, счётчик Метрики и от одной до пяти целей. После старта подключить исследование нельзя. Оно предусмотрено для перечисленных в документации медийных форматов и недоступно при ручном управлении ставками. Это технические условия участия, но они не обещают достаточного объёма данных за минимально разрешённый срок. Яндекс отдельно объясняет зависимость точности от накопленных данных и рекомендует не останавливать кампанию раньше двух–четырёх недель.

Смысл цели сохраняют постоянным. Если в начале учитывалась оплата, а затем её заменили нажатием кнопки, единый результат описывает уже разные действия. Аналогично меняет интерпретацию новая политика отмен и возвратов. Для собственного исследования компания заранее записывает источник покупок, единицу учёта и дату, по которой результат попадает в период. Практические требования к исходным сведениям разбирает материал о качестве данных CRM и Метрики.

Готовый платформенный отчёт и собственный эксперимент имеют разные возможности. В первом случае изучают метод сервиса и его ограничения, во втором — отдельно проектируют распределение и сбор результата, потому что обычная выгрузка двух сегментов не превращается в эксперимент только после добавления нового названия столбца.

Неопределённый результат ограничивает решение

Сорок дополнительных покупателей в таблице — точечная оценка. Без оценки разброса нельзя утверждать, что такая разница устойчива и воспроизведётся при следующем запуске, особенно когда покупок мало или они сильно различаются по стоимости.

Для вывода нужен диапазон неопределённости. Его метод расчёта согласуют с аналитиком вместе с устройством исследования. Если диапазон допускает и полезный рост, и отсутствие эффекта, данных пока недостаточно для уверенного решения. Это не доказательство бесполезности рекламы. Важно назвать, насколько крупное изменение исследование вообще способно различить. Общие ошибки ранней остановки и смешивания условий описаны в разборе A/B-тестирования.

Масштабирование меняет условия. Когда бюджет увеличивается, кампания может получать другую аудиторию и частоту контакта, поэтому перенос найденного эффекта на любой следующий объём требует отдельного основания. Вывод относится к исследованным людям, предложению и периоду. Даже сильный результат не обещает ту же отдачу после изменения цены или ассортимента. Для следующего решения сохраняют сведения об этих условиях вместе с расчётом, чтобы команда не использовала удачную цифру как универсальную характеристику канала.

Покупки приходят с задержкой. Период наблюдения выбирают с учётом цикла решения, а результаты раннего среза отделяют от завершённого измерения, иначе реклама сложного продукта получит заниженную оценку среди покупателей, которым ещё не дали закончить выбор. Одинаковый срок для разных задач не обязательно обеспечивает одинаковую полноту.

Следует проверить и переток между группами. Если участники контроля получают исследуемую рекламу через другие устройства или из пересылки, фактическое различие воздействия становится слабее, а интерпретация требует учёта того, как метод исследования обрабатывает такие контакты.

Какое задание передать аналитику

Рабочая постановка начинается с решения. Формулировка «узнать настоящую эффективность» слишком широка: из неё непонятно, какую рекламу компания готова изменить и какой дополнительный результат считает достаточным для продолжения.

Заполните короткую карточку исследования. В первой строке назовите проверяемое воздействие: конкретную кампанию или добавление определённого канала к текущему продвижению. Затем укажите исследуемых покупателей и способ формирования контроля. Отдельно определите результат, источник данных и период наблюдения. Включите минимальный экономически полезный эффект. Последней строкой запишите действия при положительном, неопределённом и отрицательном выводе, чтобы команда не выбирала правило решения уже после знакомства с цифрами.

Например: «Оценить дополнительные первые оплаты от новой кампании среди определённой аудитории при неизменных остальных условиях». Аналитик дополняет формулировку методом, доступным объёмом данных и ограничениями. Маркетолог описывает медиаплан и возможные пересечения. Продажи отвечают за единое определение оплаты и отмены. Руководитель подтверждает, какое изменение бюджета действительно следует из каждого варианта результата. Так обсуждение связывает статистический вывод с управляемым действием вместо спора о том, какая система показала больше конверсий.

К готовому отчёту попросите приложить описание групп и ход исследования. В нём полезно видеть отклонения от плана, полноту результата и диапазон неопределённости, поскольку одна итоговая колонка не покажет, был ли контроль сопоставимым и сохранилось ли запланированное различие рекламного воздействия.

Если компания пока не может организовать подходящее сравнение, отчёт о рекламных продажах остаётся полезным для текущей работы. Его вывод формулируют в границах наблюдаемой связи, а задачу причинного измерения возвращают в план после подготовки данных и подходящего метода.