Боты в Метрике: как не принять сомнительный трафик за интерес клиентов

Сначала опишите всплеск посещений

Высокую долю отказов легко принять за нашествие ботов, хотя человек мог быстро найти ответ или уйти из-за непонятного предложения. Разбирать подозрительный рост посещений стоит по нескольким признакам. Рассмотрим сайт услуг: маркетолог сопоставляет отчёты Метрики, реальные обращения и сведения сервера, чтобы выяснить, какая часть роста меняет оценку рекламы, а какая связана с ошибкой сбора или автоматическим обходом страниц.

Быстрый уход имеет разные причины. Одного признака мало.

Если сразу исключить короткие визиты, отчёт станет приятнее, но вопрос о происхождении посещений останется. Часть живых пользователей действительно читает мало страниц. Часть автоматических программ способна выглядеть активной. Поэтому сначала полезнее описать аномалию: когда она появилась, какие источники и страницы затронула, изменились ли обращения. Это лучше, чем подбирать фильтр под желаемый показатель и затем объявлять очищенную статистику достоверной. До изменения отчёта стоит сохранить его исходное состояние, чтобы коллега мог воспроизвести обнаруженный всплеск.

Определение отказа и его смысл для конкретной страницы разобраны в материале об отказах в Метрике. Здесь задача уже: отделить подозрение на автоматическую активность от фактов, которые позволяют изменить работу с данными или доступом к сайту.

Как Метрика разделяет роботов

В документации Метрики роботы описаны как программы обхода сайта, среди которых есть индексирующие и контролирующие его работу, поэтому слово «робот» ещё не сообщает о вреде или попытке обмануть рекламодателя. Поисковый обход нужен сайту.

Роботы с известным User-agent, то есть заявленным идентификатором программы, исключаются из обычной статистики и доступны в отчёте «Роботы». Других роботов система выявляет по поведению и техническим сигналам. Эти группы важно различать. Поисковый обход виден в специальном отчёте отдельно от посещений, которыми маркетолог измеряет рекламную аудиторию.

Система классификации помогает анализу, но окончательное деловое решение всё равно требует контекста. Автоматическое посещение страницы может относиться к контролю доступности, индексации или иной задаче. Человек, которого интересует услуга, также может пользоваться необычным браузером или сетью. Поэтому подозрение связывают с совокупностью признаков и отдельно оценивают последствия: мешают ли запросы работе сайта, меняют ли отчёт и появляются ли нежелательные обращения.

Предпочтительнее сначала пользоваться средствами сравнения Метрики, потому что они позволяют увидеть влияние уже выделенной категории. Собственный фильтр по одному косвенному признаку легче исключит вместе с роботами нужную аудиторию.

Сравнение одного периода в двух представлениях

Сначала сохраните исходные даты и выборку. Затем откройте этот период с роботными данными и без них, сохранив набор страниц и источник, чтобы увидеть влияние способа учёта визитов при одинаковом составе отчёта.

В документации для отчёта названа команда «Сравнить с данными с роботами» в настройке «Данные: без роботов». Также можно создать сегмент без роботов. Это конкретные инструменты для сопоставления. Перед выводом аналитик записывает выбранный режим и настройки периода.

Полезно смотреть не только посещения, но и обращения, глубину, время и распределение входных страниц. Если число визитов резко различается, а подтверждённые запросы клиентов остаются в той же группе, сначала оценивают знаменатель конверсии: при прежнем количестве обращений доля изменится из-за состава посещений, даже когда отдел продаж продолжает получать столько же предметных вопросов. Если различаются и обращения, нужно выяснить, какие события засчитаны. Нажатие на форму, ошибка отправки и принятый запрос могут давать совершенно разные выводы. Поэтому сравнение с роботами дополняют ранее согласованным смыслом целей. Сотрудник, который принимает заявки, поможет отделить реальные запросы от попыток отправки и обращений, не относящихся к услугам компании.

Условный расчёт показывает чувствительность доли: десять обращений на сто визитов дают 10 %, а на двести — 5 %. Если лишние сто посещений оказались автоматическими, число обращений не изменилось, хотя общий процент упал вдвое. Этот пример объясняет арифметику, а не описывает работу конкретного счётчика.

Сохранённый отчёт полезнее скриншота одной итоговой цифры. По нему коллега сможет повторить выбор периода и увидеть, какая именно группа повлияла на результат.

Необычный источник и адрес счётчика

Какие сайты учитывает счётчик? Перед оценкой необычного источника аналитик сопоставляет страницы входа с настройками доменов: тестовая копия или другой сайт способны изменить состав статистики, даже если основная аудитория компании осталась прежней.

Метрика указывает, что к роботным визитам могут относиться посещения сайтов, не перечисленных в полях «Адрес» и «Дополнительный адрес». Поэтому аналитик сверяет, какие домены действительно обслуживает счётчик. Это особенно полезно после появления поддомена, тестовой копии или смены адреса сайта.

Неизвестный домен в данных не следует автоматически признавать новым источником клиентов. Специалист выясняет, установлен ли там тот же код, относится ли ресурс к компании и должен ли участвовать в общем отчёте. Добавлять каждый увиденный адрес в настройки счётчика также неправильно. Сначала устанавливают принадлежность и назначение, затем выбирают, объединять статистику или разделять её. После уточнения назначения счётчик описывает нужный набор сайтов. Изменение записывают вместе с датой: следующему аналитику будет понятно, почему прежний и новый периоды охватывают разные адреса.

Для источника посещений полезно сохранить время появления, адрес входа и доступные метки. Если рост совпал с запуском кампании, это основание сопоставить настройки, но не готовый вывод о качестве площадки. Изменение могло затронуть и код измерения, и способ передачи перехода, и аудиторию.

Одна странная строка в отчёте требует исследования ровно в своём масштабе. Отказываться от всего канала по ней преждевременно, пока непонятно, какие реальные обращения и страницы с ней связаны.

Что искать в серверном журнале

Один визит создаёт много серверных запросов. Журнал позволяет сопоставить их время, адреса и ответы сервера с периодом аномалии, в том числе когда счётчик не выполнился в браузере и не зарегистрировал посещение страницы.

Маркетолог передаёт специалисту период аномалии, затронутые страницы и видимый источник. Администратор смотрит, что сохранилось в журнале: запрошенные адреса, время, ответы сервера и идентификаторы клиентов. Например, NGINX описывает запись запросов с настраиваемым форматом, поэтому наличие конкретного поля нужно подтвердить на используемом сервере. Состав и срок хранения зависят от действующих настроек сервера, их выясняют до обещания восстановить подробную картину за прошлый месяц.

Важен характер последовательности. Повторение запросов к одной странице, высокая частота и необычный набор адресов могут поддержать гипотезу об автоматизации. Однако общий сетевой адрес бывает у нескольких людей, а User-Agent описывает заявленную программу, и полагаться только на него при определении клиента ненадёжно. Поэтому ни один из этих признаков не следует превращать в единственное основание блокировки. Специалист сопоставляет их с нагрузкой и доступностью сайта, а маркетолог — с обращениями и качеством отчёта.

В техническое задание лучше включить вопрос «какую часть всплеска удаётся объяснить серверными данными и что остаётся неизвестным». Так результатом станет разбор с границами уверенности, а не категоричный процент ботов, который получен из одного признака.

Если журналов за нужное время нет, администратор настраивает сбор для следующего эпизода и заранее уточняет, какие адреса, ответы сервера и отметки времени сохранятся, чтобы маркетолог мог сопоставить их с новой аномалией в отчёте. Срок хранения согласуют заранее. Прошлые запросы из отсутствующих записей не восстановить.

Почему отчёт Директа может отличаться

В справке Яндекса прямо указано, что Метрика и Директ используют разные системы определения роботов, поэтому по отметке в аналитике сайта нельзя пересчитать рекламные списания или признать все переходы кампании недействительными. Для рекламы собирают отдельные сведения.

Для обсуждения рекламы нужны параметры кампании, период, источник и конкретное расхождение. Если подозрение касается качества обращений, отдел продаж добавляет их содержание и признаки непригодности. Если проблема в росте посещений без событий, сначала подтверждают работу счётчика и цели. Оба случая могут выглядеть одинаково на общем графике, но потребуют разных действий.

Лучше подготовить ограниченный набор воспроизводимых фактов и передать его ответственному за рекламу, чем остановить все кампании по одному показателю отказов. При этом очевидно нежелательный расход не требуется игнорировать до полного расследования. Владелец бюджета может временно ограничить затронутую часть по установленным полномочиям, сохранив исходные данные для разбора. В отчёте действие и доказанность причины фиксируют отдельно. Такая запись позволяет позже оценить, помогло ли ограничение и что именно изменилось.

Поиск объяснения не заканчивается словом «боты». Компания всё равно решает, какие данные использовать для планирования и какие изменения в рекламе подтверждены собранными сведениями.

Фильтровать данные или ограничивать доступ?

Исключение категории визитов из отчёта меняет способ анализа, а ограничение запросов к серверу меняет доступность сайта, поэтому эти действия требуют разных ответственных и разных испытаний, даже когда исходным поводом стал один всплеск. Фильтр не защищает сервер. Блокировка может помешать клиентам.

Для сравнения показателей предпочтительнее сегмент без роботов, пока задача состоит в оценке статистики. Если запросы создают нагрузку или мешают работе, администратор разбирает защиту отдельно. После ограничений он подтверждает доступность для обычного посетителя и нужных поисковых программ. Маркетолог повторяет свой отчёт, сохранив прежние условия сопоставления.

В настройках счётчика существует режим «фильтровать роботов по поведению». Документация отмечает, что при его включении дополнительная настройка фильтрации недоступна, хотя роботная активность остаётся видна в отчёте «Роботы». Поэтому менять этот режим только ради красивой сводки не стоит. Сначала команда уточняет, какие данные нужны в отчётах и выгрузках, затем фиксирует дату изменения. Сравнение до и после новой настройки иначе смешает изменение трафика с изменением способа учёта.

Для любого ограничивающего правила нужен способ отмены и критерий ошибки. Если после него перестали обращаться реальные клиенты или робот не получает важные страницы, команда должна быстро найти связь с изменением и исправить правило.

Повторите вывод по сохранённому отчёту

Откройте исходный период, восстановите сегмент и режим учёта роботов, затем сопоставьте число обращений и состав входных страниц, чтобы убедиться, что вывод о подозрительном трафике получается из данных повторно и не зависит от случайно выбранного представления. Настройки входят в результат анализа.

Дальше сопоставьте объяснение с известными сведениями о доменах счётчика, рекламе и серверных запросах. В результате можно уверенно назвать установленную часть проблемы и отдельно оставить вопросы, для которых сведений пока нет. Такой отчёт помогает выбрать следующее действие: исправить сбор, уточнить рекламный источник, настроить сегмент или передать эпизод администратору.

В работе с аналитикой сайта ценен именно этот результат. Компания получает данные с понятными ограничениями и использует их при следующем решении о сайте или рекламе.