Как работает поисковая система: от обхода до ранжирования

Поиск начинается задолго до запроса

Поисковая система выбирает из страниц, о которых уже успела узнать и содержание которых смогла обработать. Владельцу сайта полезно разделять этот путь на этапы: тогда отсутствие страницы в выдаче перестаёт быть одной загадочной проблемой, которую предлагают лечить добавлением ключевых слов. Дальше разберём сайт услуг с отдельными страницами направлений и статьями в блоге. Задача маркетолога — понять, где потерялась нужная страница и какое изменение имеет смысл поручить исполнителю. Если смешать эти вопросы, легко заказать расширение текста в тот момент, когда поисковому роботу ещё недоступен исходный материал, и затем ошибочно считать отсутствие перемен недостатком редактора или самой темы.

Сначала робот получает адрес, затем загружает страницу, а поисковая система разбирает её содержание и решает, для каких запросов оно подходит. Только после этого возникает вопрос о месте среди других ответов. Если страница закрыта для робота, переписывание вступления не поможет ему прочитать материал, потому что препятствие возникло раньше оценки текста и останется на том же месте после редакторской работы.

Этап определяет действие. Работа с заголовком полезна там, где поисковая система уже может получить саму страницу.

Откуда робот узнаёт адрес

Новая страница может оказаться незаметной даже на работающем сайте. Если на неё не ведут переходы из знакомых роботу разделов, сам факт создания файла мало говорит о том, когда поисковая система встретит этот адрес. В описании работы поиска Яндекса среди источников адресов названы ссылки на страницах и файл Sitemap. Поэтому маркетологу разумнее спросить, откуда к новому направлению ведёт навигация, чем ограничиться просьбой отправить адрес в сервис для вебмастеров.

Карта сайта удобна как перечень нужных адресов. Внутренняя ссылка решает ещё и задачу посетителя: показывает, как новая услуга связана с существующими предложениями. Я использую и карту, и внутренние переходы, когда они доступны: оба способа помогают роботу узнать адрес, а ссылка в содержании дополнительно помогает посетителю выбрать продолжение. Адрес без содержательного входа на сайте труднее поддерживать и обсуждать с заказчиком. Когда новое направление связано с общей страницей услуг и подходящей статьёй, у маркетолога появляется понятное объяснение роли каждого перехода, а будущая правка навигации опирается на задачу посетителя, который выбирает продолжение.

Найденный адрес ещё не прочитан. Когда робот придёт, ему предстоит получить ответ сервера и содержание страницы.

В рабочем списке новых страниц полезно хранить полный адрес и место внутреннего перехода. Если после переименования раздела старый путь исчезнет, маркетолог увидит, что изменилось для навигации, и сможет вернуть нужную связь. Такой список особенно пригодится блогу: новая статья продолжает существующую тему, а не висит отдельно от услуг, ради которых компания ведёт сайт.

Что происходит при загрузке

Робот обращается к серверу почти так же, как браузер, но владельцу важен полученный ответ. Успешную выдачу страницы обозначает HTTP-код 200. Перенаправление сообщает, что за содержимым нужно идти по другому адресу. Эти состояния описаны в справке Яндекса о загрузке страниц поисковым роботом. Если вместо нужной услуги сервер возвращает ошибку, обсуждать полноту её текста преждевременно.

Красивый экран способен скрывать техническую проблему. Например, оформление может загрузиться, а основное описание остаться недоступным, поэтому при приёмке полезнее просить показать полученное роботом содержимое, чем довольствоваться скриншотом страницы в браузере сотрудника. Такое задание связывает технический ответ с понятным результатом: поисковая система получает ту же услугу и условия, которые читает посетитель сайта.

Адрес тоже часть результата. После перехода на новый путь стоит выяснить, где заканчивается перенаправление и соответствует ли конечная страница обещанию ссылки.

Для сайта услуг приоритетнее сначала вернуть доступность основных направлений, а потом расширять информационный раздел. Причина проста: статья может привести человека к предложению компании только тогда, когда это предложение открывается. Обновление блога при исчезнувших страницах услуг увеличит объём доступного чтения, но оставит разорванным переход к обращению. Поэтому при ограниченном бюджете разумнее сначала восстановить путь к тем страницам, где человек выбирает исполнителя и узнаёт условия работы, а уже затем возвращаться к расширению материалов для первого знакомства с темой.

Индексирование — это обработка содержания

После загрузки поиску предстоит понять страницу. Он разбирает основной текст и сведения, которые помогают представить результат человеку. В справке среди таких элементов указаны title и description. Первый задаёт заголовок документа, второй содержит его описание, и оба стоит заполнять по содержанию конкретной страницы, чтобы разные услуги не представлялись одним и тем же общим обещанием.

Есть и прямые указания о работе с документом. Директива noindex в метатеге robots закрывает страницу от участия в поиске, если робот может загрузить страницу и прочитать запрет, а rel="canonical" сообщает предпочтительный адрес для одинаковых материалов. Яндекс описывает эти элементы на этапе обработки. Маркетологу не требуется самостоятельно менять код, зато полезно включить в задачу исполнителю проверку того, что служебный запрет после разработки снят, а основной адрес ведёт к нужному документу. Доступ к этим настройкам лучше оставить исполнителю, который отвечает за адресацию сайта.

Содержание важнее числа заполненных полей. Если человек ищет условия выезда специалиста, страница с общими словами о качестве останется слабым ответом даже после аккуратного заполнения метатегов.

Поэтому работу над текстом лучше начинать с вопроса клиента. Для страницы направления это могут быть состав услуги, территория работы, исходные данные для оценки и способ обратиться. Название услуги в заголовке помогает опознать ответ, но основную пользу дают объяснения, по которым посетитель понимает, подходит ли компания для его задачи и какой информации не хватает для разговора.

Почему загруженная страница может не участвовать в поиске

Поисковая база не обязана показывать каждый доступный адрес. Среди документов бывают одинаковые версии, служебные страницы и материалы, которые почти не помогают отвечать на запросы. Для владельца сайта здесь полезно различать отсутствие загрузки и решение об участии в поиске: причины относятся к разным этапам, поэтому повторная отправка страницы способна помочь с загрузкой, но сама по себе не устраняет основание для исключения из поиска.

Дубли особенно заметны по задаче читателя. Если две страницы обещают одну услугу и отличаются только переставленными словами, маркетологу трудно объяснить, какую из них продвигать. У самостоятельной страницы должен быть собственный вопрос читателя, который требует отдельного ответа; близких формулировок ключа для нового адреса недостаточно. Тогда каждая страница получает свою роль, а посетителю проще выбрать продолжение.

В Яндекс Вебмастере раздел «Индексирование → Страницы в поиске» помогает увидеть участвующие и исключённые страницы. Там доступна причина исключения. Это полезнее, чем делать вывод по одному запросу в личном браузере: отсутствие результата на видимом месте ещё не объясняет, что произошло с адресом.

Менять текст до выяснения причины — лишняя работа. Если исключён дубль, сначала решают вопрос адресов и самостоятельности материалов.

Как выбирается порядок ответов

Ранжирование — распределение подходящих результатов для запроса. Одна и та же страница может быть убедительным ответом на узкий вопрос и слабым — на другой, где человеку требуется сравнить несколько предложений. Поиск учитывает не только совпадение слов, поэтому число повторов названия услуги плохо объясняет место страницы: маркетологу нужно смотреть на задачу пользователя, содержание ответа и конкурирующие способы её решить.

Яндекс сообщает, что порядок результатов формируют обученные алгоритмы, а среди анализируемых сведений называет запрос, содержание страниц, язык и местоположение. Асессоры оценивают качество для обучения и оценки изменений, а не расставляют сайты вручную по обращению владельца. Обещание договориться о постоянном месте с человеком на стороне поисковой системы поэтому стоит исключить из обсуждения подрядчика.

Место не закрепляется навсегда. Другие страницы меняются, вопросы пользователей тоже, и вчерашнее преимущество может перестать отвечать сегодняшнему выбору клиента.

Для сайта услуг я бы начал с разницы между вопросом посетителя и опубликованным ответом. Если в выдаче по выбранной теме преобладают объяснения, одной короткой коммерческой карточке может не хватать содержания. Если человек ищет исполнителя, длинная статья без условий работы затруднит выбор компании. Направление правки определяется этим различием, а не желанием увеличить текст до произвольного объёма.

Какие наблюдения собрать маркетологу

Полезный отчёт показывает путь конкретного адреса. В разделе страниц в поиске Яндекс Вебмастер позволяет узнать дату последнего посещения роботом. Там же виден заголовок страницы. Эти сведения помогают сопоставить обновление с тем, что уже успела обработать поисковая система, и не требовать изменения выдачи сразу после правки, которую робот ещё не видел.

Наблюдение стоит привязать к вопросу. Если цель — выяснить судьбу новой услуги, в заметке нужны её адрес и состояние в поиске, а не суммарная посещаемость всего блога. Когда оценивают отклик на новую статью, полезнее смотреть запросы и переходы к ней, поскольку общий график способен расти за счёт совершенно другого раздела и скрыть отсутствие результата у выбранной темы.

Один снимок слишком узок. Сохранённая дата и одинаковый способ наблюдения дают возможность сравнить состояние после следующего обхода.

Заготовка карточки наблюдения

• Адрес и задача страницы: какое направление или вопрос она раскрывает.
• Место ссылки: откуда посетитель и робот узнают о странице.
• Результат загрузки: доступна ли страница и её основной текст.
• Последнее посещение роботом: дата из Вебмастера.
• Участие в поиске: состояние и указанная причина исключения.
• Предлагаемая правка: какое препятствие она устраняет.

Карточку передают вместе с примерами страниц. Исполнителю легче оценить конкретное препятствие, чем неопределённую просьбу улучшить видимость сайта целиком.

Поручение начинается с места потери

Для следующего разговора с подрядчиком достаточно выбрать важный адрес. Опишите, что он сообщает клиенту и на каком этапе возникло расхождение с ожиданием: страницу не находят, не загружают, исключают или показывают по другим вопросам. Такая постановка связывает работу исполнителя с причиной, которую можно повторно изучить после исправления, и не даёт свести любую проблему к покупке нового текста.

Образец задания: «Страница [адрес] описывает [услугу]. Сейчас мы видим [состояние и дата наблюдения]. Нужно выяснить причину, предложить исправление и показать, как изменились доступность страницы и её состояние после обработки поисковой системой». В квадратные скобки подставляют свои сведения. Если причина ещё неизвестна, первый этап работы лучше заказать как диагностику с перечнем найденных препятствий. Формулировка о конкретном адресе позволяет договориться о результате первой работы ещё до обсуждения большого плана SEO, потому что исполнителю предстоит объяснить состояние страницы и предложить действие, вытекающее из найденной причины.

Сначала причина, затем правка. Для SEO это экономит бюджет так же, как точное описание неисправности при ремонте.

Когда потребуется связать техническое исправление с содержанием и дальнейшей аналитикой, задачу можно обсудить со ШТАБ ИТ. Полезный результат такого обсуждения — список страниц и объяснение роли каждой: что поисковая система получает, на какой вопрос отвечает материал и что посетитель делает после чтения. По этим сведениям удобнее выбирать следующую работу, чем по обещанию определённой позиции без разбора самого сайта.