Как Google использует прямые фиды данных от издателей для создания обогащенных результатов поиска (Rich Results) в реальном времени

Термины и определения

Data Model (Модель данных)

Структура или формат, предоставляемый поисковой системой издателям, согласно которому должна быть организована обогащающая информация (например, Schema.org). Определяет, как указать таблицы, изображения или конкретные данные.

Enriched Search Result (Обогащенный результат поиска)

Результат поиска, который помимо стандартного заголовка и сниппета содержит дополнительную обогащающую информацию. Современный термин – Rich Result.

Enrichment Engine (Модуль обогащения)

Компонент поисковой системы, отвечающий за получение, обработку и хранение обогащающей информации от зарегистрированных издателей.

Enrichment Information (Обогащающая информация)

Дополнительные структурированные данные, предоставляемые издателем для улучшения сниппета. Примеры: спортивные результаты, расписания, статус рейсов, цены, наличие товара.

Live Enrichment Information (Живая обогащающая информация)

Обогащающая информация, которая обновляется в реальном времени или с очень высокой частотой, в том числе непосредственно перед показом результата пользователю (refreshed enrichment information).

Query Matching Engine (Модуль сопоставления запросов)

Компонент, который определяет, релевантен ли запрос сохраненной Enrichment Information. Может работать параллельно с основным поисковым движком.

Registered Publisher (Зарегистрированный издатель)

Издатель (владелец сайта), который зарегистрирован в поисковой системе для предоставления обогащающей информации. Регистрация может происходить через метаданные, фиды, микроразметку или проактивно со стороны поисковой системы.

Resource Locator (Указатель ресурса)

Идентификатор (например, URL фида или API), предоставленный издателем, который поисковая система использует для получения обогащающей информации.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обогащения результатов поиска.

1. Система идентифицирует зарегистрированных издателей.
2. Для каждого из них система получает обогащающую информацию и ассоциирует ее с соответствующими ресурсами (страницами) издателя в индексе.
3. Система получает запрос от пользователя.
4. Используя индекс, система идентифицирует набор релевантных ресурсов.
5. Система определяет, что первый релевантный ресурс от зарегистрированного издателя имеет связанную обогащающую информацию в индексе.
6. Система предоставляет страницу результатов поиска, включающую обогащенный результат поиска для этого ресурса.
7. Система предоставляет обновленную (refreshed) обогащающую информацию для отображения, причем эта информация характеризуется как живая обогащающая информация (live enrichment information).

Claim 7 (Зависимый): Определяет частоту обновления. Это ключевое утверждение для обеспечения свежести.

1. Система периодически переиндексирует ресурсы всех издателей с первой частотой (стандартный краулинг).
2. Система периодически повторно получает обогащающую информацию от зарегистрированных издателей со второй частотой, которая *выше* первой.

Claim 6 (Зависимый): Уточняет источник данных.

Получение обогащающей информации происходит из местоположения (например, URL фида), отличного от местоположения самого ресурса (URL страницы).

Claim 2 и 3 (Зависимые): Описывают альтернативный вариант обработки запроса (Параллельный поиск).

Система идентифицирует релевантную обогащающую информацию (responsive enrichment information) параллельно (Claim 3) с идентификацией релевантных ресурсов, а затем сопоставляет их (Claim 2).

Claim 4 (Зависимый): Описывает способ регистрации.

Регистрация может происходить путем индексации ресурса, который содержит запрос на регистрацию (registration information).

Где и как применяется

Изобретение затрагивает несколько этапов работы поисковой системы, создавая параллельную инфраструктуру для обработки данных.

CRAWLING – Сканирование и Сбор данных
На этом этапе работает Enrichment Engine. Он не сканирует веб-страницы стандартным образом, а получает структурированные данные из указанных издателями источников (Resource Locators – фиды, API). Этот сбор данных происходит значительно чаще, чем работа основного краулера (Googlebot), согласно Claim 7.

INDEXING – Индексирование и извлечение признаков
Полученная Enrichment Information обрабатывается, структурируется согласно Data Model и сохраняется в специализированной базе данных (Enrichment Information Database). Происходит ассоциация этих данных с соответствующими URL в основном индексе. Также Indexing Engine может обнаруживать запросы на регистрацию.

RANKING – Ранжирование
На этом этапе определяются ресурсы, релевантные запросу. В параллельной реализации (Claim 3) Query Matching Engine одновременно ищет релевантную Enrichment Information.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Основное применение патента происходит на этапе формирования SERP. Система сопоставляет топовые результаты из этапа RANKING со связанной Enrichment Information. Если данные есть, стандартный сниппет заменяется или дополняется Enriched Search Result. На этом этапе может происходить финальное обновление данных (refresh) для обеспечения Live Enrichment Information.

Входные данные:

• Регистрационная информация издателя (домен, указатели ресурсов для данных).
• Enrichment Information (структурированные данные из фидов/API/микроразметки).
• Запрос пользователя.
• Стандартные результаты поиска из индекса.

Выходные данные:

• Страница результатов поиска (SERP) с одним или несколькими Enriched Search Results (Rich Results).

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент с быстро меняющимися атрибутами: товары (цена, наличие), мероприятия (дата, время, билеты), авиарейсы (статус), спортивные страницы (текущий счет, расписание).
• Специфические запросы: Транзакционные и информационные запросы, где свежесть данных критична (например, "счет матча X", "статус рейса Y", "купить товар Z").
• Конкретные ниши или тематики: E-commerce, Travel, Спорт, Финансы, Медиа.

Когда применяется

Алгоритм применяется при выполнении следующих условий:

• Издатель зарегистрирован: Источник контента идентифицирован как Registered Publisher (например, использует валидную микроразметку или фид).
• Наличие данных: Для данного издателя получена и сохранена Enrichment Information.
• Релевантность ресурса: Ресурс издателя признан релевантным запросу пользователя.
• Соответствие данных ресурсу: Сохраненная Enrichment Information ассоциирована именно с этим релевантным ресурсом.

Пошаговый алгоритм

Процесс А: Регистрация и сбор данных (Постоянный/Фоновый процесс)

1. Идентификация издателей: Система идентифицирует издателей (например, обнаруживая микроразметку или через регистрацию в Merchant Center).
2. Сохранение регистрации: Информация об издателе и указатели ресурсов (URL фидов или сами страницы с разметкой) сохраняются.
3. Первичное получение данных: Enrichment Engine получает обогащающую информацию из указанных источников.
4. Обработка и ассоциация: Данные интерпретируются согласно Data Model (Schema.org), сохраняются и ассоциируются с конкретными URL.
5. Периодическое обновление: Система повторно получает данные со второй частотой (высокой), которая значительно выше частоты стандартного сканирования (первой частоты).

Процесс Б: Обработка запроса (Реальное время)

Патент описывает два варианта реализации.

Вариант 1 (Последовательный - FIG. 4):

1. Получение запроса.
2. Идентификация релевантных ресурсов: Стандартный поиск по индексу.
3. Проверка ассоциаций: Система проверяет, имеют ли найденные релевантные ресурсы связанную обогащающую информацию.
4. Обновление данных (Опционально): Система может выполнить обновление (refresh) обогащающей информации для обеспечения «живых» данных.
5. Формирование SERP: Предоставление результатов поиска. Для ресурсов, имеющих связанные данные, отображается Enriched Search Result.

Вариант 2 (Параллельный - FIG. 3):

1. Получение запроса.
2. Параллельный поиск: Одновременно выполняются два действия:
   • Идентификация релевантных ресурсов (стандартный поиск).
   • Идентификация релевантной обогащающей информации (поиск по базе данных обогащения с помощью Query Matching Engine).
3. Сопоставление: Система определяет, какие из найденных ресурсов соответствуют найденной обогащающей информации.
4. Обновление данных (Опционально): Выполняется обновление (refresh) данных.
5. Формирование SERP: Предоставление обогащенных результатов для совпавших пар.

Какие данные и как использует

Данные на входе

Патент фокусируется на инфраструктуре передачи данных, а не на факторах ранжирования. Используются следующие типы данных:

• Технические факторы: Resource Locator (URL фида или конечная точка API). Используется для доступа к данным.
• Структурные факторы (Content/Data): Enrichment Information. Это данные, предоставленные издателем в соответствии с Data Model (Schema.org). Это могут быть цены, даты, время, статусы, численные показатели, ссылки на билеты или обзоры.
• Системные данные: Регистрационная информация издателя, включая предпочтения по отображению и частоту обновления данных.

Какие метрики используются и как они считаются

Ключевые метрики связаны с частотой и актуальностью:

• First Frequency (Первая частота): Частота стандартного сканирования и переиндексации ресурсов.
• Second Frequency (Вторая частота): Частота повторного получения обогащающей информации. Ключевое условие патента (Claim 7): Вторая частота > Первая частота.
• Freshness (Свежесть): Data Model может включать указание периода времени, в течение которого информация остается свежей.
• Live Data Metric: Система стремится предоставить Live Enrichment Information, что подразумевает минимальную задержку между генерацией данных у издателя и их отображением в SERP, вплоть до обновления непосредственно перед показом.

1. Приоритет свежести и структуры над стандартным индексом: Google инфраструктурно решает проблему устаревания быстро меняющихся данных. Система отдает приоритет данным, полученным через специализированные каналы (фиды, API, микроразметка), над данными, полученными при стандартном сканировании HTML.
2. Отдельный и быстрый канал для данных: Существует отдельный от Googlebot механизм (Enrichment Engine) для сбора структурированных данных. Он работает быстрее и чаще (Claim 7).
3. Необходимость активного участия издателей: Для получения обогащенных результатов издатели должны стать Registered Publishers и активно предоставлять данные в требуемом формате (Data Model, например, Schema.org).
4. Инфраструктура для Rich Results: Патент описывает базовую архитектуру, которая позволяет масштабировать отображение Rich Results для различных типов контента и ниш, от товаров до спортивных событий.
5. «Живые» данные в поиске: Подтверждается стремление Google интегрировать данные реального времени (Live Enrichment Information) в SERP, минуя необходимость полной переиндексации страницы.
6. Параллельная обработка для скорости: Система может искать стандартные результаты и обогащенные данные параллельно (Claim 3), что ускоряет формирование SERP.

Best practices (это мы делаем)

• Комплексное внедрение структурированных данных (Schema.org): Используйте микроразметку для разметки всех релевантных сущностей. Это самый распространенный способ предоставить Enrichment Information в соответствии с Data Model Google.
• Использование специализированных фидов: Для E-commerce критически важно использовать Google Merchant Center. Эти системы являются реализацией описанного механизма: вы становитесь Registered Publisher и предоставляете фид (Resource Locator) с данными о товарах (Enrichment Information).
• Обеспечение актуальности данных (Фиды и API): Так как система обновляет эти данные чаще (Second Frequency), необходимо настроить автоматическое и частое обновление фидов или использовать API (например, Content API для Merchant Center, Indexing API для контента) для передачи данных в реальном времени. Это соответствует концепции Live Enrichment Information.
• Валидация и Мониторинг: Регулярно проверяйте корректность внедрения структурированных данных с помощью валидаторов и отслеживайте статус Rich Results в Google Search Console, чтобы убедиться, что Enrichment Engine корректно получает ваши данные.

Worst practices (это делать не надо)

• Игнорирование структурированных данных: Полагаться только на то, что Google извлечет информацию из HTML-текста. Это лишает сайт возможности получить Enriched Search Result.
• Предоставление устаревших или неточных данных: Передача неверных цен, дат или статусов наличия в фидах или микроразметке. Это противоречит цели патента (обеспечение свежести) и может привести к санкциям или отключению Rich Results.
• Нарушение Data Model (Ошибки в разметке): Внедрение микроразметки с ошибками. Enrichment Engine не сможет обработать такие данные.
• Медленное обновление фидов: Обновление товарного фида раз в неделю, когда наличие меняется ежечасно. Это нивелирует преимущество высокой частоты обновления, описанной в патенте.

Стратегическое значение

Патент подтверждает стратегический вектор развития поиска в сторону структурированных данных и ответов в реальном времени. SEO-стратегия должна включать управление данными как активом. Важно не просто создавать контент, но и обеспечивать его машиночитаемость и своевременную доставку в поисковую систему через соответствующие каналы (фиды, API, разметка). Это смещает фокус с оптимизации страниц на оптимизацию данных и инфраструктуры их передачи.

Практические примеры

Сценарий 1: Интернет-магазин (E-commerce) и актуальность цен

1. Действие: Магазин регистрируется в Google Merchant Center (становится Registered Publisher) и загружает товарный фид (предоставляет Resource Locator). Фид содержит цены и наличие (Enrichment Information). Настроен ежечасный автоматический экспорт фида из CMS.
2. Механизм: Google (Enrichment Engine) регулярно забирает фид (Second Frequency). Данные ассоциируются с URL карточек товаров.
3. Результат: При поиске товара в SERP отображается Enriched Search Result (Rich Result), показывающий актуальную цену и статус наличия, даже если основная страница товара не переиндексировалась несколько дней.

Сценарий 2: Сайт с мероприятиями (Events) и быстрое обновление

1. Действие: Сайт внедряет микроразметку Schema.org/Event. При изменении статуса мероприятия (например, sold out) сайт использует Indexing API для уведомления Google.
2. Механизм: API позволяет достичь максимальной частоты обновления enrichment information (близкой к реальному времени). Enrichment Engine быстро обновляет данные.
3. Результат: При релевантном запросе в SERP отображается блок с мероприятиями с актуальным статусом (Live Enrichment Information), что повышает видимость сайта и улучшает пользовательский опыт.