Как Google определяет, когда показывать обогащенный результат для сущности, и использует консенсус веба для исправления данных

Термины и определения

Books Corpus (Корпус книг)

Специализированная база данных или индекс, содержащий цифровые ресурсы, относящиеся к книгам и другим публикациям.

Clustering Engine (Механизм кластеризации)

Компонент, который группирует несколько ресурсов или записей метаданных, относящихся к одной и той же публикации, используя пересекающуюся информацию (например, Title, Author, ISBN).

Confidence Value (Показатель уверенности)

Метрика, используемая Web Association Engine, показывающая вероятность того, что веб-ресурс ссылается на конкретную книгу.

Products Corpus (Корпус товаров)

База данных, содержащая информацию о товарах, включая цены и продавцов. Используется для получения информации о стоимости книги, часто по ISBN.

Rich Result (Обогащенный результат)

Форматированное представление контента, релевантного запросу, которое содержит информацию из нескольких источников (корпусов). В контексте патента — детальный блок о книге.

Rich Result Engine (Механизм обогащенных результатов)

Компонент, который определяет необходимость запуска Rich Result и отвечает за коррекцию данных путем сравнения информации из разных корпусов.

Topicality Value (Показатель тематичности)

Метрика, используемая Web Association Engine, показывающая степень, в которой веб-сайт посвящен конкретной книге (например, обзор имеет высокую тематичность, а список бестселлеров — низкую).

Web Association Engine (Механизм веб-ассоциаций)

Компонент, который идентифицирует веб-ресурсы (в Web Corpus), которые упоминают публикацию или связаны с ней.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс генерации обогащенного результата для поиска книг.

1. Система получает запрос на поиск публикации (поиск в corpus of digital book resources).
2. Получаются результаты поиска публикаций.
3. Определяется, удовлетворяет ли оценка (score) первого результата пороговому значению относительно оценок других результатов. Это условие определяет, будет ли показан Rich Result.
4. Если ДА, система ищет в corpus of web resources, используя данные первого результата, чтобы найти веб-ресурсы, ссылающиеся на эту книгу.
5. Генерируется Rich Result, включающий данные из первого результата и данные из найденных веб-ресурсов (цены, ссылки, сниппет, авторы).
6. Rich Result предоставляется вместе с другими результатами поиска.

Claim 2, 3 (Зависимые): Уточняют условие срабатывания триггера (Score Dominance).

Порог считается достигнутым, если оценка первого результата как минимум в пороговое кратное число раз (threshold multiple) превышает оценку результата, занимающего второе, третье или четвертое место в ранжировании. Это указывает на высокую уверенность системы в интенте пользователя.

Claim 6 (Зависимый): Детализирует получение информации о ценах.

Система получает результаты из products corpus, используя ISBN книги, и определяет цену на основе этих результатов.

Claim 8 и 9 (Зависимые): Детализируют механизм коррекции данных (Data Correction).

Генерация Rich Result включает определение того, является ли элемент данных из первого результата поиска некорректным, используя веб-ресурсы (Claim 8). Процесс коррекции (Claim 9) включает:

1. Получение нескольких вариантов (multiple variants) элемента данных из веб-ресурсов.
2. Определение «наиболее популярного варианта» (most popular variant) на основе частоты его появления.
3. Если исходные данные не совпадают с наиболее популярным вариантом, они заменяются на этот популярный вариант.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя офлайн-процессы для подготовки данных и онлайн-процессы для генерации выдачи.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходят ключевые офлайн-процессы:

• Clustering: Clustering Engine анализирует Books Corpus, чтобы сгруппировать разные записи об одной и той же книге.
• Web Association: Web Association Engine анализирует Web Corpus и ассоциирует веб-страницы с конкретными книгами, рассчитывая Confidence Value и Topicality Value.

RANKING – Ранжирование
Система выполняет поиск в специализированном индексе (Books Corpus) и рассчитывает оценки релевантности (scores) для результатов.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Основное применение патента:

1. Оценка доминирования: Система анализирует результаты этапа RANKING и проверяет, доминирует ли первый результат над остальными (триггер).
2. Активация Rich Result: Если доминирование обнаружено и дополнительные условия выполнены, активируется Rich Result Engine.
3. Параллельные поиски (Aggregation): Система инициирует дополнительные поиски в Web Corpus и Products Corpus.
4. Коррекция данных (Data Correction): Система использует данные из разных корпусов для валидации и исправления метаданных (выбор most popular variant).
5. Формирование SERP: Rich Result формируется и встраивается в страницу результатов.

Входные данные:

• Запрос пользователя.
• Данные из Books Corpus, Web Corpus, Products Corpus.
• Результаты офлайн-кластеризации и веб-ассоциаций.

Выходные данные:

• Обогащенный результат (Rich Result) с агрегированными и скорректированными данными о сущности.

На что влияет

• Конкретные типы контента: Влияет на отображение информации о четко определенных сущностях (книги, продукты, фильмы, организации). Влияет на издателей, авторов, сайты отзывов и интернет-магазины.
• Специфические запросы: Наибольшее влияние на запросы с четким интентом поиска конкретной сущности (навигационные или объектные запросы).

Когда применяется

Алгоритм применяется только при выполнении строгого набора условий:

• Триггер уверенности (Score Dominance): Когда оценка релевантности (Score) первого результата значительно превышает последующие (например, в 10 раз выше). Это указывает на высокую уверенность системы в том, что пользователь ищет именно эту сущность.
• Наличие данных (Data Availability): Когда для сущности доступны дополнительные данные (как описано в FIG. 4):
  • Приемлемый сниппет (Snippet acceptable).
  • Информация о ценах (Prices available).
  • Связанные информационные страницы (Information pages available).

Если эти данные отсутствуют, Rich Result не будет показан, даже если порог уверенности достигнут.

Пошаговый алгоритм

Процесс А: Офлайн-подготовка данных

1. Кластеризация ресурсов (Clustering): Clustering Engine обрабатывает Books Corpus. Записи метаданных с пересекающейся информацией (Title, Author, ISBN) группируются.
2. Ассоциация веб-ресурсов (Web Association): Web Association Engine анализирует Web Corpus. Для веб-страниц рассчитываются Confidence Value и Topicality Value. Если значения превышают пороги, веб-ресурс аннотируется связью с книгой.

Процесс Б: Обработка запроса в реальном времени

1. Получение запроса и ранжирование: Система получает запрос и вычисляет оценки (scores) для результатов из Books Corpus.
2. Проверка триггера (Score Dominance): Проверяется, превышает ли оценка первого результата оценки последующих в пороговое количество раз.
   • Если НЕТ: Вернуть стандартные результаты.
3. Проверка наличия данных (Data Availability): Проверяется наличие приемлемого сниппета, цен и информационных страниц.
   • Если НЕТ: Вернуть стандартные результаты.
   • Если ДА (все условия выполнены): Активировать генерацию Rich Result.
4. Генерация веб-результатов: Система получает связанные веб-ресурсы.
5. Генерация товарных результатов: Система получает данные из Products Corpus (например, используя ISBN) для извлечения цен.
6. Коррекция данных (Data Correction): Rich Result Engine сравнивает метаданные из Books Corpus с вариантами из Web Corpus. Выбирается most popular variant для использования в Rich Result.
7. Формирование и отправка: Rich Result собирается и отправляется клиенту.

Какие данные и как использует

Данные на входе

Система использует данные из трех основных корпусов:

Books Corpus (Структурированные данные):

• Контентные/Структурные факторы: Название, Автор, Год публикации, Количество страниц, Сниппет/Синопсис, Обложка.
• Технические факторы: ISBN (International Standard Book Number).

Web Corpus (Неструктурированные данные):

• Контентные факторы: Текст веб-страниц, анализируемый для определения связи с книгой и извлечения вариантов метаданных (для коррекции).
• Ссылочные факторы: Ссылки на связанные сайты (Related websites), сайты издателей, сайты отзывов.

Products Corpus (Коммерческие данные):

• Коммерческие факторы: Цена (Price), Продавцы (Sellers).

Какие метрики используются и как они считаются

• Score (Оценка релевантности): Стандартная оценка релевантности результата запросу.
• Threshold Multiple (Пороговый множитель): Используется для определения доминирования. Триггер срабатывает, если Score(Result 1) > Threshold Multiple * Score(Result N). В патенте упоминается пример множителя 10.
• Confidence Value: Вероятностная оценка того, что веб-ресурс ссылается на книгу.
• Topicality Value: Оценка того, насколько веб-ресурс посвящен книге.
• Most Popular Variant (Наиболее популярный вариант): Метрика для коррекции данных. Определяется путем подсчета частоты встречаемости различных вариантов элемента данных в Web Corpus.

1. Триггеры уверенности для SERP Features: Google использует конкретные триггеры для определения, когда запрос относится к сущности. Механизм «доминирования оценки» (Score Dominance) является ключевым индикатором уверенности системы в интенте пользователя для активации Rich Results.
2. Агрегация из разных корпусов (Cross-Corpora Aggregation): Для формирования полного ответа о сущности Google активно агрегирует данные из специализированных вертикальных индексов (Книги, Товары) и общего Веб-индекса.
3. Консенсус веба как источник истины (Data Correction): Критически важный вывод. Google использует Web Corpus для валидации и исправления данных из структурированных источников (Books Corpus). Система предпочитает most popular variant данных из веба, считая его более надежным. Это механизм самокоррекции Knowledge Graph.
4. Важность внешних ассоциаций и авторитета: Система использует метрики Confidence и Topicality для определения того, какие внешние ресурсы будут использованы для формирования Rich Result или получат в нем ссылки (Related Websites).
5. Значение структурированных идентификаторов: Идентификаторы, такие как ISBN (или GTIN), играют критическую роль в связывании данных между разными корпусами (например, для получения цен).

Best practices (это мы делаем)

• Обеспечение согласованности данных (Entity Consistency): Критически важно поддерживать согласованность информации о ваших ключевых сущностях (продуктах, брендах, авторах) по всему интернету (сайты, каталоги, Википедия). Поскольку Google ищет most popular variant для коррекции своих данных, необходимо, чтобы этот популярный вариант был корректным и доминирующим.
• Использование уникальных идентификаторов и микроразметки: Активно используйте стандартные идентификаторы (ISBN, GTIN) и разметку Schema.org (Product, Book, Organization). Это помогает Google связывать данные между разными корпусами (например, использовать ISBN для поиска цен в Products Corpus).
• Стимулирование авторитетных упоминаний и обзоров: Работайте над тем, чтобы авторитетные и тематические сайты писали о ваших сущностях. Web Association Engine ищет ресурсы с высокими показателями Confidence и Topicality. Качественные обзоры повышают вероятность использования данных в Rich Result и включения сайта в связанные ресурсы.
• Мониторинг и коррекция внешних данных: Регулярно отслеживайте, какая информация о ваших сущностях присутствует в вебе. При обнаружении ошибок на авторитетных ресурсах старайтесь их исправить, чтобы не допустить формирования неверного консенсуса.
• Присутствие в товарных агрегаторах: Для коммерческих сущностей важно передавать данные в Google Merchant Center. Отсутствие цен в Products Corpus может заблокировать показ Rich Result.

Worst practices (это делать не надо)

• Игнорирование данных на внешних площадках: Фокусироваться только на собственном сайте и игнорировать некорректную информацию о вашем бренде/продукте на других ресурсах. Это может привести к тому, что Google примет неверный вариант как истинный (most popular variant).
• Публикация противоречивых данных: Использование разных вариантов написания названия компании или характеристик продукта в разных источниках. Это затрудняет кластеризацию и может привести к ошибкам в Rich Result.
• Создание поверхностного контента: Создание страниц, которые упоминают сущность, но не посвящены ей (низкая Topicality). Такие страницы вряд ли будут использованы системой для формирования Rich Result.

Стратегическое значение

Этот патент имеет важное стратегическое значение для Entity SEO. Он демонстрирует переход от простого извлечения данных к их валидации через консенсус веба. Стратегия SEO должна включать управление присутствием сущности во всем интернете, а не только на собственном сайте. Создание согласованного и авторитетного информационного следа является фундаментом для корректного отображения в Knowledge Graph и других обогащенных результатах. Google полагается на веб как на механизм самоочистки данных.

Практические примеры

Сценарий 1: Коррекция названия компании/продукта через консенсус веба

1. Ситуация: Компания провела ребрендинг с «Старое Название» на «Новое Название» и обновила свой сайт. Однако в Knowledge Panel все еще отображается «Старое Название».
2. Анализ (по патенту): Rich Result Engine анализирует Web Corpus. Он находит 5000 упоминаний «Старое Название» (в старых новостях, каталогах) и только 200 упоминаний «Новое Название».
3. Действие Google: Система определяет «Старое Название» как most popular variant и использует его.
4. Действия SEO-специалиста: Необходимо инициировать кампанию по обновлению информации на всех внешних площадках (СМИ, каталоги, партнеры, Википедия), чтобы увеличить количество упоминаний «Новое Название». Цель — сделать корректный вариант наиболее популярным в вебе.

Сценарий 2: Блокировка Rich Result из-за отсутствия цены

1. Ситуация: Пользователь ищет новый продукт. Google уверен в результате (Score Dominance достигнут).
2. Проверка триггеров: Система проверяет наличие сниппета (Есть) и информационных страниц (Есть).
3. Проверка Products Corpus: Система пытается найти цены (например, по GTIN), но продукт еще не загружен в Google Merchant Center. Цены недоступны.
4. Результат: Условие Prices available не выполнено. Rich Result не отображается.
5. Действия SEO-специалиста: Обеспечить своевременную передачу данных о продукте и ценах в товарные агрегаторы до запуска продукта.