Как Google определяет запросы, требующие ответа списком, и генерирует ранжированные списки сущностей для SERP

Термины и определения

Entity (Сущность)

Единица информации, которая может быть категоризирована и перечислена (например, фильм, книга, человек). Извлекается из веб-документов.

Category (Категория)

Тип сущностей, к которому относится запрос (например, «фильмы», «книги»). Определяется на основе текста запроса, тем найденных документов и извлеченных сущностей.

Entity List (Список сущностей)

Структурированный набор ранжированных сущностей, представляемый в ответ на запрос (например, карусель).

List Terms (Термины списка)

Слова или фразы в запросе, указывающие на намерение пользователя получить список (например, «топ», «лучшие»). Являются ключевым триггером в Claim 1.

Entity Extraction Engine (Механизм извлечения сущностей)

Компонент, который анализирует результаты поиска и идентифицирует в них сущности, сравнивая контент с репозиторием сущностей.

Category Identification Engine (Механизм идентификации категорий)

Компонент, определяющий наиболее вероятную категорию для запроса.

Entity Ranking Engine (Механизм ранжирования сущностей)

Компонент, который вычисляет оценки и ранжирует извлеченные сущности для включения в список.

List Trigger Engine (Механизм активации списка)

Компонент, который принимает финальное решение о том, следует ли показывать список сущностей в ответ на запрос.

Attributes (Атрибуты)

Детальная информация, связанная с сущностью (например, для фильма: дата выхода, режиссер).

Information Retrieval (IR) Score

Стандартная оценка релевантности веб-документа поисковому запросу (Document-Query Relevance).

Ключевые утверждения (Анализ Claims)

Анализ основан на независимом пункте 1 (Claim 1) выданного патента US10691702B1.

Claim 1: Определяет метод определения запросов, требующих ответа списком, и формат представления результатов.

1. Хранение критериев списка: Система хранит данные, указывающие на List Terms, которые при наличии в запросе сигнализируют, что запрос связан со списком сущностей.
2. Получение запроса и определение интента: При получении запроса система определяет, связан ли он со списком сущностей, путем сравнения терминов запроса с сохраненными List Terms.
3. Обработка запросов без списка: Если запрос НЕ определен как связанный со списком, система предоставляет стандартные веб-результаты.
4. Обработка запросов со списком: Если запрос определен как связанный со списком сущностей:
   1. Определяется конкретная категория сущностей.
   2. Предоставляются стандартные веб-результаты.
   3. Предоставляются данные, указывающие на сущности в списке для этой категории.
5. Формат представления: Данные о сущностях отображаются в формате списка, который отделен (separate) от веб-результатов и предоставляется одновременно (concurrently) с ними.

Ядро изобретения, защищенное этим патентом, заключается в механизме триггера, основанном на предопределенных List Terms, и специфическом формате выдачи, который комбинирует стандартные результаты со структурированным списком сущностей.

Claims 3, 4, 8, 9 (Зависимые): Уточняют определение List Terms. Они могут включать фразы, состоящие из предлога и года (например, «of 2010») или предлога и прилагательного (например, «best of»).

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, интегрируя данные о сущностях в процесс обработки запроса и формирования выдачи.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных. Entity Repository и Entity Attribute Repository хранят информацию о сущностях и их атрибутах (например, в Knowledge Graph). Также определяются темы документов.

QUNDERSTANDING – Понимание Запросов
Ключевой этап. Система анализирует запрос для определения интента (ищет ли пользователь список, используя List Terms, как описано в Claim 1). Category Identification Engine определяет категорию запроса.

RANKING – Ранжирование
Задействованы два аспекта: 1) Result Identification Engine получает первичный набор релевантных веб-документов и их IR Scores. 2) Entity Extraction Engine извлекает сущности из этих документов, а Entity Ranking Engine ранжирует эти сущности.

METASEARCH – Метапоиск и Смешивание
List Trigger Engine принимает финальное решение об активации списка. Search Result Document Generation Engine формирует финальную выдачу. Если список активирован, этот компонент объединяет стандартные веб-результаты и сгенерированный Entity List в единый SERP, размещая список в отдельном блоке (например, карусель).

Входные данные:

• Поисковый запрос.
• Репозиторий сущностей и их атрибутов.
• Индекс веб-документов и их IR scores.
• Критерии активации списка (List Terms, белые/черные списки).

Выходные данные:

• Страница результатов поиска (SERP), которая может содержать как стандартные веб-результаты, так и отдельный блок с ранжированным списком сущностей.

На что влияет

• Специфические запросы: Наибольшее влияние на информационные и коммерческие запросы с намерением сравнения или перечисления («лучшие кроссовки для бега», «топ фильмов 2020»).
• Конкретные типы контента: Влияет на контент, богатый сущностями — обзоры, рейтинги, каталоги, статьи-списки (listicles).
• Конкретные ниши: Сильное влияние в тематиках с четко определенными сущностями: медиа (фильмы, книги), ecommerce (товары), локальный поиск (рестораны).

Когда применяется

Алгоритм применяется при выполнении набора условий, которые оценивает List Trigger Engine.

• Триггеры активации:
  1. Наличие в запросе List Terms (ключевое условие согласно Claim 1).
  2. Идентификация четкой категории для запроса.
  3. Категория входит в список разрешенных (approved categories).
  4. Отсутствие запрещенных терминов (blacklisted terms) в запросе.
  5. Наличие достаточного количества релевантных документов и извлеченных сущностей.
• Пороговые значения: Система вычисляет общую оценку уверенности (Overall Score) для активации списка. Список показывается, только если эта оценка превышает установленный порог.

Пошаговый алгоритм

Описание основано на процессах, детализированных в патенте (FIGS. 5-8).

Этап 1: Обработка запроса и первичный поиск

1. Получение поискового запроса.
2. Идентификация первичного набора релевантных документов (веб-результатов) и их IR Scores.

Этап 2: Извлечение и Категоризация (FIG. 6)

3. Извлечение сущностей из полученных документов.
4. Определение категории запроса. Для каждой потенциальной категории рассчитывается оценка на основе:
   1. Наличия терминов категории в запросе.
   2. Количества документов, связанных с темой категории.
   3. Количества извлеченных сущностей, принадлежащих к категории.
5. Выбор категории с наивысшей оценкой.

Этап 3: Ранжирование Сущностей (FIG. 8)

6. Ранжирование извлеченных сущностей. Для каждой сущности рассчитывается оценка на основе:
   1. S1 (Entity-to-Document Relevance): Релевантности сущности документу, из которого она извлечена.
   2. S2 (Document-to-Query Relevance): Релевантности документа запросу (IR score).
   3. Соответствия атрибутов сущности терминам запроса.
7. Генерация итоговой оценки ранжирования сущности. Патент предлагает пример формулы агрегации S1 и S2: $S_1*log(1+min(S_2, C))$, где C — константа.

Этап 4: Принятие решения (Triggering) (FIG. 7)

8. Определение, следует ли показывать Entity List (List Trigger Engine). Рассчитывается общая оценка уверенности на основе:
   1. Наличия запрещенных терминов в запросе.
   2. Статуса категории (разрешена/запрещена).
   3. Наличия List Terms в запросе (Ключевой элемент Claim 1).
   4. Количества и качества результатов поиска и сущностей.
9. Сравнение общей оценки с порогом.

Этап 5: Генерация SERP

10. Если оценка выше порога: Генерация SERP, включающего ранжированный Entity List и стандартные веб-результаты (согласно Claim 1).
11. Если оценка ниже порога: Генерация SERP только со стандартными веб-результатами.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документов, из которого извлекаются сущности. Темы документов используются для категоризации. Текст запроса анализируется на наличие List Terms и терминов категорий.
• Структурные факторы: Данные из репозитория сущностей (Knowledge Graph), который содержит структурированную информацию о сущностях и их атрибутах. На практике эти репозитории наполняются в том числе с помощью структурированных данных (Schema.org).
• Системные данные: IR Scores веб-документов. Данные из List Criteria Repository (List Terms, blacklists, whitelists).

Какие метрики используются и как они считаются

Патент описывает многоуровневую систему оценок (Scores):

1. Оценки Категоризации (Category Scores):

• Query Term Score: Оценка, основанная на наличии в запросе терминов, связанных с категорией.
• Document Quantity Score: Оценка, основанная на количестве/доле топовых документов, относящихся к теме категории.
• Entity Quantity Score: Оценка, основанная на количестве/доле извлеченных сущностей, относящихся к категории.

2. Оценки Ранжирования Сущностей (Entity Ranking Scores):

• S1 (Entity-to-Document Relevance): Метрика, показывающая, насколько сущность релевантна документу, из которого она извлечена (например, является ли она основной темой).
• S2 (Document-to-Query Relevance): Стандартная оценка релевантности документа запросу (IR score).
• Attribute Match Score: Оценка соответствия атрибутов сущности запросу.
• Overall Entity Score (Формула расчета): Патент предлагает пример формулы агрегации: $S_1*log(1+min(S_2, C))$. Эта формула подчеркивает важность S1, модулированную S2. Использование логарифма и функции минимума означает, что вклад S2 имеет убывающую отдачу и ограничен сверху.

3. Оценки Активации Списка (Triggering Scores):

• Blacklist Score: Оценка наличия запрещенных терминов.
• Category Status Score: Оценка статуса категории (разрешена/запрещена).
• List Term Score: Оценка наличия и веса List Terms в запросе.
• Confidence Scores: Оценки достаточности количества документов и сущностей для формирования качественного списка.

1. Приоритет интента списка: Google активно идентифицирует запросы, направленные на получение списков (используя List Terms как основной триггер согласно Claim 1), и меняет формат выдачи для предоставления структурированных данных.
2. Категоризация запроса критична: Система должна четко определить категорию запроса. Это делается путем комплексного анализа: запроса, тем топовых документов и извлеченных из них сущностей.
3. Многофакторное ранжирование сущностей (S1 и S2): Ранжирование внутри списка сложное. Система отдает предпочтение сущностям, которые являются центральной темой (высокий S1: Entity-to-Document Relevance) на страницах, которые сами по себе хорошо ранжируются по запросу (высокий S2: Document-to-Query Relevance).
4. Важность атрибутов: Атрибуты сущностей используются как для ранжирования (если они соответствуют терминам запроса), так и для отображения в финальном списке.
5. Система предохранителей (Triggering): Google использует множество проверок (пороги количества сущностей, черные списки, статус категории), чтобы гарантировать, что Entity Lists генерируются только тогда, когда они уместны и качественны.
6. Сосуществование с веб-результатами: Выданный патент (Claim 1) явно защищает метод, при котором список сущностей отображается отдельно и одновременно со стандартными веб-результатами.

Best practices (это мы делаем)

• Оптимизация под Entity-Oriented Search: Сосредоточьтесь на том, чтобы Google четко идентифицировал ключевые сущности на ваших страницах. Используйте структурированные данные (Schema.org), четкую структуру контента и однозначные упоминания сущностей.
• Создание контента для list-seeking запросов: Создавайте высококачественные списки, обзоры и рейтинги, оптимизированные под запросы, содержащие List Terms («лучшие», «топ»).
• Повышение Entity-to-Document Relevance (S1): Убедитесь, что сущности, которые вы хотите ранжировать, являются основной темой страницы или четко выделены как элементы списка. Если страница посвящена обзору 10 продуктов, каждый продукт должен быть четко структурирован (например, с помощью заголовков H2/H3).
• Максимизация Document-to-Query Relevance (S2): Страница-источник должна быть хорошо оптимизирована и авторитетна для целевого запроса (высокий IR Score). Без высокого ранжирования исходного документа сущности из него вряд ли попадут в агрегированный список Google.
• Насыщение контента атрибутами: Предоставляйте четкие и легко извлекаемые атрибуты для сущностей (цены, даты, характеристики, авторы). Это повышает шансы на ранжирование в списках, особенно для запросов с уточнениями.

Worst practices (это делать не надо)

• Создание поверхностных списков без добавленной ценности: Попытки манипулировать системой путем создания множества низкокачественных списков неэффективны, так как система учитывает авторитетность и релевантность исходного документа (S2).
• Смешивание несвязанных сущностей на одной странице: Размещение множества сущностей разных категорий на одной странице может затруднить для Google определение основной темы и категории, что негативно скажется на S1 и на процессе категоризации в целом.
• Игнорирование структурированных данных: Отсутствие микроразметки снижает вероятность того, что Google корректно извлечет сущности и их атрибуты, что уменьшает шансы на попадание в структурированные списки.
• Спам сущностями (Entity Stuffing): Беспорядочное упоминание сущностей без контекста неэффективно, так как оценка S1 (релевантность сущности документу) будет низкой.

Стратегическое значение

Патент подтверждает стратегический сдвиг Google от предоставления ссылок к предоставлению прямых ответов и структурированной информации. Для SEO это означает, что оптимизация должна выходить за рамки традиционных факторов и фокусироваться на том, как сайт способствует наполнению базы знаний Google (Knowledge Graph). Стратегия должна быть направлена на то, чтобы стать лучшим источником структурированной информации о сущностях в своей нише.

Практические примеры

Сценарий: Оптимизация сайта обзоров техники для попадания в список сущностей

Запрос: «лучшие смартфоны 2025»

1. Анализ интента и категории: Google идентифицирует «лучшие» как List Term и «смартфоны» как категорию. Триггер активируется.
2. Действия SEO-специалиста (S2 - Релевантность Документа): Создать авторитетную статью «Топ-10 лучших смартфонов 2025 года: детальный обзор». Обеспечить высокое качество контента (E-E-A-T) и получить качественные обратные ссылки, чтобы страница высоко ранжировалась.
3. Действия SEO-специалиста (S1 - Релевантность Сущности): Структурировать статью так, чтобы каждый смартфон был четко выделен (заголовок H2). Использовать микроразметку ItemList и Product для каждого смартфона.
4. Действия SEO-специалиста (Атрибуты): Для каждого смартфона указать ключевые характеристики (цена, камера, батарея) в виде таблицы или маркированного списка. Убедиться, что указан год выпуска (2025).
5. Ожидаемый результат: Google извлекает модели смартфонов из этой статьи. Благодаря высоким оценкам S1 и S2, эти модели занимают верхние позиции в агрегированном Entity List (например, карусели смартфонов) на SERP.