Как Google определяет сущности (например, болезни) по их атрибутам (например, симптомам), анализируя результаты поиска и аннотации индекса

Термины и определения

Attribute (Атрибут)

Характеристика или свойство сущности. В контексте патента часто используются медицинские симптомы как примеры атрибутов.

Attribute Data Store (База данных атрибутов)

Хранилище терминов, которые были идентифицированы как атрибуты определенного типа сущностей. Используется как триггер для активации системы идентификации сущностей.

Combined Query (Комбинированный запрос)

Запрос, сгенерированный системой путем объединения исходного запроса пользователя и имени конкретной сущности (например, [почему я устал] + [Анемия]).

Entity (Сущность)

Объект определенного типа, обладающий набором атрибутов. Примеры: медицинское состояние (болезнь), фильм, книга.

Entity Data Store (База данных сущностей)

Хранилище имен сущностей определенного типа и их синонимов.

Annotations (Аннотации в индексе)

Метаданные, связанные с ресурсом в индексной базе данных (Index Database), которые указывают, что ресурс связан с конкретными сущностями. Создаются на этапе индексирования.

Summary Score (Сводная оценка)

В методе комбинированных запросов — агрегированная оценка для сущности, основанная на оценках (scores) результатов поиска, полученных в ответ на комбинированный запрос для этой сущности.

Attribute Suggestions (Предложения атрибутов)

Дополнительные атрибуты, предлагаемые пользователю для уточнения исходного запроса и сужения списка идентифицированных сущностей.

Named Entity Recognition (NER, Распознавание именованных сущностей)

Технология, используемая для идентификации упоминаний сущностей в тексте и разрешения неоднозначности (когда имя сущности может иметь другие значения).

Threshold number of occurrences (Пороговое число вхождений)

Минимальное количество раз, которое имя сущности должно встретиться в ресурсе, чтобы система считала ресурс связанным с этой сущностью (используется в методе аннотирования).

Ключевые утверждения (Анализ Claims)

Патент содержит несколько наборов Claims, описывающих разные методы. Проанализируем ключевые независимые пункты.

Claim 1 (Независимый пункт): Описывает метод, основанный на предварительном аннотировании индекса (соответствует FIG. 8). Это основной защищаемый метод.

1. Офлайн-процесс (Индексирование):
• Анализ контента множества ресурсов для идентификации связанных сущностей первого типа.
• Этот анализ включает: (i) идентификацию вхождений имен сущностей в контенте; (ii) определение того, что сущность связана с ресурсом, если ее имя встречается больше порогового числа раз (threshold number of occurrences).
• Аннотирование каждого ресурса в Index Database с указанием идентифицированных связанных сущностей.
2. Онлайн-процесс (Обработка запроса):
• Определение того, что первый запрос содержит ссылки на один или несколько предопределенных атрибутов, связанных с первым типом сущности.
• Получение результатов поиска для первого запроса.
• Идентификация сущностей первого типа, которые связаны с ресурсами, найденными в результатах поиска (используя аннотации из шага 1).
• Выбор имен одной или нескольких идентифицированных сущностей для включения в ответ на запрос.

Ядро изобретения здесь — использование порогового значения упоминаний сущности для создания устойчивой аннотации в индексе и последующее использование этой аннотации для идентификации сущностей во время поиска.

Claim 3 (Зависимый от 1): Уточняет процесс идентификации вхождений.

Идентификация вхождений имени сущности включает определение того, что одно или несколько вхождений имени в контенте не относятся к данной сущности (процесс разрешения неоднозначности или Named Entity Recognition).

Claim 5 (Зависимый от 1): Уточняет процесс выбора сущностей.

Выбор имен включает ранжирование каждой идентифицированной сущности на основе количества ресурсов из результатов поиска, с которыми она связана, и выбор имен на основе этого ранжирования.

Claim 9 (Зависимый от 8): Уточняет выбор предложений атрибутов (Attribute Suggestions).

Генерация предложений включает идентификацию связанных атрибутов для выбранных сущностей и выбор тех атрибутов, которые максимально сужают (maximally refine) список выбранных сущностей.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, в зависимости от конкретного метода (embodiment).

INDEXING – Индексирование и извлечение признаков

Критически важен для методов, основанных на аннотировании (Claim 1).

• Извлечение Признаков и NLP: Система анализирует контент ресурсов для идентификации упоминаний сущностей (Named Entity Recognition). Она должна разрешать неоднозначности (Claim 3).
• Аннотирование: Если количество упоминаний сущности превышает порог, система создает аннотацию в индексе (Index Database), связывающую ресурс с сущностью.
• Офлайн-классификация: Система может использовать классификаторы для наполнения Attribute Data Store терминами из логов запросов и анализа ресурсов.

QUNDERSTANDING – Понимание Запросов

• Триггер: Система определяет, содержит ли запрос атрибуты определенного типа сущности, сверяясь с Attribute Data Store. Это определяет дальнейшую логику обработки запроса (активировать идентификацию сущностей или обработать стандартно).

RANKING – Ранжирование

• Система получает стандартные результаты поиска для исходного запроса.
• В методе комбинированных запросов система выполняет множество дополнительных поисковых запросов (Query + Entity Name) и получает результаты для них.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование

• Идентификация Сущностей: Основной этап работы системы. В зависимости от метода: анализ аннотаций ресурсов в топе выдачи, анализ контента ресурсов в топе или агрегация Summary Scores.
• Формирование SERP Features: Выбранные имена сущностей могут быть представлены как отдельный блок на странице результатов (как показано на FIG. 1 в патенте). Также генерируются Attribute Suggestions.
• Переранжирование: В некоторых вариантах (Claim 7) система может повышать (promoting) в ранжировании те результаты исходного поиска, которые связаны с выбранными сущностями.

На что влияет

• Специфические запросы: В первую очередь влияет на информационные запросы, которые перечисляют атрибуты, свойства или характеристики, но не называют саму сущность.
• Конкретные ниши или тематики: Наибольшее влияние оказывается на YMYL-тематики, особенно медицину (все примеры в патенте медицинские: симптомы и состояния). Также может применяться в других вертикалях, где есть четкие связи атрибут-сущность (кино, книги, продукты, E-commerce).

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система определяет, что запрос включает текстовые ссылки на один или несколько предопределенных атрибутов определенного типа сущности. Это определяется путем проверки терминов запроса в Attribute Data Store.
• Исключения: Система может использовать «черный список» (blacklist) фраз, для которых идентификация сущностей не должна проводиться, даже если атрибуты присутствуют (пример в патенте: «you give me fever»). Также механизм может не активироваться, если запрос уже содержит название сущности.

Пошаговый алгоритм

Патент описывает несколько методов. Опишем два основных.

Алгоритм А: Идентификация сущностей через аннотирование индекса (Claim 1, FIG. 8)

Этап 1: Индексирование (Офлайн)

1. Анализ контента: Для каждого ресурса система анализирует контент для идентификации вхождений имен сущностей определенного типа.
2. Разрешение неоднозначности (NER): Система определяет, действительно ли вхождение имени относится к сущности, а не к другому контексту (Claim 3).
3. Проверка порога: Определяется количество релевантных вхождений имени сущности. Если оно превышает пороговое значение (threshold number of occurrences), сущность считается связанной с ресурсом.
4. Аннотирование: Ресурс аннотируется в Index Database метаданными, указывающими на связанные с ним сущности.

Этап 2: Обработка запроса (Онлайн)

1. Прием запроса и триггер: Система получает запрос и определяет (через Attribute Data Store), что он содержит атрибуты и следует вернуть имена сущностей.
2. Получение результатов: Система получает стандартные результаты поиска для запроса.
3. Анализ аннотаций: Система проверяет аннотации (из Этапа 1) для ресурсов, идентифицированных в результатах поиска (или Топ-N результатов).
4. Ранжирование сущностей: Сущности ранжируются на основе количества ресурсов из выдачи, с которыми они связаны (согласно аннотациям) (Claim 5).
5. Выбор и предоставление: Выбираются имена сущностей с наивысшим рангом для включения в ответ на запрос.

Алгоритм Б: Идентификация сущностей через комбинированные запросы (Описано в патенте, FIG. 4-6)

1. Прием запроса и триггер: Система получает запрос (Q) и определяет, что следует вернуть имена сущностей.
2. Генерация комбинированных запросов: Для каждой сущности (E) из набора кандидатов генерируется Combined Query (Q+E).
3. Получение результатов: Система получает результаты поиска для каждого комбинированного запроса.
4. Расчет Summary Score: Для каждой сущности (E) вычисляется сводная оценка (Summary Score). Это функция (например, сумма, среднее) от оценок ранжирования (scores) результатов, полученных для ее комбинированного запроса.
5. Нормализация (Опционально): Summary Score может быть нормализован с учетом обратной частоты документа (Inverse Document Frequency, IDF) имени сущности, чтобы снизить влияние общеупотребимых сущностей.
6. Выбор и предоставление: Выбираются сущности с наивысшими Summary Scores.

Какие данные и как использует

Данные на входе

• Контентные факторы: Содержимое ресурсов (текст) анализируется для идентификации вхождений имен сущностей и атрибутов. Вхождения в заголовках или метаданных могут иметь больший вес.
• Системные данные:
• Attribute Data Store: Список известных атрибутов.
• Entity Data Store: Список известных сущностей и их синонимов.
• Index Database: Индекс ресурсов, включающий аннотации о связанных сущностях.
• Ranking Scores: Оценки ранжирования, присвоенные поисковой системой результатам поиска.
• Поведенческие факторы (Косвенно): Журналы запросов (query log) могут использоваться офлайн-классификатором (Query Classifier) для наполнения Attribute Data Store.

Какие метрики используются и как они считаются

Для метода аннотаций (Алгоритм А, Claim 1):

• Threshold number of occurrences (Пороговое число вхождений): Минимальное количество упоминаний сущности в документе (с учетом NER) для установления связи.
• Ранжирование сущностей: Основано на количестве ресурсов в Топ-N результатов поиска, с которыми связана данная сущность.

Для метода комбинированных запросов (Алгоритм Б):

• Summary Score (Сводная оценка): Агрегированная метрика качества результатов для Combined Query. Может быть суммой, средним арифметическим, геометрическим средним или гармоническим средним оценок ранжирования Топ-N результатов.

Общие метрики:

• Inverse Document Frequency (IDF): Может использоваться для нормализации оценок сущностей (в Алгоритме Б и других), чтобы учесть общую частоту упоминания сущности в корпусе и снизить влияние очень частых сущностей.
• Максимальное уточнение (Maximal Refinement): Метрика для выбора Attribute Suggestions. Выбираются атрибуты, которые обеспечивают наибольшее изменение (сужение) в списке результатов при их добавлении к запросу.

1. Критичность связи Документ-Сущность (Entity Association): Основной метод, описанный в Claim 1, основан на способности системы определить, о какой конкретно сущности идет речь в документе на этапе индексирования. Для установления этой связи используется частотный порог (threshold number of occurrences).
2. Важность NER и разрешения неоднозначности: Система использует Named Entity Recognition (NER), чтобы убедиться, что упоминание действительно относится к нужной сущности (Claim 3), прежде чем учитывать его при аннотировании или подсчете оценок. Контекст упоминания критичен.
3. Множественность подходов к идентификации сущностей: Google запатентовал несколько различных методов для связи атрибутов с сущностями — от ресурсоемкого выполнения тысяч дополнительных запросов (Алгоритм Б) до эффективного использования аннотаций индекса (Алгоритм А).
4. Идентификация сущностей основана на консенсусе Топа выдачи: В методах, использующих анализ SERP (включая Алгоритм А), система анализирует, какие сущности чаще всего аннотированы или упомянуты в топовых результатах поиска по запросу об атрибутах.
5. Нормализация по популярности (IDF): Система учитывает, что некоторые сущности упоминаются чаще других, и может использовать IDF для нормализации оценок, чтобы обеспечить релевантность, а не только популярность.
6. Интерактивное уточнение (Attribute Suggestions): Google рассматривает поиск сущностей как итеративный процесс, предлагая дополнительные атрибуты для "максимального уточнения" результатов, что подчеркивает важность полного покрытия атрибутов сущности в контенте.

Best practices (это мы делаем)

• Усиление связи Страница-Сущность (Entity Association): Обеспечьте, чтобы ключевые страницы были четко сфокусированы на конкретной сущности. Согласно Claim 1, связь устанавливается, если имя сущности встречается выше порогового значения. Это требует достаточной частоты и заметности упоминаний сущности (включая синонимы) в основном контенте и заголовках.
• Четкое определение связей Атрибут-Сущность: Создавайте контент, который явно связывает сущности (например, заболевания, продукты, фильмы) с их ключевыми атрибутами (симптомы, характеристики, актеры). Это помогает всем описанным методам корректно установить связь.
• Используйте точную терминологию и контекст (для NER): Используйте общепринятые и точные названия сущностей. Предоставляйте достаточный контекст, чтобы помочь системам NER разрешать неоднозначности (Claim 3) и корректно идентифицировать сущность.
• Оптимизация под семантический поиск и E-E-A-T: Поскольку система агрегирует данные преимущественно из топовых результатов поиска, необходимо иметь высокий базовый рейтинг и авторитетность (E-E-A-T), чтобы участвовать в процессе идентификации сущностей.
• Структурирование данных (Schema.org): Используйте микроразметку для явного указания сущностей и их атрибутов (например, MedicalCondition и signOrSymptom, или Product и его свойства). Это помогает системам индексирования однозначно интерпретировать контент и улучшает качество аннотаций.

Worst practices (это делать не надо)

• Поверхностный контент и "размытие" фокуса: Создание страниц, упоминающих множество сущностей поверхностно. Если частота упоминания целевой сущности не превысит порог, система может не аннотировать документ этой сущностью (Claim 1).
• Неоднозначное использование терминов: Использование неоднозначных терминов без достаточного контекста. Система может использовать NER и проигнорировать упоминания, которые она не смогла однозначно связать с нужной сущностью (Claim 3).
• Перечисление атрибутов без связи с сущностью: Создание контента, который только перечисляет атрибуты (например, список симптомов), но не дает глубокого описания связанных с ними сущностей (заболеваний).

Стратегическое значение

Этот патент подтверждает стратегический курс Google на переход от ключевых слов к сущностям и их взаимосвязям (основа Knowledge Graph). Он описывает конкретные механизмы, лежащие в основе семантического понимания контента и запросов. Для SEO это означает, что стратегия должна быть сосредоточена на построении тематического авторитета (Topical Authority) и превращении сайта в надежный источник информации о конкретных сущностях и их атрибутах. В YMYL-тематиках это напрямую связано с демонстрацией E-E-A-T.

Практические примеры

Сценарий: Оптимизация страницы о заболевании (Сущность) для ранжирования по симптомам (Атрибутам)

Задача: Продвинуть страницу о "Плантарном фасциите" по запросу [жгучая боль в пятке утром].

1. Идентификация: Запрос содержит Атрибуты ("жгучая боль в пятке", "утром"). Целевая Сущность — "Плантарный фасциит".
2. Усиление связи с Сущностью (Алгоритм А): Убедиться, что термин "Плантарный фасциит" и его синонимы достаточно часто используются на странице в правильном контексте, чтобы превысить порог для аннотирования документа этой сущностью в индексе Google.
3. Покрытие Атрибутов: Подробно описать симптоматику, используя точные формулировки атрибутов: "Основным симптомом плантарного фасциита является жгучая боль в пятке, которая особенно сильна утром при первых шагах".
4. Повышение базового ранжирования: Оптимизировать страницу (E-E-A-T, ссылки, технические факторы), чтобы она попала в Топ-N результатов по запросу [жгучая боль в пятке утром].
5. Ожидаемый результат: Google индексирует страницу и аннотирует её сущностью "Плантарный фасциит". При обработке запроса [жгучая боль в пятке утром] система видит эту страницу в топе, извлекает аннотацию и повышает оценку для сущности "Плантарный фасциит". В результате заболевание может быть показано в специальном блоке или страница получит дополнительное повышение в ранжировании (Claim 7).