Как Google определяет сущности (например, болезни) по списку признаков (например, симптомов) в запросе пользователя

Термины и определения

Attribute (Атрибут, Признак)

Характеристика или особенность сущности. В контексте патента часто используются медицинские симптомы как пример атрибутов.

Attribute Data Store (База данных атрибутов)

Хранилище терминов, которые были определены как ссылки на атрибуты определенного типа сущности (например, белый список медицинских симптомов). Может содержать термины из ранее отправленных запросов, классифицированных как относящиеся к данному типу сущности.

Attribute Suggestions (Предложения атрибутов)

Дополнительные атрибуты, предлагаемые пользователю для уточнения запроса.

Combined Query (Комбинированный запрос)

Запрос, сгенерированный путем объединения исходного запроса и имени конкретной сущности.

Combined Score (Комбинированная оценка)

Оценка, присваиваемая ресурсу при генерации объединенной выдачи. Является функцией (например, soft maximum) от оценок, присвоенных этому ресурсу в ответ на различные комбинированные запросы.

Entity (Сущность)

Объект, который ищет пользователь. В контексте патента часто используются медицинские состояния (болезни) как пример сущностей.

Entity Type (Тип сущности)

Категория, к которой принадлежит сущность (например, медицинское состояние, фильм, книга).

Final Score (Итоговая оценка)

Оценка сущности, сгенерированная на основе Initial Scores. Используется для выбора сущностей в ответ на запрос.

Initial Score (Начальная оценка)

Оценка, определяемая для сущности на основе анализа одного конкретного результата поиска. Базируется на количестве упоминаний имени сущности в ресурсе и ранге/оценке этого результата поиска.

Inverse Document Frequency (Обратная частота документа, IDF)

Метрика, используемая для нормализации оценок сущностей, чтобы снизить влияние общеупотребительных сущностей.

Query Classifier (Классификатор запросов)

Офлайн-компонент, обученный с использованием методов машинного обучения для анализа ранее отправленных запросов и определения того, какие из них следует добавить в Attribute Data Store.

Summary Score (Сводная оценка)

Оценка сущности, сгенерированная на основе оценок, связанных с результатами поиска, полученными в ответ на комбинированный запрос для этой сущности.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько независимых пунктов (Claims 1, 46, 76, 121), описывающих разные методы достижения цели.

Claim 1 (Независимый пункт): Описывает метод идентификации сущностей путем анализа упоминаний в результатах исходного запроса.

1. Система определяет, что запрос содержит ссылки на атрибуты определенного типа сущности. Это делается путем проверки наличия термина запроса в Attribute Data Store, который заполняется Query Classifier на основе анализа прошлых запросов.
2. Получаются результаты поиска по исходному запросу.
3. Для каждого результата вычисляется Initial Score для множества сущностей. Эта оценка основана на упоминаниях (occurrences) имен сущностей в ресурсе.
4. Генерируется Final Score для каждой сущности на основе Initial Scores.
5. Выбираются имена сущностей для включения в ответ на основе Final Scores.

Claim 46 (Независимый пункт): Описывает метод генерации выдачи с использованием комбинированных запросов.

1. Система определяет, что запрос содержит ссылки на атрибуты определенного типа сущности.
2. Для множества сущностей этого типа генерируется Combined Query (исходный запрос + имя сущности).
3. Получаются результаты поиска для каждого комбинированного запроса.
4. Полученные результаты используются для генерации Combined Search Results (объединенной выдачи) в ответ на исходный запрос. Это может включать ранжирование ресурсов на основе Combined Scores (Claim 52).

Claim 76 (Независимый пункт): Описывает метод идентификации сущностей путем модификации запроса.

1. Система определяет, что запрос содержит ссылки на атрибуты определенного типа сущности.
2. Генерируется второй запрос, включающий исходный запрос и один или более терминов, которые ссылаются на тип сущности (например, добавление слова "болезнь").
3. Результаты поиска по второму запросу оцениваются для выбора имен сущностей.

Claim 121 (Независимый пункт): Описывает метод идентификации сущностей с использованием предварительных знаний о связи ресурсов и сущностей.

1. Система определяет, что запрос содержит ссылки на атрибуты определенного типа сущности.
2. Получаются результаты поиска по исходному запросу.
3. Идентифицируются сущности, которые связаны (related to) с ресурсами, найденными в результатах поиска. (Это подразумевает наличие механизма определения связи, например, через аннотации в индексе, как указано в Claim 123).
4. Выбираются имена одной или более из идентифицированных сущностей.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, от индексирования до понимания запросов и формирования выдачи.

CRAWLING & INDEXING – Сканирование и Индексирование
В некоторых вариантах реализации система требует предварительной обработки ресурсов:

• Анализ контента для идентификации упоминаний сущностей (используя методы распознавания именованных сущностей, Named Entity Recognition, NER, для разрешения неоднозначностей).
• Аннотирование ресурсов в индексе. Аннотации могут указывать, что ресурс содержит ссылки на определенный тип сущности или на конкретные сущности, связанные с ресурсом.

QUNDERSTANDING – Понимание Запросов
На этом этапе происходит ключевая активация механизма:

• Офлайн: Query Classifier анализирует логи запросов и заполняет Attribute Data Store терминами и запросами, которые соответствуют паттерну "список атрибутов".
• Онлайн: При получении запроса система проверяет его на соответствие Attribute Data Store или другим критериям, чтобы определить, следует ли возвращать имена сущностей определенного типа.

RANKING, METASEARCH & RERANKING – Ранжирование, Метапоиск и Переранжирование
Применение зависит от выбранного метода:

• Методы, анализирующие исходную выдачу: После стандартного ранжирования система анализирует топовые результаты (их контент или аннотации) для вычисления Final Scores сущностей. Это этап пост-обработки или метапоиска.
• Метод комбинированных запросов: Система выполняет множество параллельных поисковых запросов (исходный запрос + сущность) и агрегирует результаты для вычисления Summary Scores или для генерации объединенной выдачи (Combined Search Results).
• Метод модификации запроса: Система выполняет поиск по измененному запросу и анализирует его результаты.

В конечном итоге, система либо предоставляет выбранные имена сущностей как отдельный блок (METASEARCH), либо модифицирует основную выдачу, заменяя ее объединенными результатами или продвигая результаты, связанные с выбранными сущностями (RERANKING).

На что влияет

• Специфические запросы: В первую очередь влияет на информационные запросы, которые представляют собой перечисление признаков, симптомов, характеристик без явного указания объекта поиска.
• Конкретные ниши или тематики: Наибольшее влияние оказывается на тематики, где четко определены сущности и их атрибуты. Патент акцентирует внимание на медицинской тематике (YMYL), но также упоминает фильмы и книги.

Когда применяется

Алгоритм применяется при выполнении условий, указывающих на интент поиска сущности по ее атрибутам:

• Триггеры активации: Наличие в запросе одного или нескольких терминов из Attribute Data Store.
• Исключения: Система может использовать черный список (blacklist) фраз, для которых не следует возвращать сущности, даже если они содержат атрибуты (пример: "you give me fever"). Также механизм может не активироваться, если запрос уже содержит имя сущности того же типа.
• Альтернативные триггеры: В некоторых реализациях триггером может служить анализ результатов поиска по исходному запросу, если количество результатов, идентифицирующих ресурсы, связанные с определенным типом сущности, превышает пороговое значение.

Пошаговый алгоритм

Патент описывает несколько различных алгоритмов. Ниже приведен разбор двух ключевых подходов.

Алгоритм А: Идентификация сущностей через комбинированные запросы

1. Получение запроса и определение интента: Система определяет, следует ли возвращать имена сущностей определенного типа.
2. Генерация комбинированных запросов: Если интент подтвержден, для набора сущностей генерируются комбинированные запросы (исходный запрос + имя сущности).
3. Получение результатов: Выполняется поиск по каждому комбинированному запросу.
4. Вычисление сводной оценки: Для каждой сущности генерируется Summary Score. Это функция от оценок (scores) результатов поиска, полученных для соответствующего комбинированного запроса (например, сумма оценок топовых результатов).
5. Нормализация (Опционально): Summary Score может быть скорректирован на основе Inverse Document Frequency имени сущности.
6. Выбор сущностей: Сущности выбираются на основе Summary Scores (например, Топ-N или превысившие порог).

Алгоритм Б: Идентификация сущностей через анализ исходной выдачи

1. Получение запроса и определение интента.
2. Получение результатов: Выполняется поиск по исходному запросу.
3. Идентификация упоминаний: В ресурсах, идентифицированных результатами поиска (например, в Топ-50), определяются упоминания имен сущностей нужного типа. Может использоваться Named Entity Recognition для разрешения неоднозначностей.
4. Вычисление начальных оценок: Для каждой сущности и каждого результата поиска генерируется Initial Score. Он зависит от количества упоминаний сущности в ресурсе и ранга (или оценки) этого результата поиска.
5. Вычисление итоговой оценки: Для каждой сущности генерируется Final Score (или Combined Score) путем объединения ее Initial Scores (например, суммированием).
6. Нормализация (Опционально): Final Score может быть скорректирован на основе IDF.
7. Выбор сущностей: Сущности выбираются на основе Final Scores.

Какие данные и как использует

Данные на входе

Система использует следующие типы данных:

• Системные данные:
  • Attribute Data Store: Белый список терминов или запросов, классифицированных как атрибуты сущностей.
  • Entity Data Store: Хранилище имен сущностей (включая синонимы, научные и общепринятые названия).
  • Blacklist: Список терминов или фраз, блокирующих активацию механизма.
  • Индекс (Index Database): Стандартный поисковый индекс. В некоторых реализациях он дополнен аннотациями, связывающими ресурсы с типами сущностей или конкретными сущностями.
  • Ranking Scores: Оценки релевантности и качества ресурсов, присвоенные поисковой системой.
• Поведенческие факторы (Косвенно):
  • Логи запросов (Query Log): Используются офлайн-классификатором (Query Classifier) для обучения и заполнения Attribute Data Store.
• Контентные факторы:
  • Текст ресурсов: Используется для подсчета упоминаний (occurrences) имен сущностей и атрибутов в ресурсах, найденных в результатах поиска.

Какие метрики используются и как они считаются

• Initial Score (Начальная оценка): Вычисляется для пары (Сущность, Результат поиска). Базируется на ранге/оценке результата поиска и количестве упоминаний сущности в соответствующем ресурсе.
• Summary Score / Final Score (Сводная / Итоговая оценка): Агрегированная оценка для сущности. Может быть суммой, средним арифметическим, гармоническим средним или геометрическим средним от Initial Scores или от оценок результатов поиска для комбинированного запроса. Также упоминается сумма логарифмов оценок.
• Combined Score (Комбинированная оценка ресурса): Используется при формировании объединенной выдачи. Может быть максимумом, средним или soft maximum от оценок ресурса по разным комбинированным запросам. Soft maximum определяется как: $softmax(S_1, ..., S_N) = log(exp(S_1) + ... + exp(S_N))$.
• Нормализация: Применение IDF сущности к ее Summary Score или Final Score.

1. Множественность подходов к идентификации сущностей: Патент защищает не один конкретный алгоритм, а целый набор методов для решения задачи "Атрибуты -> Сущность". Google может использовать анализ исходной выдачи, генерацию комбинированных запросов, модификацию запроса или анализ аннотаций в индексе, в зависимости от ситуации.
2. Важность понимания неявного интента: Система активно пытается понять запросы, которые не содержат явных вопросов или названий сущностей. Наличие Attribute Data Store и Query Classifier указывает на масштабные усилия по классификации терминов и прошлых запросов для распознавания таких интентов.
3. Использование существующих сигналов ранжирования: Большинство методов полагаются на качество базовой поисковой выдачи. Initial Scores и Summary Scores напрямую зависят от ранга или оценки (score) ресурсов, возвращаемых поисковой системой. Это означает, что авторитетные документы, хорошо ранжирующиеся по запросам, имеют больший вес в определении связи между атрибутами и сущностями.
4. Роль индексации и аннотирования: Некоторые методы предполагают глубокий анализ контента на этапе индексации, включая распознавание именованных сущностей (NER) для разрешения неоднозначностей и аннотирование документов связями с сущностями. Это подтверждает важность структурирования контента и семантической разметки.
5. Нормализация по популярности сущности: Использование Inverse Document Frequency (IDF) для нормализации оценок сущностей показывает, что система стремится находить наиболее релевантные, а не просто самые часто упоминаемые сущности.
6. Интерактивное уточнение: Механизм Attribute Suggestions с критерием "maximally refine" указывает на стремление к диалоговому поиску, помогая пользователю быстро сузить область поиска.

Best practices (это мы делаем)

• Укрепление связей Сущность-Атрибут: Создавайте контент, который четко и всесторонне описывает сущности и их ключевые атрибуты. Для медицинских сайтов это означает детальное описание болезней (сущность) и их симптомов (атрибуты). Убедитесь, что эти связи понятны поисковой системе, используя естественный язык и четкую структуру.
• Фокус на авторитетности и качестве контента (E-E-A-T): Поскольку система использует оценки ранжирования существующих документов для определения силы связи между атрибутами и сущностями, критически важно, чтобы ваш контент высоко ранжировался. Авторитетные источники имеют преимущество в том, что именно их контент будет использоваться для идентификации сущностей.
• Использование синонимов и вариативности терминов: Используйте как научные, так и общепринятые названия сущностей и атрибутов. Система хранит синонимы в Entity Data Store и распознает различные атрибуты в Attribute Data Store. Полнота описания увеличивает вероятность корректной идентификации.
• Оптимизация под комбинированные запросы: Убедитесь, что страницы, посвященные конкретной сущности, также релевантны запросам, сочетающим название этой сущности и ее ключевые атрибуты (например, [головная боль] + [мигрень]). Это напрямую влияет на Summary Score в одном из методов.
• Семантическая разметка и структура: Используйте структурированные данные (Schema.org) для явного указания сущностей и их свойств. Четкая структура документа (заголовки, списки) помогает системе на этапе индексации корректно аннотировать ваш ресурс связями с сущностями.

Worst practices (это делать не надо)

• Перечисление атрибутов без контекста: Создание страниц, которые просто перечисляют множество атрибутов (например, симптомов) без глубокого объяснения их связи с конкретными сущностями (болезнями), неэффективно. Система ищет подтверждение связи в авторитетном контенте.
• Игнорирование неоднозначности терминов: Использование терминов, которые могут иметь множество значений, без предоставления достаточного контекста. Система использует NER для разрешения неоднозначностей; отсутствие контекста может привести к тому, что упоминание не будет засчитано как релевантное сущности.
• Фокус на редких сущностях без покрытия базовых атрибутов: Попытка оптимизации под очень редкие сущности без подтверждения связи с их основными атрибутами может быть неэффективной, если система не найдет достаточного количества высококачественных результатов для подтверждения этой связи.

Стратегическое значение

Этот патент является важной частью перехода Google к семантическому поиску и подтверждает стратегию, ориентированную на сущности (Entity-Oriented Search). Он демонстрирует, как Google стремится отвечать на сложные, неявно сформулированные запросы пользователей. Для SEO это означает, что стратегия должна быть направлена на построение тематического авторитета и создание контента, который не просто отвечает на запросы, но и помогает поисковой системе строить и верифицировать связи в Графе Знаний (Knowledge Graph). Особенно это критично в YMYL-сферах.

Практические примеры

Сценарий: Оптимизация статьи о медицинском состоянии (на примере Алгоритма Б)

1. Задача: Улучшить видимость статьи о "Целиакии" по запросам, перечисляющим симптомы.
2. Исходный запрос пользователя: [вздутие живота, потеря веса, усталость].
3. Действия Google (Алгоритм Б): Google распознает симптомы (атрибуты) и выполняет поиск. Затем анализирует Топ-50 результатов.
4. Оптимизация контента: SEO-специалист должен убедиться, что статья о Целиакии (сущность) авторитетна (E-E-A-T) и четко связывает ее с этими симптомами. В тексте должны часто встречаться как название болезни, так и симптомы.
5. Ожидаемый результат: Если статья попадает в Топ-50 по исходному запросу и содержит достаточное количество упоминаний "Целиакия", система вычислит высокий Initial Score. Это приведет к высокому Final Score для сущности "Целиакия", и она будет предложена пользователю как возможный ответ.

Сценарий: Создание контента для охвата комбинированных запросов (на примере Алгоритма А)

1. Задача: Повысить релевантность сайта о фильмах для запросов об актерах.
2. Исходный запрос пользователя: [Леонардо Ди Каприо, Кристофер Нолан]. (Атрибуты).
3. Действия Google (Алгоритм А): Google распознает атрибуты фильма. Генерирует комбинированные запросы: [Леонардо Ди Каприо, Кристофер Нолан] + ["Титаник"], [Леонардо Ди Каприо, Кристофер Нолан] + ["Начало"], и т.д.
4. Оптимизация контента: SEO-специалист должен убедиться, что страница фильма "Начало" оптимизирована таким образом, чтобы высоко ранжироваться по запросу, включающему имена актера и режиссера. Это требует наличия качественного контента и ссылок, подтверждающих эту связь.
5. Ожидаемый результат: Поисковая выдача по комбинированному запросу для "Начало" будет содержать высококачественные результаты (включая оптимизированную страницу). Это приведет к высокому Summary Score для сущности "Начало", и фильм будет предложен пользователю.