Как Google определяет сущности (например, болезни) по их атрибутам (например, симптомам) в запросе пользователя

Термины и определения

Attribute (Атрибут)

Признак, свойство или характеристика сущности. В примерах патента это медицинские симптомы (например, "головная боль", "тошнота").

Attribute Data Store (Хранилище данных атрибутов)

База данных, содержащая термины, идентифицированные как атрибуты для определенного типа сущности. Может содержать "белый список" (whitelist) терминов или данные из предыдущих запросов, классифицированных как относящиеся к данному типу.

Attribute Suggestions (Предложения атрибутов)

Дополнительные атрибуты, предлагаемые пользователю для уточнения исходного запроса. Цель — максимально сузить (maximally refine) список идентифицированных сущностей.

Combined Search Query (Комбинированный поисковый запрос)

Запрос, сгенерированный системой, который включает исходный запрос пользователя и название конкретной сущности (например, [симптом] AND [болезнь]) или, в другом варианте, исходный запрос и название типа сущности.

Entity (Сущность)

Объект или концепция определенного типа, которую система пытается идентифицировать на основе атрибутов в запросе. В примерах патента это медицинские состояния (болезни, расстройства).

Entity Data Store (Хранилище данных сущностей)

База данных, содержащая названия сущностей определенного типа (например, список болезней), включая научные названия и синонимы.

Inverse Document Frequency (Обратная частота документа, IDF)

Метрика, используемая для нормализации оценок сущностей. Позволяет снизить вес общеупотребительных сущностей, которые могут иметь завышенные оценки.

Summary Score (Сводная оценка)

Оценка, вычисленная для сущности на основе анализа результатов поиска (например, сумма или среднее значение оценок ранжирования документов, полученных по комбинированному запросу для этой сущности).

Ключевые утверждения (Анализ Claims)

Патент US8473489B1 является частью семейства патентов, описывающих разные методы идентификации сущностей. Конкретно этот патент фокусируется в своих Claims на методе модификации запроса путем добавления типа сущности.

Claim 1 (Независимый пункт): Описывает метод идентификации сущностей путем модификации запроса.

1. Система определяет, что первый запрос содержит текстовые ссылки на один или несколько предопределенных атрибутов, связанных с первым типом сущности.
2. Генерируется второй запрос, включающий первый запрос и один или несколько терминов, ссылающихся на первый тип сущности (например, добавление слова "болезнь" или "медицинское состояние").
3. Оцениваются результаты поиска, полученные по второму запросу, для выбора названий сущностей первого типа.
4. Ключевой аспект оценки: Идентификация вхождений ссылок на сущности в том же ресурсе (документе), что и термины из первого запроса. Выбор названий сущностей основывается на этих идентифицированных вхождениях (анализ совместной встречаемости).

Claim 5 (Зависимый): Уточняет, что система может предварительно идентифицировать ресурсы, содержащие ссылки на сущности данного типа, и аннотировать (annotating) их в индексной базе данных.

Claim 6 (Зависимый от 5): Выбор названий сущностей включает выбор тех, которые наиболее часто (most frequently) встречаются в одном и том же ресурсе (с атрибутами из запроса).

Claim 9 (Зависимый): Описывает генерацию предложений атрибутов (Attribute Suggestions).

Claim 10 (Зависимый от 9): Предложения атрибутов выбираются так, чтобы они максимально уточняли (maximally refine) выбранные сущности.

Claims 14 и 15 (Зависимые от 9): Описывают реакцию на выбор пользователя: если пользователь подтверждает атрибут, генерируется новый запрос с его добавлением (AND); если отрицает — генерируется запрос с его исключением (NOT).

Где и как применяется

Изобретение затрагивает несколько этапов поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных. Система анализирует ресурсы для идентификации сущностей и их атрибутов. Ресурсы могут быть аннотированы (annotated) в индексе для указания того, какие сущности или типы сущностей в них упоминаются. Также офлайн генерируются Entity Data Store и Attribute Data Store.

QUNDERSTANDING – Понимание Запросов
Основной этап активации. Система анализирует запрос, чтобы определить, содержит ли он атрибуты из Attribute Data Store и следует ли активировать механизм идентификации сущностей. Также на этом этапе могут генерироваться Attribute Suggestions.

RANKING – Ранжирование
Система выполняет поисковые запросы. В зависимости от реализации это может быть исходный запрос, модифицированный запрос (Атрибут + Тип Сущности) или множество комбинированных запросов (Атрибут + Сущность). Система получает стандартные оценки ранжирования (scores) для результатов.

RERANKING / METASEARCH – Переранжирование и Смешивание
На этом этапе происходит оценка результатов поиска для идентификации сущностей. Вычисляются Summary Scores для сущностей или анализируется совместная встречаемость. Финальный список сущностей формируется и предоставляется пользователю, часто отдельно от стандартных синих ссылок.

Входные данные:

• Исходный запрос пользователя.
• Attribute Data Store (список атрибутов).
• Entity Data Store (список сущностей и их синонимов).
• Индексная база данных (содержащая контент ресурсов и, возможно, аннотации о сущностях).

Выходные данные:

• Список идентифицированных сущностей, релевантных запросу.
• Список Attribute Suggestions для уточнения.
• Модифицированная страница результатов поиска (SERP).

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние оказывается на тематики, где объекты четко определяются набором признаков. Основной пример в патенте — медицина (YMYL). Другие возможные применения: выбор продуктов по характеристикам, идентификация фильмов по актерам/сюжету, книг по темам.
• Специфические запросы: Влияет на информационные запросы, которые носят описательный характер и подразумевают идентификацию (например, "почему у меня болит нога" вместо "лечение подагры").

Когда применяется

• Триггеры активации: Механизм активируется, когда система определяет, что запрос включает текстовые ссылки на один или несколько предопределенных атрибутов (predetermined attributes). Это может определяться исключительно по тексту запроса.
• Условия срабатывания: Проверка наличия терминов запроса в Attribute Data Store. Также может использоваться проверка на отсутствие терминов из "черного списка" (blacklist) или проверка того, что в запросе нет названия самой сущности.

Пошаговый алгоритм

Патент описывает несколько альтернативных методов (embodiments) для идентификации сущностей. Ниже представлены три основных метода, детализированных в описании патента.

Общий этап: Активация

1. Получение запроса.
2. Анализ запроса: Определение, следует ли возвращать названия сущностей определенного типа. Проверка наличия терминов в Attribute Data Store.
3. Решение: Если да, переход к одному из методов идентификации. Если нет, обработка запроса стандартным образом.

Метод 1: Комбинированные запросы (Query + Entity Name) (Описан в FIG. 4, 5)

1. Генерация запросов: Для каждой сущности из набора (например, из Entity Data Store) генерируется комбинированный запрос: Исходный запрос + Название сущности.
2. Получение результатов: Выполнение каждого комбинированного запроса.
3. Вычисление Summary Score: Для каждой сущности генерируется сводная оценка на основе оценок ранжирования (scores) полученных результатов (например, сумма или среднее).
4. Нормализация (Опционально): Корректировка Summary Score с использованием Inverse Document Frequency (IDF) названия сущности для снижения веса общеизвестных сущностей.
5. Выбор сущностей: Ранжирование сущностей по Summary Score и выбор Топ-N или тех, что превышают порог.

Метод 2: Модифицированный запрос (Query + Entity Type) (Описан в FIG. 7 и Claim 1)

1. Генерация запроса: Создание второго запроса: Исходный запрос + Термин, обозначающий Тип Сущности (например, "медицинское состояние").
2. Получение результатов: Выполнение модифицированного запроса. Система может предпочесть результаты, аннотированные как относящиеся к данному типу сущности.
3. Анализ совместной встречаемости: В полученных результатах (документах) идентифицируются вхождения названий конкретных сущностей, которые встречаются в том же ресурсе, что и термины исходного запроса.
4. Ранжирование сущностей: Сущности ранжируются на основе частоты этой совместной встречаемости.
5. Выбор сущностей: Выбор наиболее часто встречающихся сущностей.

Метод 3: Анализ результатов исходного запроса (Описан в FIG. 8, 9)

1. Получение результатов: Выполнение исходного запроса.
2. Идентификация вхождений: В ресурсах, идентифицированных результатами поиска (например, в Топ-N), подсчитывается количество вхождений названий различных сущностей. Может использоваться распознавание именованных сущностей (NER) для разрешения неоднозначностей.
3. Вычисление оценок: Для каждой сущности генерируется оценка. Она может основываться на количестве вхождений и ранге/оценке документа, в котором найдено вхождение (более высокий ранг документа дает больший вес).
4. Агрегация и Выбор: Агрегация оценок для каждой сущности по всем документам и выбор сущностей с наивысшими оценками.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании структуры данных и анализе результатов поиска.

• Контентные факторы: Содержимое ресурсов (текст) используется для анализа совместной встречаемости атрибутов и сущностей (Методы 2 и 3). Также используются названия сущностей и их синонимы.
• Системные данные:
  • Attribute Data Store: Используется для определения того, содержит ли запрос атрибуты и следует ли запускать механизм.
  • Entity Data Store: Предоставляет список сущностей для генерации комбинированных запросов (Метод 1) или для идентификации в тексте (Методы 2 и 3).
  • Оценки ранжирования (Scores): Стандартные оценки, присваиваемые поисковой системой результатам поиска. Они используются для вычисления Summary Score (Метод 1) или для взвешивания вхождений сущностей (Метод 3).
  • Аннотации в индексе: Предварительно вычисленные данные, указывающие, какие сущности или типы сущностей упоминаются в ресурсе.
• Поведенческие факторы (Косвенно): Упоминается, что Attribute Data Store может пополняться путем анализа ранее отправленных запросов (previously submitted queries) с помощью классификатора запросов (query classifier).

Какие метрики используются и как они считаются

• Summary Score (Сводная оценка): Агрегированная метрика качества результатов для комбинированного запроса (Метод 1). Может быть суммой, средним (арифметическим, гармоническим, геометрическим) или другой функцией от оценок ранжирования документов.
• Частота совместной встречаемости (Co-occurrence Frequency): Количество случаев, когда название сущности и атрибуты из запроса появляются в одном и том же документе (Метод 2).
• Взвешенная частота вхождений (Метод 3): Оценка сущности рассчитывается на основе количества ее упоминаний в документе, взвешенного на ранг или оценку этого документа.
• Нормализация по IDF: Оценки сущностей могут быть нормализованы с использованием обратной частоты документа (IDF) названия сущности: $Score_{Normalized} = f(Score, IDF_{Entity})$.
• Максимальное уточнение (Maximal Refinement): Метрика для выбора Attribute Suggestions. Выбираются атрибуты, которые приведут к наибольшему изменению в списке отображаемых сущностей, если пользователь их выберет.

1. Многообразие методов идентификации сущностей: Google патентует несколько различных подходов к связыванию атрибутов в запросе с конкретными сущностями. Это включает прямую проверку релевантности (Комбинированные запросы), анализ категоризированного контента (Модифицированные запросы) и анализ совместной встречаемости в общей выдаче (Анализ исходного запроса).
2. Важность связи "Атрибут-Сущность" в контенте: Все методы полагаются на то, что в интернете существует контент, который четко связывает сущности с их атрибутами. Сила этой связи в контенте (частота упоминаний, совместная встречаемость) напрямую влияет на идентификацию сущности системой.
3. Нормализация и борьба с популярностью: Система предусматривает механизмы нормализации (например, с помощью IDF), чтобы предотвратить доминирование общеизвестных сущностей над более редкими, но потенциально более релевантными сущностями.
4. Итеративное уточнение поиска (Attribute Suggestions): Патент описывает механизм активного вовлечения пользователя в уточнение запроса путем предложения дополнительных атрибутов. Система стремится предложить наиболее полезные уточнения (maximally refine), что указывает на сложный анализ взаимосвязей между атрибутами.
5. Предварительная обработка и аннотирование: Эффективность системы зависит от предварительного анализа контента, включая классификацию запросов для пополнения Attribute Data Store и аннотирование ресурсов в индексе для идентификации упоминаемых в них сущностей.

Best practices (это мы делаем)

• Четкая ассоциация сущностей и атрибутов: Создавайте контент, который явно связывает сущности (продукты, заболевания, концепции) с их ключевыми атрибутами (характеристики, симптомы, признаки). Это критично для всех трех методов, описанных в патенте. Например, на странице о заболевании должны быть четко перечислены и описаны его симптомы.
• Оптимизация под комбинированные запросы: Анализируйте, как пользователи ищут сущности через атрибуты. Оптимизируйте страницы так, чтобы они были релевантны как запросам по атрибутам (например, "боль в ноге"), так и комбинированным запросам (например, "боль в ноге тендинит"). Это повышает вероятность высокого Summary Score в Методе 1.
• Комплексное покрытие атрибутов: Обеспечьте полное описание всех релевантных атрибутов сущности. Это не только улучшает качество контента, но и увеличивает вероятность того, что ваша страница будет использоваться для генерации Attribute Suggestions и будет релевантна уточненным запросам пользователя.
• Использование синонимов и терминологии: Включайте как научные, так и общепринятые названия сущностей и атрибутов, так как Entity Data Store содержит оба варианта.
• Структурирование контента для категоризации (Метод 2): Если вы работаете в нише, где применим Метод 2 (например, медицина), убедитесь, что ваш контент четко позиционируется как относящийся к данному типу сущности (например, содержит термины "заболевание", "синдром"), чтобы он ранжировался по модифицированным запросам.

Worst practices (это делать не надо)

• Размытие связи между атрибутами и сущностями: Создание контента, который перечисляет множество атрибутов без четкой привязки к конкретным сущностям, или наоборот, обсуждение сущности без упоминания ее ключевых атрибутов.
• Игнорирование неоднозначности (Ambiguity): Использование названий сущностей или атрибутов, которые имеют другие популярные значения, без предоставления достаточного контекста для систем распознавания именованных сущностей (NER). Патент упоминает необходимость разрешения таких неоднозначностей.
• Переоптимизация под общие атрибуты: Фокус исключительно на высокочастотных запросах по атрибутам без работы над контентом, описывающим саму сущность. Это может привести к ранжированию в Методе 3, но не обеспечит сильных сигналов в Методах 1 и 2.

Стратегическое значение

Патент подтверждает стратегию Google по переходу от поиска по ключевым словам к пониманию сущностей и ответу на подразумеваемые вопросы. Он демонстрирует технические методы, используемые для построения связей в Knowledge Graph на лету, основываясь на контенте веба. Для SEO это подчеркивает необходимость фокусироваться на построении семантически богатого контента, который точно и полно описывает сущности и их взаимосвязи с атрибутами.

Практические примеры

Сценарий: Оптимизация страницы медицинского сайта о "Тендините"

1. Анализ Атрибутов: Определить ключевые симптомы (атрибуты): "боль при движении", "отек сухожилия", "покраснение в области сустава".
2. Применение Метода 1 (Комбинированные запросы): Убедиться, что страница оптимизирована под запросы типа [боль при движении тендинит], [отек сухожилия тендинит]. Текст должен содержать фразы, прямо связывающие симптом и болезнь.
3. Применение Метода 2 (Тип сущности): Убедиться, что страница содержит термины, определяющие тип сущности ("заболевание", "воспаление сухожилия"), и что в тексте часто встречаются комбинации симптомов и названия болезни (для анализа совместной встречаемости).
4. Применение Метода 3 (Анализ исходного запроса): Убедиться, что страница достаточно авторитетна, чтобы ранжироваться по общим запросам о симптомах ("боль при движении"), и что на ней часто и заметно упоминается "Тендинит" как причина.
5. Attribute Suggestions: Добавить информацию о связанных симптомах или факторах риска (например, "хруст при движении", "возраст старше 40 лет"), чтобы страница помогала пользователю уточнить поиск.