Как Google использует усредненные контекстные сигналы (Additive Context Model) для точного распознавания сущностей в тексте

Описание

Какую задачу решает

Патент решает фундаментальную проблему при разрешении сущностей (Entity Resolution): неточность традиционных (мультипликативных) моделей контекста. Мультипликативные модели перемножают вероятности признаков, что приводит к излишней уверенности (overconfidence) и ошибкам, когда контекстные признаки коррелируют между собой (например, «двигатель» и «V8» в одном тексте). Изобретение повышает точность идентификации сущностей в неоднозначных ситуациях и позволяет снизить зависимость от ресурсоемких моделей согласованности (Coherency Models).

Что запатентовано

Запатентована система разрешения сущностей, использующая Additive Context Model (Аддитивную Контекстную Модель). Суть изобретения — в изменении способа агрегации контекстных сигналов. Вместо перемножения оценок поддержки (Support Scores) от разных признаков (фраз в тексте), система комбинирует их аддитивно — путем сложения и деления на количество признаков (усреднения). Это обеспечивает более надежную оценку контекста, устойчивую к коррелирующим признакам.

Как это работает

Система работает следующим образом:

• Идентификация: В тексте выделяется упоминание сущности (span of text) и формируется вектор контекстных признаков (phrase vector).
• Кандидаты: Определяются потенциальные сущности-кандидаты из базы знаний.
• Аддитивная оценка: Для каждого кандидата система извлекает Support Scores («голоса») от каждого контекстного признака. Эти оценки суммируются и усредняются, формируя Additive Context Posterior.
• Комбинирование: Контекстная оценка комбинируется с априорной вероятностью упоминания (Mention Prior).
• Разрешение: Выбирается сущность с наивысшей итоговой оценкой.
• Обучение: Модель масштабируется с помощью Semi-Supervised Learning на огромных объемах неразмеченных текстов.

Актуальность для SEO

Высокая. Точное разрешение сущностей является фундаментом для работы Knowledge Graph, понимания запросов (NLU) и оценки контента. Описанный в патенте подход к обработке контекста и использованию полуавтоматического обучения позволяет Google масштабировать и улучшать свои системы понимания языка, делая их более устойчивыми к сложностям и манипуляциям.

Важность для SEO

Патент имеет высокое стратегическое значение (8.5/10). Он раскрывает фундаментальный механизм того, как Google анализирует контекст для понимания содержания документа. Ключевой вывод для SEO: аддитивный подход снижает эффективность «накачки» текста повторяющимися или синонимичными ключевыми словами (так как их влияние усредняется). Система ценит разнообразный, семантически богатый контекст для точной идентификации темы страницы.

Детальный разбор

Термины и определения

Additive Context Model (Аддитивная контекстная модель)

Модель, которая оценивает вероятность сущности с учетом контекста, комбинируя доказательства (support scores) аддитивно (путем сложения и усреднения), а не мультипликативно.

Additive Context Posterior (Аддитивная контекстная апостериорная вероятность, q)

Вероятность того, что упоминание разрешится в определенную сущность с учетом только контекста. Рассчитывается как среднее значение Support Scores.

Coherency Model (Модель согласованности)

Компонент традиционных систем, который проверяет, связаны ли все сущности в документе между собой в графе знаний. Патент предлагает метод, работающий без полной Coherency Model.

Entity Resolution (Разрешение сущностей)

Процесс определения того, какая именно сущность из базы знаний (Knowledge Base) соответствует данному упоминанию в тексте.

Mention Model (Модель упоминаний)

Модель, предоставляющая априорную вероятность (Mention Prior) того, что данный фрагмент текста ссылается на определенную сущность, независимо от контекста.

NIL

Значение, присваиваемое упоминанию, если система не может с достаточной уверенностью связать его ни с одной известной сущностью.

Phrase Vector (Вектор фраз, b)

Набор признаков (features), представляющий контекст для упоминания сущности. Признаками могут быть именные группы (noun phrases) или фразы, кореферентные упоминанию.

Semi-supervised Learning (Полуавтоматическое обучение)

Метод машинного обучения, использующий небольшое количество размеченных данных и большой объем неразмеченных данных для тренировки модели.

Span of Text (Фрагмент текста, Упоминание)

Последовательность слов в документе, которая предположительно является упоминанием сущности.

Support Score (Оценка поддержки, Голос, r)

Числовое значение в Additive Context Model, представляющее вероятность или «голос» конкретного контекстного признака в пользу конкретной сущности.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод разрешения сущностей.

1. Система получает фрагмент текста (span) и набор фраз (контекст).
2. Определяются сущности-кандидаты из базы знаний.
3. Для каждого кандидата:
   • Сущность и фразы подаются на вход Additive Context Model.
   • Модель возвращает Support Scores для этой сущности по каждой фразе.
   • Вычисляется Первая Вероятность (Context Posterior) путем сложения Support Scores и деления на количество фраз.
   • Эта вероятность комбинируется со Второй Вероятностью (Mention Prior).
   • Вычисляется итоговая (Третья) вероятность.
4. Фрагмент текста разрешается в сущность с наивысшей итоговой вероятностью.

Ядро изобретения — использование аддитивного комбинирования (усреднения) контекстных оценок. Это отличает метод от мультипликативных моделей и снижает влияние коррелирующих признаков.

Claim 14 (Зависимый от 9): Дает точное определение «аддитивного комбинирования» как вычисление суммы оценок поддержки и деление этой суммы на количество признаков (т.е. вычисление среднего арифметического).

Claim 16 (Зависимый от 9): Определяет конкретную формулу для вычисления Context Posterior (q) для сущности (e) и вектора фраз (b) упоминания (m): q_m,e = (Σ_k b_m,k * r_k,e) / (Σ_k b_m,k). Эта формула математически описывает процесс усреднения Support Scores (r).

Claim 17 (Независимый пункт): Описывает процесс обучения модели (Semi-supervised Learning).

1. Система использует размеченные данные для обучения Additive Context Model.
2. С помощью обученной модели генерируются метки для неразмеченных данных (используя аддитивное комбинирование).
3. Модель переобучается с использованием как исходных размеченных, так и сгенерированных меток.

Описывается применение полуавтоматического обучения для расширения модели. Патент подчеркивает, что аддитивный подход позволяет эффективно использовать этот метод.

Где и как применяется

Изобретение является частью конвейера обработки естественного языка (NLP) и затрагивает ключевые этапы поиска.

INDEXING – Индексирование и извлечение признаков
Основное применение. При обработке документов система должна распознавать и разрешать (Entity Resolution) сущности, чтобы понять смысл контента и связать его с Knowledge Graph. Этот патент описывает, как именно система определяет, какая сущность имеется в виду, опираясь на контекст.

QUNDERSTANDING – Понимание Запросов
Механизм также применяется для разрешения неоднозначных сущностей в тексте поисковых запросов пользователей (как указано в Claim 5), что критично для правильной интерпретации интента.

Входные данные:

• Текст документа или запроса.
• Phrase Vector (контекст упоминания).
• Mention Model (априорные вероятности).
• Additive Context Model (содержащая Support Scores).

Выходные данные:

• Аннотированный текст, в котором упоминания связаны с конкретными идентификаторами сущностей в базе знаний или помечены как NIL.

На что влияет

• Специфические запросы и контент: Влияет на все типы контента и запросов, где присутствуют неоднозначные упоминания сущностей (имена людей, названия мест, продуктов, организаций).
• Конкретные ниши: Особенно важно для информационного контента и YMYL-тематик, где точное понимание задействованных сущностей (авторов, организаций, тем) критично для оценки авторитетности и достоверности (E-E-A-T).

Когда применяется

• Условия работы: Алгоритм активируется, когда система обнаруживает упоминание (span of text), которое потенциально может относиться к двум или более сущностям-кандидатам в базе знаний (т.е. имеет ненулевой Mention Prior для нескольких сущностей).
• Триггеры активации: Наличие неоднозначности (ambiguity).

Пошаговый алгоритм

Процесс А: Разрешение сущности в реальном времени

1. Получение данных: Система получает упоминание и его контекст (Phrase Vector).
2. Идентификация кандидатов: Используя Mention Model, система определяет список сущностей-кандидатов и их априорные вероятности (Mention Prior).
3. Вычисление контекстной вероятности (для каждого кандидата):
   1. Извлечение Support Scores: Для каждого признака в Phrase Vector система запрашивает у Additive Context Model его оценку поддержки (Support Score) для текущей сущности.
   2. Аддитивное комбинирование: Система вычисляет Additive Context Posterior путем сложения всех полученных Support Scores и деления на общее количество признаков (усреднение).
4. Вычисление итоговой оценки: Additive Context Posterior комбинируется с Mention Prior для получения итоговой оценки (overall score).
5. Выбор и валидация: Система выбирает сущность с наивысшей итоговой оценкой.
6. Пороговая проверка: Проверяется, превышает ли итоговая оценка заданный порог уверенности (confidence threshold).
   • Если ДА: Упоминание разрешается в выбранную сущность.
   • Если НЕТ: Упоминание разрешается в NIL.

Процесс Б: Обучение модели (Semi-Supervised Learning)

1. Начальное обучение: Модель обучается на размеченных данных.
2. Генерация меток: Модель используется для разметки неразмеченных данных.
3. Переоценка параметров: Параметры модели (Support Scores) пересчитываются с использованием сгенерированных меток.
4. Проверка сходимости: Система проверяет, стабилизировались ли параметры. Если нет, процесс повторяется с шага 2.

Какие данные и как использует

Данные на входе

• Контентные/Структурные факторы:
  • Текст упоминания (Span of text): Используется для определения кандидатов через Mention Model.
  • Контекст (Phrase Vector): Набор признаков, извлеченных из документа. В патенте (Claim 11) явно указано, что признаками являются:
    • Именные группы (noun phrases) из документа.
    • Фразы, кореферентные с упоминанием (phrases coreferential with the span of text) — т.е. другие фразы в тексте, ссылающиеся на тот же объект.

Какие метрики используются и как они считаются

• Support Score (r): Предварительно рассчитанная в модели оценка, насколько сильно контекстный признак поддерживает данную сущность.
• Mention Prior: Априорная вероятность того, что данный текст ссылается на сущность, без учета контекста.
• Additive Context Posterior (q): Вероятность сущности с учетом всего контекста. Рассчитывается по формуле (Claim 16), которая представляет собой усреднение Support Scores всех контекстных признаков.
• Overall Score: Итоговая оценка, полученная путем комбинирования Additive Context Posterior и Mention Prior.
• Методы машинного обучения: Используется Semi-supervised Learning для тренировки Additive Context Model до достижения сходимости (convergence).

Выводы

1. Борьба с корреляцией признаков через усреднение: Ключевое нововведение — переход от мультипликативного к аддитивному (усредняющему) комбинированию контекстных доказательств. Google использует это для борьбы с ошибками, вызванными коррелирующими или избыточными признаками (например, синонимами в одном тексте).
2. Разнообразие контекста важнее плотности: Поскольку влияние контекста усредняется, наличие разнообразных, релевантных контекстных сигналов более ценно для точного разрешения сущности, чем многократное повторение схожих фраз.
3. Масштабируемость через самообучение (Semi-supervised Learning): Аддитивная модель позволяет эффективно использовать Semi-supervised Learning. Это критически важно, так как позволяет Google обучать систему на огромных массивах неразмеченных текстов (веб-корпусе), постоянно расширяя и уточняя свое понимание контекстуальных связей.
4. Ускорение обработки за счет отказа от Coherency: Патент предлагает метод, который повышает точность без использования ресурсоемких Coherency Models (которые анализируют связи между всеми сущностями документа), что ускоряет индексацию.
5. Приоритет точности (NIL): Система явно включает механизм разрешения упоминаний в NIL, если уверенность низкая, предпочитая точность полноте.

Практика

Best practices (это мы делаем)

• Обеспечение четкого и разнообразного контекста: При упоминании ключевых сущностей (имена экспертов, названия продуктов, организаций) окружайте их разнообразными, семантически релевантными фразами и связанными сущностями. Так как модель усредняет сигналы, разнообразие контекста повышает точность разрешения.
• Насыщение текста дескриптивными фразами (Noun Phrases): Поскольку именные группы используются как признаки в Phrase Vector, важно использовать в тексте релевантные и точные дескриптивные фразы, которые помогут системе понять тематику и связи между сущностями.
• Структурирование контента для четкой кореференции: Убедитесь, что использование местоимений и анафорических ссылок внутри документа четко указывает на основную сущность. Патент упоминает, что кореферентные фразы используются как контекстные признаки. Четкая структура текста помогает системе правильно определить эти связи.
• Оптимизация под Knowledge Graph: Работайте над тем, чтобы ключевые сущности вашего сайта (бренд, авторы) были известны Google. Это увеличит вероятность того, что у модели будут качественные Support Scores для этих сущностей.

Worst practices (это делать не надо)

• Контекстный спам (Context Stuffing) и Keyword Stuffing: Повторение одних и тех же или сильно коррелирующих контекстных фраз не даст преимущества. Additive Context Model специально разработана для борьбы с этим, усредняя влияние признаков и снижая эффект избыточности.
• Использование неоднозначных упоминаний без контекста: Использование имен, имеющих множество значений (например, «Аврора» как корабль или явление), без достаточного уточняющего контекста повышает риск того, что система неверно разрешит сущность или присвоит ей NIL.
• Игнорирование семантической связи: Создание контента, где контекст слабо связан с основной сущностью. Если среднее значение Support Scores будет низким (много шумовых признаков), система не сможет уверенно разрешить сущность.

Стратегическое значение

Этот патент подтверждает стратегический фокус Google на глубоком понимании естественного языка (NLU) и переходе к семантическому поиску (Entities, а не Strings). Для SEO критически важно строить семантически точный, богатый и разнообразный контекст. Это помогает поисковой системе однозначно идентифицировать и правильно интерпретировать основные сущности документа (тему, автора, организацию), что является основой для оценки E-E-A-T и релевантности.

Практические примеры

Сценарий: Дизамбигуация термина «Apple»

Задача: Написать статью, чтобы система точно определила, что речь идет о компании Apple Inc.

1. Текст с коррелирующим контекстом: «Apple анонсировала новый iPhone. Смартфон имеет улучшенную камеру. Телефон поступит в продажу в пятницу.»
   Результат: Признаки («iPhone», «смартфон», «телефон») сильно коррелируют. В Additive Context Model эти сигналы усредняются, давая умеренно высокую уверенность.
2. Текст с разнообразным контекстом (Best Practice): «Apple под руководством Тима Кука анонсировала новый iPhone на презентации в Купертино. Акции компании выросли после запуска сервиса AppleTV+.»
   Результат: Признаки («Тим Кук», «iPhone», «Купертино», «Акции», «AppleTV+») разнообразны. Additive Context Model усреднит высокие Support Scores от этих разных признаков, что приведет к наивысшей итоговой уверенности в том, что речь идет о компании.

Вопросы и ответы