Как Google итеративно определяет, о какой сущности идет речь в документе (Entity Disambiguation) и рассчитывает ее важность

Описание

Какую задачу решает

Патент решает фундаментальную проблему неоднозначности языка (Ambiguity) при обработке информации. Он устраняет сложность определения того, к какой конкретной сущности относится упоминание в документе, если существуют другие сущности с таким же именем (например, «Ягуар» как животное, автомобиль или операционная система). Это критически важно для агрегации точной информации о конкретной сущности.

Что запатентовано

Запатентована система и метод для устранения неоднозначности ссылок на сущности (Entity Disambiguation) с использованием итеративного процесса (бутстрэппинг). Система использует начальный набор известных признаков (Features) сущности для поиска документов, а затем итеративно уточняет модель распознавания сущности, анализируя признаки, найденные в этих документах. Это позволяет системе автоматически улучшать свою способность отличать одну сущность от другой.

Как это работает

Механизм работает итеративно:

• Инициализация: Используется начальная модель (Initial Model) и известные признаки сущности для поиска первого набора документов, вероятно, ссылающихся на нее.
• Анализ и Уточнение: Система анализирует частоту встречаемости различных признаков в этом наборе документов.
• Построение новой модели: На основе анализа создается уточненная модель (Subsequent Model). Признаки, которые часто встречаются в этих документах, но редко встречаются в общем корпусе, получают больший вес как индикаторы сущности.
• Итерация: Новая модель используется для поиска более точного набора документов. Процесс повторяется.
• Извлечение фактов и Расчет важности: Система может извлекать новые признаки из уверенно идентифицированных документов и рассчитывать общую важность сущности (Importance of the entity), основываясь на количестве ссылающихся документов и их авторитетности (например, PageRank).

Актуальность для SEO

Высокая. Понимание сущностей является ядром современного поиска (Knowledge Graph, E-E-A-T). Хотя этот патент является продолжением заявки, поданной в 2006 году, описанный итеративный метод (бутстрэппинг) остается стандартным и высокоэффективным подходом в NLP и машинном обучении для устранения неоднозначности и расширения баз знаний.

Важность для SEO

Патент имеет фундаментальное значение для Entity SEO. Он описывает конкретные механизмы, с помощью которых Google учится отличать сущности друг от друга и рассчитывает их важность. Это напрямую влияет на то, насколько хорошо Google понимает тематику сайта, авторитетность авторов и брендов. Расчет важности сущности, взвешенный по PageRank ссылающихся документов, подчеркивает синергию между традиционным ссылочным профилем и семантическим весом сущности.

Детальный разбор

Термины и определения

Ambiguous Reference (Неоднозначная ссылка)

Упоминание в документе, которое может относиться к одной из нескольких сущностей (например, упоминание «Майкл Джексон» без контекста).

Disambiguation Engine (Механизм устранения неоднозначности)

Компонент системы, отвечающий за определение того, к какой конкретной сущности относится упоминание в документе.

Entity (Сущность) / Object (Объект)

Человек, место, концепция или вещь, о которой система хранит информацию. В патенте термины используются взаимозаменяемо.

Fact Repository (Репозиторий фактов)

База данных, хранящая факты о сущностях (объектах). Является инфраструктурной основой для Knowledge Graph.

Feature (Признак)

Любое свойство, которое может быть представлено в документе и связано с сущностью. Примеры: текст (имя, n-грамма), метаданные, URL источника, географическая информация, изображение, аудиоклип, факт из репозитория.

Importance of the entity (Важность сущности)

Метрика, оценивающая абсолютную или относительную значимость сущности. Рассчитывается на основе количества документов, ссылающихся на сущность, взвешенного по вероятности ссылки и важности самого документа (например, PageRank).

Iterative Process (Итеративный процесс / Бутстрэппинг)

Метод машинного обучения, при котором модель последовательно улучшается. Результаты работы текущей модели используются для обучения следующей, более точной модели.

Model (Модель)

Набор правил или вероятностная структура, определяющая вероятность того, что документ ссылается на конкретную сущность, учитывая набор признаков в документе.

PageRank (R(A))

Метрика важности документа (A), используемая в патенте как вес при расчете важности сущности.

P_E(A) (Вероятность ссылки)

Вероятность того, что документ (A) ссылается на сущность (E).

Ключевые утверждения (Анализ Claims)

Важное примечание о контексте: Патент US20140379743A1 является поздним патентом-продолжением (continuation patent) оригинальной заявки 2006 года. В процессе патентования формулировки Claims часто сужаются. В данном конкретном патенте Claims (Формула изобретения) были сужены до очень специфического сценария, связанного с аудиофайлами, что отличается от основного Описания (Description), которое фокусируется на веб-страницах, HTML и PageRank.

Мы проанализируем Claims как они написаны, но основной фокус для SEO будет сделан на механизмах, описанных в Description, так как они отражают общую методологию Google для веб-поиска.

Claim 1 (Независимый пункт): Описывает метод идентификации текстов, относящихся к сущности.

1. Система идентифицирует первый набор текста как связанный с сущностью на основе первого набора признаков.
2. Система идентифицирует второй набор текста как связанный с сущностью на основе второго набора признаков (отличного от первого).
3. Система идентифицирует репрезентативный признак, связанный с сущностью, на основе первого и второго наборов признаков.
4. Ключевое ограничение: Первый и второй наборы текста идентифицируются из одного и того же аудиофайла (same audio file).

Claim 16 и 19 (Независимые пункты): Аналогичны Claim 1, но описывают систему и носитель информации соответственно, также с ограничением на идентификацию текста из одного и того же аудиофайла.

Интерпретация для SEO: Несмотря на узкие Claims этого конкретного патента, описанная в нем технология итеративного распознавания и устранения неоднозначности (детально изложенная в Description) является фундаментальной для обработки веб-документов и построения Knowledge Graph. Анализ далее фокусируется на этой общей методологии.

Где и как применяется

Изобретение является ключевым компонентом процесса обработки контента и извлечения знаний.

INDEXING – Индексирование и извлечение признаков
Основной этап применения.

• Entity Disambiguation: В процессе анализа документа Disambiguation Engine определяет, какие сущности упоминаются в нем, разрешая неоднозначности (например, определяя, о каком именно «Майкле Джексоне» идет речь).
• Feature Extraction: Система извлекает признаки из документа и использует их для уточнения модели распознавания сущности.
• Knowledge Graph Expansion: Новые факты и признаки могут быть извлечены из уверенно идентифицированных документов и добавлены в Fact Repository.
• Importance Calculation: Рассчитывается метрика Importance of the entity на основе агрегации данных со всех ссылающихся документов с учетом их PageRank.

RANKING – Ранжирование
Результаты работы системы используются на этапе ранжирования. Метрика Importance of the entity может служить сигналом авторитетности. Точное понимание того, какие сущности присутствуют на странице, позволяет лучше оценить ее релевантность запросу.

Входные данные:

• Набор документов (веб-страницы, файлы и т.д.).
• Существующие данные о сущностях (Fact Repository), включая их известные признаки (Features).
• Метрики важности документов (например, PageRank).

Выходные данные:

• Вероятностная оценка (P_E(A)) того, что документ ссылается на конкретную сущность.
• Уточненные модели для распознавания сущностей.
• Новые признаки/факты, добавленные в профиль сущности.
• Метрика Importance of the entity (I(E)).

На что влияет

• Конкретные типы контента: Влияет на любой контент, содержащий упоминания именованных сущностей (статьи, новости, биографии, обзоры продуктов).
• Специфические запросы: Критически важно для запросов, связанных с неоднозначными именами (например, «Ягуар», «Apple», «Париж»).
• Конкретные ниши или тематики: Сильное влияние в нишах с большим количеством сущностей и пересекающимися названиями (медиа, наука, история, бренды).

Когда применяется

• Условия работы алгоритма: Алгоритм применяется при обработке документов во время индексирования или переиндексирования для идентификации упоминаемых в них сущностей.
• Триггеры активации: Обнаружение в документе имени или признака, который может быть связан с одной или несколькими известными сущностями (Ambiguous Reference).

Пошаговый алгоритм

Описание итеративного процесса устранения неоднозначности (бутстрэппинг).

1. Инициализация (Применение первой модели): Система начинает с первой модели (First Model) для сущности E. Эта модель основана на уже известных признаках сущности (например, Имя + 1 другой известный факт).
2. Идентификация первого набора документов: Используя первую модель, система сканирует корпус документов и идентифицирует начальный набор документов (D1), которые с высокой вероятностью ссылаются на сущность E.
3. Анализ признаков в D1: Система анализирует все признаки (слова, n-граммы, метаданные и т.д.), присутствующие в документах D1. Подсчитывается частота встречаемости этих признаков в D1 и сравнивается с их частотой в общем корпусе документов.
4. Определение уточненной модели (Subsequent Model): Создается новая модель (M2). Признаки, которые часто встречаются в D1, но редко встречаются в общем корпусе, становятся сильными индикаторами сущности E. Признаки, которые встречаются везде (например, общие слова или признаки, также связанные с другими сущностями), получают меньший вес.
5. Идентификация второго набора документов: Используя уточненную модель M2, система повторно сканирует корпус и идентифицирует новый набор документов (D2). Этот набор может включать документы, пропущенные моделью M1, и исключать документы, ошибочно включенные M1.
6. Итерация и проверка сходимости: Процесс повторяется (D2 используется для создания модели M3 и т.д.). Итерации продолжаются до тех пор, пока модель не стабилизируется, не будет достигнуто заданное число итераций или не будет исчерпан бюджет ресурсов.
7. (Опционально) Извлечение новых признаков: Из документов, которые были уверенно идентифицированы как ссылающиеся на сущность E, система может извлечь новые признаки и добавить их в профиль сущности (Fact Repository).
8. Расчет важности сущности: После завершения итераций система рассчитывает итоговую важность сущности I(E) путем суммирования вкладов от всех идентифицированных документов, взвешенных по их авторитетности (PageRank).

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных, определяемых как «Признаки» (Features).

• Контентные факторы: Текст документа, слова, n-граммы, синтаксические и семантические особенности текста.
• Структурные факторы: Факты, хранящиеся в Fact Repository (например, дата рождения, профессия сущности).
• Технические факторы: URL документа, домен источника. Патент упоминает, что источник может подразумевать наличие признаков (например, документ с espn.com подразумевает признак «спорт»).
• Мультимедиа факторы: Изображения, аудиоклипы, связанные с сущностью.
• Ссылочные факторы (для расчета важности): Метрика важности документа, явно упоминается PageRank.

Какие метрики используются и как они считаются

• P_E(A) (Вероятность ссылки): Вероятность того, что документ A ссылается на сущность E. Эта метрика вычисляется Disambiguation Engine на основе совпадения признаков в документе A с моделью сущности E.
• R(A) (Важность документа): Метрика авторитетности документа A (например, PageRank).
• I(E) (Важность сущности): Оценка значимости сущности E. Патент предлагает формулу расчета:

I(E) = Сумма по всем документам A (P_E(A) * R(A))

Это означает, что важность сущности — это сумма авторитетности всех ссылающихся на нее документов, взвешенная по уверенности системы в том, что документ действительно ссылается на эту сущность.

• Вероятности признаков: В процессе построения моделей рассчитываются вероятности появления признака в документе при условии, что он ссылается на сущность, по сравнению с вероятностью появления признака в случайном документе.
• Методы машинного обучения: Для моделирования вероятностей упоминаются различные техники, включая Bayes Net Noisy-Or model, деревья решений (decision trees) и модели максимальной энтропии (maximum entropy models).

Выводы

1. Итеративное уточнение понимания сущностей: Google не полагается на статический набор фактов. Система активно и итеративно учится тому, какие признаки (слова, контекст, факты) надежно отличают одну сущность от другой, используя метод бутстрэппинга.
2. Автоматическое расширение Knowledge Graph: Система предназначена не только для распознавания, но и для извлечения новых фактов. Если документ уверенно идентифицирован как относящийся к сущности, из него могут быть извлечены новые признаки и добавлены в Fact Repository.
3. Прямая связь между PageRank и Важностью Сущности: Патент явно определяет формулу важности сущности I(E), которая напрямую зависит от PageRank (R(A)) документов, ссылающихся на нее. Авторитетные ссылки/упоминания делают сущность более важной в глазах Google.
4. Важность контекста и отличительных признаков: Чтобы сущность была правильно распознана, она должна ассоциироваться с уникальными признаками. Общие признаки, которые встречаются повсеместно или связаны с множеством сущностей, имеют низкую различающую способность и получают меньший вес в моделях.
5. Источник документа как признак: Домен или URL источника документа может служить важным признаком для устранения неоднозначности (например, упоминание на спортивном сайте с большей вероятностью относится к спортсмену, чем к политику с тем же именем).

Практика

Best practices (это мы делаем)

• Обеспечение согласованности данных о сущности (Entity Consistency): Убедитесь, что ключевые сущности вашего сайта (бренд, авторы, продукты) представлены согласованно на всех ресурсах. Используйте микроразметку (Schema.org) для четкого определения фактов (признаков), которые Google может использовать в качестве исходных данных для Fact Repository.
• Использование отличительных признаков (Distinguishing Features): При создании контента о сущности включайте уникальные идентификаторы и связанные факты, которые помогают отличить ее от других. Например, при упоминании бренда указывайте его категорию, основателей или ключевые продукты.
• Повышение Важности Сущности через авторитетные ссылки: Стратегически работайте над получением ссылок и упоминаний с авторитетных ресурсов (с высоким PageRank). Согласно формуле I(E) = Sum(P_E(A) * R(A)), это напрямую увеличивает метрику Importance of the entity.
• Управление контекстом источника: Публикуйте контент на тематически релевантных площадках. Если ваша сущность связана с медициной, публикация на авторитетном медицинском домене поможет правильной дисамбигуации за счет использования источника как признака.
• Создание связей с другими сущностями (Co-occurrence): Упоминание вашей сущности в контексте других известных, связанных сущностей помогает в процессе дисамбигуации, так как эти связи являются сильными признаками.

Worst practices (это делать не надо)

• Неоднозначные упоминания без контекста: Использование только имени сущности без достаточного контекста или связанных признаков затрудняет ее распознавание, особенно если имя распространено.
• Игнорирование Entity SEO и Schema.org: Отсутствие четкой структуры данных о сущностях заставляет Google полностью полагаться на итеративный процесс извлечения, что повышает риск ошибок дисамбигуации.
• Фокус на низкокачественных ссылках для продвижения сущности: Получение большого количества упоминаний с неавторитетных сайтов (низкий R(A)) даст минимальный прирост к Importance of the entity (I(E)).
• Распыление и несогласованность фактов: Предоставление противоречивой информации о сущности на разных площадках ухудшает качество моделей распознавания и снижает уверенность системы (P_E(A)).

Стратегическое значение

Этот патент подтверждает переход от ключевых слов к сущностям как основе поиска. Он демонстрирует, что Google обладает сложными механизмами для автоматического обучения и уточнения своего понимания мира. Стратегически это означает, что построение авторитетности сущности (бренда, автора) является критически важным направлением SEO. Синергия между E-E-A-T (которое во многом основано на сущностях) и традиционными сигналами авторитетности (PageRank) математически подтверждена в формуле расчета важности сущности.

Практические примеры

Сценарий: Дисамбигуация и повышение важности нового бренда «Аврора»

Проблема: «Аврора» — очень неоднозначное имя (крейсер, богиня, кинотеатр, множество мелких компаний).

1. Действие (Инициализация): Создается сайт компании «Аврора» (IT-консалтинг). На сайте четко указаны признаки: Категория (IT-консалтинг), Основатель (Иван Петров), Ключевой продукт (Система Аврора-CRM). Размещается Schema.org Organization.
2. Действие (Усиление признаков): Публикуются пресс-релизы и статьи, где «Аврора» упоминается строго в контексте этих признаков («Аврора представила Аврора-CRM», «Иван Петров из Авроры прокомментировал IT-рынок»).
3. Процесс Google (Итерация): Google находит эти документы. Начальная модель идентифицирует их как относящиеся к новой сущности. Анализируя их, система видит, что признаки «IT-консалтинг», «Иван Петров» и «Аврора-CRM» часто встречаются вместе с «Аврора». Модель уточняется: эти признаки становятся сильными индикаторами именно этой сущности.
4. Действие (Повышение важности): Компания получает упоминание в авторитетном бизнес-издании (Высокий R(A)).
5. Результат: Google уверенно идентифицирует это упоминание (Высокий P_E(A)) благодаря уточненной модели. Важность сущности «Аврора (IT-консалтинг)» значительно возрастает за счет комбинации высокого P_E(A) и высокого R(A). Сущность начинает лучше ранжироваться и может появиться в Knowledge Panel.

Вопросы и ответы