Как Google извлекает ключевые концепции и сущности, анализируя контекст вокруг повторяющихся цитат и отрывков текста

Термины и определения

Context (Контекст)

Информация, связанная с экземпляром похожего отрывка. Включает Pre-context (слова до отрывка) и Post-context (слова после отрывка). Также может включать метаданные документа (автор, тема, дата).

Context Aggregation (Агрегация контекста)

Объединенный набор всех контекстов, извлеченных для всех экземпляров одного и того же Similar Passage.

Corpus (Корпус)

Набор цифровых документов (например, книги, статьи).

Key Term (Ключевой термин)

Термин (слово или фраза/n-грамма), извлеченный из Context Aggregation и признанный релевантным для данного отрывка. Представляет концепцию или сущность.

Key Term Generation Engine

Компонент системы, отвечающий за агрегацию контекстов и извлечение ключевых терминов.

Passage Mining Engine

Компонент системы, который анализирует корпус для выявления повторяющихся отрывков текста.

Similar Passage (Похожий отрывок)

Отрывок текста (часто цитата), который встречается в схожей форме в двух или более документах корпуса. Конкретное вхождение называется instance (экземпляр).

Terms DB (База данных терминов)

Опциональная база данных, содержащая предопределенный список возможных ключевых терминов (например, именованные сущности, концепции).

TF-IDF (Term Frequency-Inverse Document Frequency)

Статистическая мера для оценки важности термина в агрегированном контексте относительно всего корпуса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации ключевых терминов для похожего отрывка.

1. Система идентифицирует несколько документов в корпусе, содержащих экземпляры (instances) похожего отрывка (similar passage).
2. Для каждого экземпляра извлекаются слова, находящиеся в пределах порогового количества слов ДО и ПОСЛЕ отрывка (контекст).
3. Извлеченные слова для всех экземпляров объединяются в Context Aggregation.
4. Система определяет ключевые термины (Key Terms) на основе этой агрегации. Один из методов — сравнение слов в агрегации с базой данных терминов (Terms DB) и извлечение совпадений.
5. Ключевые термины представляются пользователю как гиперссылки.
6. При выборе гиперссылки пользователю показывается подмножество похожих отрывков, связанных с этим ключевым термином.

Claim 2 и 3 (Зависимые): Уточняют альтернативные методы определения ключевых терминов.

Определение Key Terms может включать выполнение анализа TF-IDF на Context Aggregation (Claim 2). Или же, генерацию кандидатов в n-граммы из агрегации и выполнение TF-IDF анализа этих n-грамм (Claim 3).

Claim 4 (Зависимый): Расширяет определение контекста.

В Context Aggregation могут быть добавлены слова из метаданных (например, автор, тема), описывающих документы, содержащие отрывок.

Claim 6 (Зависимый от 5): Описывает механизм определения связей между терминами (Related Key Terms).

Связь между двумя ключевыми терминами (первым и вторым) определяется, если они совместно расположены (co-located) в наборе ключевых терминов, связанных с *другим* похожим отрывком. Если да, они объявляются связанными.

Где и как применяется

Изобретение применяется в основном на этапе предварительной обработки данных корпуса.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Процессы выполняются офлайн (off-line), асинхронно по отношению к запросам пользователей.

1. Поиск отрывков: Passage Mining Engine анализирует корпус и идентифицирует Similar Passages.
2. Извлечение и Агрегация контекста: Key Term Generation Engine извлекает окружающий текст и метаданные для каждого экземпляра и объединяет их.
3. Генерация ключевых терминов: Используются методы (TF-IDF, сравнение с Terms DB) для определения Key Terms из агрегированного контекста.
4. Анализ связей: Определяются Related Key Terms на основе совместного расположения (co-location).

Результаты сохраняются в базах данных (Similar Passage DB, Key Term DB).

METASEARCH / Взаимодействие с пользователем
Когда пользователь просматривает документ (например, в Google Books), Web Server использует предварительно рассчитанные данные для отображения Key Terms в виде навигационных ссылок.

Входные данные:

• Корпус документов (текст и метаданные).
• Опционально: База данных известных терминов (Terms DB).

Выходные данные:

• База данных похожих отрывков с их местоположением.
• База данных ключевых терминов, ассоциированных с каждым похожим отрывком.
• Данные о связях между ключевыми терминами.

На что влияет

• Конкретные типы контента: Наибольшее влияние на корпуса с большим количеством цитирований и повторяющегося текста, но малым количеством гиперссылок (книги, научные статьи, новостные архивы).
• Концептуальный браузинг: Основное влияние — создание возможности навигации по концепциям и сущностям внутри корпуса.

Когда применяется

• Условия работы алгоритма: Алгоритм применяется к тем фрагментам текста, которые были идентифицированы как Similar Passages (встречаются в нескольких документах).
• Временные рамки: Основные вычисления выполняются офлайн и периодически обновляются по мере обновления корпуса.

Пошаговый алгоритм

Этап 1: Идентификация похожих отрывков (Офлайн)

1. Passage Mining Engine обрабатывает документы в корпусе для поиска повторяющихся фрагментов текста.
2. Найденные отрывки и их местоположение сохраняются в Similar Passage DB.

Этап 2: Генерация ключевых терминов (Офлайн)

1. Идентификация контекста: Для каждого экземпляра (instance) выбранного Similar Passage определяется контекст: извлекается Pre-context (N слов до) и Post-context (M слов после). Пороги N и M могут быть разными. Опционально извлекаются метаданные.
2. Агрегация контекстов: Все извлеченные контексты объединяются в Context Aggregation.
3. Извлечение ключевых терминов: Context Aggregation анализируется для идентификации Key Terms. Используются методы:
   1. TF-IDF анализ: Расчет TF-IDF для терминов (или сгенерированных n-грамм) в агрегации. Термины с высокими показателями выбираются как ключевые.
   2. Сравнение с базой данных: Сравнение терминов в агрегации с Terms DB. Совпадения извлекаются как ключевые термины.
4. Нормализация и Взвешивание: Слияние вариантов написания (например, "JFK" и "John F. Kennedy"). Опциональное повышение веса (boosting), если термин найден во внешнем ресурсе (например, Wikipedia).

Этап 3: Определение связанных терминов (Офлайн)

1. Анализ совместной встречаемости (co-location) ключевых терминов в наборах, ассоциированных с разными Similar Passages.
2. Если два термина часто появляются вместе, они помечаются как Related Key Terms.

Этап 4: Оценка и Использование (Онлайн)

1. Key Term Scoring Module оценивает термины (например, по TF-IDF скору) для выбора наиболее релевантных для отображения.
2. Термины отображаются пользователю как гиперссылки для навигации.

Какие данные и как использует

Данные на входе

• Контентные факторы: Критически важные данные — текст, окружающий похожие отрывки (Context). Именно этот текст анализируется для извлечения ключевых терминов.
• Структурные факторы (Метаданные): Патент явно упоминает использование метаданных документа (автор, тема, дата публикации) как части контекста.
• Системные данные: Используется Terms DB — предварительно составленный список потенциально важных терминов (сущностей, концепций).

Какие метрики используются и как они считаются

• TF-IDF (Term Frequency-Inverse Document Frequency): Основная метрика для оценки важности термина в агрегированном контексте. Высокий TF-IDF указывает на потенциальный Key Term.
• Пороги контекстного окна: Заданное количество слов до (Pre-context) и после (Post-context) отрывка.
• Частота совместной встречаемости (Co-location Frequency): Используется для определения связей между ключевыми терминами.
• N-граммы: Используются как метод генерации кандидатов в ключевые термины.
• Веса (Weights): Вес термина может быть повышен (boosted), если он найден во внешнем авторитетном источнике (например, Wikipedia).

1. Контекст определяет значение: Патент формализует принцип, что значение фрагмента текста определяется тем, как и где он используется. Google анализирует текст, окружающий фрагмент, чтобы понять его семантику и связанные концепции.
2. Агрегация контекста для выявления устойчивых связей: Система агрегирует контексты со всех мест использования фрагмента. Это позволяет отсеять шум и выявить наиболее сильные и устойчивые ассоциации между фрагментом и ключевыми терминами (сущностями).
3. Комбинированный подход к извлечению сущностей: Google использует как статистические методы (TF-IDF, n-граммы), так и подходы, основанные на знаниях (Terms DB, валидация через внешние источники типа Wikipedia), для идентификации Key Terms.
4. Построение связей через совместную встречаемость: Связи между сущностями (Related Key Terms) устанавливаются, если они часто упоминаются вместе в контекстах разных фрагментов. Это базовый механизм построения семантического графа.
5. Нормализация сущностей: Система включает механизмы слияния (merging) разных форм одного и того же термина (например, аббревиатур и полных имен).

Best practices (это мы делаем)

Хотя патент сфокусирован на анализе корпуса книг, его принципы напрямую применимы к веб-поиску, особенно в отношении анализа контекста ссылок и упоминаний сущностей.

• Оптимизация околоссылочного текста: Убедитесь, что текст, окружающий внутренние и исходящие ссылки (Context), содержит релевантные сущности и семантически связанные термины. Этот контекст помогает поисковым системам лучше понять тематику и назначение ссылки, выходя за рамки анкорного текста.
• Насыщение контекста сущностями: При упоминании важных концепций или сущностей (брендов, продуктов, людей) окружайте их тематически релевантным текстом. Это укрепляет ассоциации в графе знаний Google.
• Использование совместной встречаемости (Co-occurrence): Если вы хотите связать две концепции, убедитесь, что они естественно упоминаются рядом друг с другом в вашем контенте. Это увеличивает вероятность того, что система определит их как Related Key Terms.
• Присутствие в базах знаний: Учитывая упоминание повышения веса терминов, присутствующих в онлайн-энциклопедиях (Wikipedia), работайте над присутствием ключевых сущностей компании в авторитетных базах знаний (Knowledge Graph, Wikipedia/Wikidata).

Worst practices (это делать не надо)

• Ссылки и упоминания вне контекста: Размещение ссылок или упоминаний бренда в контенте, который семантически не связан с вашей тематикой. Если контекст размыт или нерелевантен, это не принесет пользы.
• Игнорирование текста вокруг ссылок: Фокусироваться только на анкорном тексте и игнорировать окружающий текст (особенно при внутренней перелинковке).
• Манипуляции с контекстом (Keyword Stuffing): Попытки искусственно перенасытить контекст ключевыми словами. Система использует TF-IDF, что помогает выявлять неестественное распределение терминов.

Стратегическое значение

Патент подтверждает стратегический курс Google на семантический поиск и извлечение сущностей. Он демонстрирует, что важно не только *что* вы говорите или на *кого* ссылаетесь, но и *в каком окружении* это происходит. Для SEO это означает, что построение Topical Authority требует создания богатого контекста, в котором основные темы окружены связанными сущностями и релевантными терминами.

Практические примеры

Сценарий: Оптимизация контекста внутренней ссылки

Применение принципов анализа контекста для улучшения внутренней перелинковки.

• Плохо: В конце статьи блок: "Читайте также: Быстрые диеты". Здесь контекст минимален.
• Хорошо (основано на патенте): В тексте абзаца: "Многие эксперты по питанию, включая доктора Джона Смита, предупреждают, что краткосрочные быстрые диеты могут дать временный результат, но часто вредят метаболизму. Для устойчивого похудения лучше сосредоточиться на долгосрочном изменении привычек."
• Анализ: Во втором примере ссылка окружена релевантным контекстом (Context), включающим связанные сущности ("эксперты по питанию", "доктор Джон Смит") и концепции ("метаболизм", "устойчивое похудение"). Согласно патенту, анализ этого контекста поможет системе извлечь релевантные Key Terms для целевой страницы.