Как Google определяет, какие последовательности слов являются значимыми фразами, используя структуру документа и оценку подфраз

Термины и определения

Candidate Phrase (Кандидат в фразы)

Последовательность из нескольких последовательных слов в документе, которая потенциально может быть валидной фразой.

Combined Score (Комбинированная оценка)

Агрегированная оценка кандидата в фразы, основанная на его Document Phrase Scores по всей коллекции документов.

Devolution (Деволюция оценки / Score Devolution)

Процесс разложения кандидата в фразы на подфразы и перераспределения оценки родительской фразы на эти подфразы (положительно или отрицательно).

Document Phrase Score (Оценка фразы в документе)

Оценка, присваиваемая кандидату в фразы для конкретного документа, отражающая вероятность того, что он является реальной фразой, на основе его использования в этом документе.

Hit Position (Позиция вхождения)

Категоризация того, как вхождение фразы соотносится с Text Breaks. Включает:

• Exact: Фраза точно совпадает с границами (начало и конец блока).
• Initial: Фраза находится в начале блока после разрыва.
• Final: Фраза находится в конце блока перед разрывом.
• Medial: Фраза находится в середине блока.

Instance Phrase Score (Оценка вхождения фразы)

Оценка конкретного появления кандидата в фразы, основанная на его расположении (location) и позиции (position).

Strong Phrase Threshold (Порог сильной фразы)

Пороговое значение оценки. Если оценка фразы превышает его, она считается «сильной», что меняет правила деволюции оценок на подфразы (активирует негативную деволюцию).

Text Break (Семантический разрыв текста)

Маркер в документе, указывающий на семантическую границу. Примеры: конец предложения, абзаца, заголовка, видимый HTML-элемент (таблица, линия HR), значительное изменение шрифта (typeface).

Valid Phrase (Валидная фраза)

Кандидат в фразы, который прошел процесс валидации на основе его оценок в корпусе и признан реальной фразой.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод извлечения набора валидных фраз из документов.

1. Идентификация кандидатов: Система сканирует документы для идентификации кандидатов в фразы (последовательностей слов).
2. Оценка в документе (Document Phrase Scoring): Каждому кандидату присваивается Document Phrase Score для каждого документа. Эта оценка базируется на комбинировании оценок отдельных вхождений (Instance Phrase Scores).
3. Оценка вхождений: Оценка каждого вхождения зависит от двух ключевых факторов:
   • Его расположения (location) в документе (например, заголовок vs тело).
   • Его позиции (position) относительно последовательности слов, содержащей это вхождение (подразумевается позиция относительно Text Breaks).
4. Комбинированная оценка (Combined Score): Для каждого кандидата создается Combined Score на основе его Document Phrase Scores из разных документов.
5. Валидация: Система определяет, является ли кандидат валидной фразой, основываясь как на Combined Score, так и на наборе индивидуальных Document Phrase Scores.

Claim 4 (Зависимый от 1): Детализирует механизм оценки подфраз (Subphrase Scoring / Devolution).

Для каждого кандидата определяются подфразы. Каждая подфраза оценивается как функция позиции подфразы относительно последовательности слов, содержащей родительскую фразу, И Document Phrase Score родительской фразы. Это подтверждает механизм, где контекст и сила родительской фразы влияют на оценку её частей.

Claim 10 (Зависимый от 1, включает суть Claims 6, 7, 8): Определяет три критерия валидации фразы.

Кандидат признается валидной фразой, если выполняется ХОТЯ БЫ ОДНО из условий:

• Сильная поддержка (Claim 6): Максимальное значение его Document Phrase Scores превышает первый порог (сильная поддержка хотя бы в одном документе).
• Умеренная поддержка (Claim 7): Его Combined Score превышает второй порог (достаточная общая поддержка в корпусе).
• Широкая поддержка (Claim 8): Количество документов, в которых он получил хотя бы минимальную оценку, превышает третий порог (широкое использование).

Где и как применяется

Изобретение применяется на ранних этапах обработки контента для построения базовых структур данных, используемых в поиске.

CRAWLING – Сканирование и Сбор данных
На этом этапе собираются необработанные данные (документы), включая текст и структурную информацию (HTML, форматирование), которые служат входным материалом для извлечения фраз.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Процесс извлечения фраз (Phrase Extraction) выполняется как часть этапа индексирования (Feature Extraction) для идентификации значимых концепций в корпусе.

• Анализ контента: Система (Phrase Identification Server) анализирует текст и структуру документов для выявления кандидатов в фразы и определения text breaks.
• Вычисление признаков: Рассчитываются Document Phrase Scores (включая деволюцию) и агрегированные Combined Scores.
• Построение индекса: Результатом является создание списка валидных фраз (Phrase Data), который затем используется для построения индекса, основанного на фразах (Phrase Posting Lists).

QUNDERSTANDING – Понимание Запросов
Патент также описывает процесс Query Phrasification (хотя это не основная тема данного анализа извлечения). Извлеченный список валидных фраз критически важен для того, чтобы система могла разбить входной запрос на известные концепции (фразы).

Входные данные:

• Коллекция документов (веб-страницы) или логи запросов.
• Текст, структура (HTML) и данные о форматировании (typeface) документов.

Выходные данные:

• Список валидных фраз (Phrase Data).
• Статистические данные о фразах (например, ожидаемая вероятность фразы в индексе).

На что влияет

• Все типы контента и тематики: Механизм является общим и применяется для анализа любого текста с целью выявления устоявшихся фраз и концепций.
• Структурированный контент: Алгоритм особенно эффективен для контента с четкой структурой (заголовки, списки, абзацы), так как это облегчает идентификацию text breaks.
• Длинные фразы и сущности: Система способна идентифицировать длинные фразы (до N слов, где N может быть 5-20), что важно для точного понимания сложных тем и именованных сущностей.

Когда применяется

• Во время индексации: Процесс применяется при обработке новых или обновленных документов для извлечения фраз.
• Периодически (Офлайн): Извлечение фраз выполняется периодически на всем корпусе или его значительном подмножестве для обновления общего словаря фраз, выявления новых терминов и устаревания старых.
• Триггеры активации в документе: Алгоритм активируется при обнаружении text break или при заполнении буфера сканирования (N слов).

Пошаговый алгоритм (Извлечение фраз)

Этап 1: Извлечение и оценка кандидатов в документе

1. Сканирование и буферизация: Система сканирует документ, поддерживая буфер из последних N слов (например, N=5-20).
2. Идентификация разрывов (Text Breaks): Определяются семантические границы (конец предложения/абзаца, HTML-теги, смена шрифта).
3. Генерация вхождений (Hits): Когда буфер заполнен или обнаружен разрыв, содержимое буфера записывается как вхождение кандидата в фразы.
4. Категоризация позиции (Hit Position): Каждому вхождению присваивается позиция (Initial, Final, Exact, Medial).
5. Первичная оценка вхождений: Каждому вхождению присваивается оценка (Instance Phrase Score) на основе его позиции (Exact ценится выше всего), расположения (заголовок выше тела) и форматирования.
6. Отбор первичных кандидатов: Последовательности, чья оценка превышает начальный порог (Initial Phrase Identification Threshold), становятся кандидатами.

Этап 2: Оценка подфраз (Devolution)

1. Итеративное разложение: Кандидаты раскладываются на подфразы (из J слов в J-1 слово).
2. Проверка порога сильной фразы: Система сравнивает оценку родительской фразы с Strong Phrase Threshold.
3. Деволюция оценок (Слабая фраза): Если оценка ниже порога, оценка родителя распределяется между подфразами (например, по правилам, зависящим от позиции, часто X/2). Это увеличивает поддержку подфраз.
4. Деволюция оценок (Сильная фраза): Если оценка выше порога, правила меняются. Система может присвоить подфразам негативную оценку (например, -X/2). Это указывает, что подфраза встретилась только как часть сильной родительской фразы и не должна учитываться как самостоятельная единица в данном контексте.
5. Агрегация оценок в документе: Все оценки для конкретной фразы (полученные напрямую и через деволюцию) суммируются для получения итоговой Document Phrase Score.

Этап 3: Междокументная обработка и Валидация

1. Агрегация по корпусу: После обработки набора документов Document Phrase Scores для каждого кандидата агрегируются в Combined Score.
2. Валидация (Три правила): Кандидат признается валидной фразой, если выполняется одно из условий:
   • Сильная поддержка: Максимальный Document Phrase Score > Порог 1.
   • Умеренная поддержка: Combined Score > Порог 2.
   • Широкая поддержка: Количество документов с минимальной оценкой > Порог 3.
3. Удаление избыточности: Удаляются подфразы, которые имеют почти такую же (например, >95%) комбинированную оценку, как и их родительские фразы (т.е. встречаются только вместе с ними).
4. Финальная очистка: Применение эвристик и языковых моделей для удаления артефактов.

Какие данные и как использует

Данные на входе

Система использует разнообразные данные, извлеченные из документов, для оценки значимости фраз.

• Контентные факторы: Текст документа (последовательность слов).
• Структурные факторы:
  • Расположение текста (Location): заголовок, основной текст, списки, таблицы.
  • Границы предложений и абзацев (используются для определения Text Breaks).
• Технические факторы (HTML): HTML-элементы, которые создают визуальные или структурные границы (например, <title>, <p>, <h1>, <table>, <hr>). Используются для определения Text Breaks и Location.
• Мультимедиа/Форматирование факторы (Typeface): Характеристики шрифта (стиль, размер, начертание). Изменения форматирования используются для определения Text Breaks и для повышения оценки значимости фразы.
• Ссылочные факторы: Использование последовательности слов в качестве анкорного текста (Anchor Text). Упоминается, что оценка может быть повышена в зависимости от качества связанной страницы (например, PageRank).
• Лингвистические маркеры: Капитализация (может указывать на имена собственные).

Какие метрики используются и как они считаются

• Instance Phrase Score (Оценка вхождения): Рассчитывается для каждого появления фразы. Зависит от взвешивания Hit Position (Exact > Initial/Final > Medial), Location (Title > Body) и Typeface.
• Document Phrase Score: Сумма оценок всех вхождений фразы в документе, скорректированная с учетом оценок, полученных в результате деволюции (положительных или отрицательных).
• Combined Score: Агрегация (сумма, среднее или другая функция) Document Phrase Scores по всему корпусу.
• Пороги (Thresholds):
  • Initial Phrase Identification Threshold: Для первичного отбора кандидатов.
  • Strong Phrase Threshold: Для определения правил деволюции (положительная vs негативная).
  • Пороги Валидации 1, 2, 3: Для финального определения валидности фразы.
• Правила Деволюции (Devolution Rules): Набор правил для расчета передачи оценки. Например, для медиальной позиции оценка может делиться пополам (X/2) или передаваться с отрицательным значением (-X/2) для сильных фраз.

1. Автоматическое выявление концепций: Патент описывает механизм, позволяющий Google автоматически определять, какие последовательности слов следует рассматривать как единые семантические единицы (фразы) для индексации, без ручного вмешательства или простого подсчета N-грамм.
2. Структура и форматирование как семантические сигналы: Система активно использует структуру документа (абзацы, заголовки) и визуальное форматирование (шрифт) как индикаторы семантических границ (Text Breaks). То, как автор структурирует и оформляет текст, напрямую влияет на распознавание ключевых концепций.
3. Значимость расположения и позиции: Фразы, расположенные в ключевых местах (Location, например, в заголовках) или точно совпадающие с семантическими блоками (Position: Exact), получают значительно более высокие оценки.
4. Механизм «Devolution» определяет полноту концепции: Это ключевой элемент для определения того, является ли фраза самостоятельной. Система стремится найти наиболее полную значимую фразу. Если фраза признана «сильной», система может понизить значимость ее частей (через негативную деволюцию) в этом контексте, чтобы избежать фрагментации концепции.
5. Многофакторная валидация: Фраза может быть признана валидной разными путями: через очень авторитетное использование в одном документе или через широкое, но менее авторитетное использование во многих документах.

Best practices (это мы делаем)

• Используйте четкую семантическую структуру (HTML): Организуйте контент с помощью логичных заголовков (H1-H6), коротких абзацев (P), списков (UL/OL) и таблиц. Эти элементы создают четкие Text Breaks, которые помогают системе правильно определить границы фраз. Чистая структура повышает вероятность того, что целевые фразы будут идентифицированы как Exact Hits (например, если фраза является заголовком целиком).
• Размещайте ключевые концепции в значимых местах (Location): Размещение целевых фраз в заголовках (Title, H1) значительно увеличивает их Document Phrase Score, повышая вероятность их валидации как сильных фраз.
• Стратегическое использование форматирования (Typeface): Используйте выделение (например, полужирный шрифт) для ключевых фраз. Патент указывает, что характеристики шрифта учитываются при оценке значимости фразы.
• Используйте полные и устоявшиеся фразы (Концепции): Сосредоточьтесь на использовании полных концепций. Механизм деволюции стремится найти самую длинную значимую фразу. Если вы хотите ранжироваться по сложному термину, используйте его целиком и консистентно.
• Оптимизируйте анкорный текст: Используйте значимые фразы в качестве анкорного текста для внутренних и внешних ссылок. Патент подтверждает, что это повышает оценку фразы.
• Размещайте фразы в начале или конце семантических блоков: По возможности, размещайте важные фразы в начале (Initial) или конце (Final) предложений или абзацев, так как эти позиции оцениваются выше, чем серединные (Medial).

Worst practices (это делать не надо)

• «Стены текста» и отсутствие структуры: Длинные, неструктурированные блоки текста затрудняют идентификацию Text Breaks. Важные фразы в таких блоках будут классифицированы как Medial Hits и получат низкие оценки.
• Неестественное использование ключевых слов (Keyword Stuffing): Попытки манипулировать частотой без учета семантической структуры неэффективны. Система оценивает не просто частоту, а позицию, расположение и контекст использования фразы.
• Игнорирование контекста использования (Devolution): Полагаться на то, что общий термин будет высоко оценен, если он всегда является частью более длинной «сильной» фразы. Из-за негативной деволюции его самостоятельная значимость может быть пессимизирована.
• Злоупотребление форматированием: Выделение жирным шрифтом случайных слов или слишком больших участков текста может создать шумные сигналы text breaks или быть проигнорировано как попытка манипуляции.

Стратегическое значение

Патент подчеркивает важность перехода от мышления отдельными ключевыми словами к мышлению концепциями (фразами). Он подтверждает, что Google стремится индексировать контент на основе семантических единиц. Для SEO это означает, что качество написания, ясность изложения и структурная организация контента являются не просто факторами UX, но и прямыми техническими сигналами, которые используются для понимания содержания документа на самом базовом уровне — идентификации значимых концепций.

Практические примеры

Сценарий: Оптимизация определения термина для улучшения распознавания фразы

Задача: Убедиться, что Google распознает фразу «Zero-Trust Security Architecture» как значимую концепцию.

Плохая реализация (Низкая оценка фразы):

<p>В этой статье мы рассмотрим различные аспекты безопасности, включая Zero-Trust Security Architecture, а также связанные инструменты и лучшие практики...</p>

Анализ: Фраза находится в середине длинного абзаца (Medial Hit) в основном тексте (Body Location). Оценка будет низкой.

Хорошая реализация (Высокая оценка фразы):

<h2>Zero-Trust Security Architecture</h2> <p><strong>Zero-Trust Security Architecture (ZTA)</strong> — это модель безопасности...</p>

Анализ:
1. Вхождение в H2: Высокая оценка за Location, позиция Exact Hit (фраза ограничена тегами H2).
2. Вхождение в начале абзаца (Initial Hit) с выделением (Typeface).
Это значительно увеличивает Document Phrase Score и вероятность валидации фразы как «сильной».