Как Google определяет значимые фразы, анализируя позиционную согласованность слов

Описание

Какую задачу решает

Патент решает проблему точной идентификации значимых фраз в неструктурированном тексте. Традиционные подходы, такие как модель «Bag-of-Words», игнорируют порядок слов, а модели на основе N-грамм учитывают только локальный контекст (непосредственных соседей) и опираются на простые частотные статистики. Изобретение предлагает более сложный механизм для оценки когерентности (целостности) фразы, учитывая относительное расположение всех слов внутри нее и статистическую значимость их совместного появления в этих позициях.

Что запатентовано

Запатентована система и метод для расчета «веса фразы» (Phrase Weighting) для любой последовательности слов. Этот вес отражает вероятность того, что данная последовательность является целостной фразой. Механизм основан на предварительно рассчитанных показателях «согласованности совместной встречаемости» (Co-occurrence Consistency) для пар слов в определенных относительных позициях (Positional Bigrams). Вес фразы вычисляется путем агрегации показателей «центральности» (Centrality Value) каждого слова внутри этой последовательности.

Как это работает

Система работает в два основных этапа:

1. Офлайн-анализ корпуса: Система анализирует большой корпус текстов для расчета Co-occurrence Consistency для всех пар слов и всех возможных относительных позиций (k=1, 2, … n). Этот показатель определяет, насколько чаще данная пара слов встречается в определенной позиции, чем это можно было бы ожидать случайно.
2. Анализ последовательности (Онлайн или при Индексации): При анализе конкретной последовательности слов (например, заголовка или запроса) система извлекает рассчитанные показатели Co-occurrence Consistency для всех пар слов в этой последовательности. Затем итеративно вычисляется Centrality Value для каждого слова, показывающий его важность внутри этой конкретной фразы. Наконец, эти значения центральности объединяются для получения общего Phrase Weighting. Система также может сегментировать длинный текст на фразы, ища подпоследовательности, чей Phrase Weighting является локальным максимумом.

Актуальность для SEO

Высокая. Идентификация фраз, концепций и сущностей является фундаментом современных поисковых систем. Описанные в патенте принципы анализа позиционной согласованности и когерентности текста напрямую связаны с тем, как Google понимает язык, интерпретирует запросы и анализирует контент. Хотя конкретные алгоритмы могли эволюционировать (например, в сторону нейронных сетей типа BERT), базовая идея оценки значимости фраз на основе контекста остается критически важной.

Важность для SEO

Патент имеет высокое значение (8/10) для понимания принципов работы поиска. Он демонстрирует механизм, позволяющий Google отличать когерентные, значимые фразы от случайных наборов ключевых слов. Для SEO это означает, что порядок слов, их относительное расположение и естественность формулировок имеют измеримое значение. Стратегии, основанные на создании контента с четкими, последовательными и статистически значимыми фразами, будут более эффективны, чем простое насыщение текста ключевыми словами.

Детальный разбор

Термины и определения

Centrality Value (I) (Значение центральности)

Метрика, определяющая важность конкретного слова внутри анализируемой последовательности слов. Слово считается центральным, если оно последовательно сосуществует с другими центральными словами в их относительных позициях. Рассчитывается итеративно.

Co-occurrence Consistency (Φₖ) (Согласованность совместной встречаемости)

Метрика, показывающая, насколько чаще позиционный биграмм встречается в корпусе, чем можно было бы ожидать при случайном (incidental) совпадении. Рассчитывается путем сравнения вероятности совместной встречаемости с маржинальными вероятностями отдельных слов.

Corpus (Корпус текстов)

Большой набор электронных текстовых данных, используемый для офлайн-анализа и расчета статистик (например, Co-occurrence Consistency).

Local Maxima (Локальный максимум)

В контексте сегментации фраз — это подпоследовательность слов, чей Phrase Weighting выше, чем у всех ее соседей (т.е. более длинных или более коротких версий этой подпоследовательности). Локальные максимумы идентифицируются как значимые фразы.

Phrase Weighting (π) (Вес фразы / Когерентность фразы)

Итоговая оценка, присваиваемая последовательности слов, которая указывает на вероятность того, что эта последовательность является целостной (когерентной) фразой. Рассчитывается на основе агрегации Centrality Values слов в последовательности.

Positional Bigram (Позиционный биграмм)

Пара слов (Word A, Word B), где Word A находится на k позиций перед Word B. Например, в «new york stock exchange» пара («new», «stock») является позиционным биграммом с k=2.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод расчета веса фразы.

1. Система идентифицирует последовательность слов.
2. Для каждого слова в последовательности вычисляется Centrality Value. Это значение основано на Co-occurrence Consistency этого слова с другими словами в их соответствующих относительных позициях в этой последовательности.
3. Вычисляется Phrase Weighting для всей последовательности на основе рассчитанных Centrality Values. Этот вес указывает на вероятность того, что последовательность является фразой.

Claim 6 и 7 (Зависимые): Уточняют методы расчета Centrality Value.

Значение центральности может быть рассчитано с использованием автоассоциативного анализа (auto-associative analysis) или анализа ссылок (link analysis) между словами в их относительных позициях.

Claim 8 (Зависимый): Уточняет источник данных для Co-occurrence Consistency.

Значения Co-occurrence Consistency извлекаются из множества позиционных матриц (positional matrices), где каждая матрица содержит эти значения для пар слов в заданной относительной позиции (k).

Claim 9 (Зависимый): Определяет суть Co-occurrence Consistency.

Этот показатель учитывает, насколько более вероятно совместное появление слов в их относительных позициях, чем случайное (incidental) совпадение.

Claim 12, 13, 14, 15 (Зависимые): Описывают процесс сегментации фраз (Phrase Segmentation) в более длинном тексте.

1. Система идентифицирует множество подпоследовательностей в тексте.
2. Для каждой подпоследовательности рассчитывается Phrase Weighting (как в Claim 1).
3. Веса сравниваются между собой для идентификации хотя бы одной фразы.
4. Сравнение включает идентификацию локальных экстремумов (local extrema) среди весов. Это означает сравнение веса подпоследовательности с весами ее соседей (например, той же последовательности плюс одно слово или минус одно слово), чтобы определить, какая из них с большей вероятностью является фразой.

Где и как применяется

Изобретение является фундаментальным для понимания языка и применяется на нескольких ключевых этапах поиска.

INDEXING – Индексирование и извлечение признаков

• Офлайн-анализ: На этом этапе происходит обработка всего корпуса документов для вычисления и сохранения матриц Co-occurrence Consistency (Φₖ). Это предварительное вычисление, необходимое для последующего анализа.
• Извлечение признаков: Во время индексации конкретного документа система может использовать механизм расчета Phrase Weighting и сегментации для идентификации ключевых фраз в документе (например, в заголовках, анкорах или основном контенте). Эти фразы могут быть использованы как признаки для ранжирования или для улучшения индекса.

QUNDERSTANDING – Понимание Запросов

• Анализ запроса: Механизм применяется в реальном времени для анализа запроса пользователя. Система рассчитывает Phrase Weighting для различных подпоследовательностей запроса и выполняет сегментацию, чтобы определить наиболее значимые концепции (фразы) в запросе. Это помогает лучше понять интент пользователя.

RANKING – Ранжирование

• Оценка релевантности: Идентифицированные фразы и их веса могут использоваться как сигналы ранжирования. Совпадение когерентной фразы из запроса с когерентной фразой в документе является сильным сигналом релевантности, более сильным, чем совпадение отдельных слов.

Входные данные:

• Офлайн: Корпус текстов (Corpus).
• Онлайн/Индексация: Конкретная последовательность слов (запрос, заголовок, предложение); Матрицы Co-occurrence Consistency (Φₖ).

Выходные данные:

• Офлайн: Матрицы Co-occurrence Consistency (Φₖ).
• Онлайн/Индексация: Phrase Weighting (π) для последовательности; Идентифицированные фразы (результат сегментации).

На что влияет

• Типы контента и запросов: Влияет на все типы контента и запросов, где порядок слов и их расположение определяют смысл. Это особенно важно для информационных и коммерческих запросов, где точное понимание концепции критично.
• Точность интерпретации: Позволяет системе отличать значимые фразы (например, «new york stock exchange») от менее когерентных последовательностей, даже если они содержат популярные слова.

Когда применяется

• Офлайн-процесс: Расчет Co-occurrence Consistency выполняется периодически при обработке корпуса данных.
• Онлайн-процесс: Расчет Phrase Weighting и сегментация применяются при обработке запросов в реальном времени.
• Индексация: Применяется при анализе контента для извлечения ключевых фраз.

Пошаговый алгоритм

Алгоритм состоит из трех основных процессов.

Процесс А: Расчет Co-occurrence Consistency (Офлайн)

1. Сбор данных и подготовка: Создается словарь слов на основе корпуса текстов.
2. Идентификация позиционных биграммов: Для всех слов словаря идентифицируются все возможные позиционные биграммы для каждой относительной позиции k (k=1, 2, … n).
3. Подсчет встречаемости: Для каждого позиционного биграмма подсчитывается количество его вхождений в корпус. Патент отмечает, что этот подсчет может быть взвешенным (weighted count), учитывая важность источника или поля, где встречается биграмм (например, заголовок важнее тела документа).
4. Расчет маржинальных значений: Вычисляются маржинальные частоты (сколько раз слово А встречается за k позиций до любого слова, и сколько раз любое слово встречается за k позиций до слова В) и общая частота.
5. Расчет вероятностей: Частоты нормализуются в вероятности (совместная вероятность и маржинальные вероятности).
6. Расчет Co-occurrence Consistency (Φₖ): Для каждого позиционного биграмма определяется, насколько его совместная встречаемость превышает случайную. Это может быть рассчитано с использованием различных формул, таких как Cosine, Pointwise Mutual Information (PMI) или Jaccard coefficient.
7. Сохранение матриц: Результаты сохраняются в виде матриц согласованности (одна матрица для каждого значения k). Может применяться прунинг (удаление биграммов с низкой частотой или согласованностью).

Процесс Б: Расчет Phrase Weighting для последовательности

1. Получение последовательности: Система получает последовательность слов (например, запрос).
2. Извлечение Co-occurrence Consistency: Для всех пар слов в последовательности извлекаются соответствующие значения Φₖ из предварительно рассчитанных матриц.
3. Расчет Centrality Value (I): Для каждого слова в последовательности итеративно рассчитывается его центральность. Используются алгоритмы типа автоассоциативной важности слов, анализа ссылок (например, PageRank-подобный алгоритм) или HITS. Центральность слова зависит от его согласованности с другими словами и центральности этих других слов.
4. Расчет Phrase Weighting (π): Значения центральности всех слов в последовательности комбинируются для получения итогового веса фразы. Методы комбинирования могут включать взвешенное среднее (например, Gibb’s weighted average) или определение минимального значения центральности (minimum centrality value) в последовательности.

Процесс В: Сегментация фраз (Phrase Segmentation)

1. Получение последовательности: Система получает длинную последовательность слов.
2. Идентификация подпоследовательностей: Определяются все возможные непрерывные подпоследовательности (например, все группы из 2, 3, … слов).
3. Расчет весов: Для каждой подпоследовательности рассчитывается Phrase Weighting (используя Процесс Б).
4. Сравнение с соседями: Вес каждой подпоследовательности сравнивается с весами ее «соседей» — подпоследовательностей, которые получаются добавлением или удалением одного слова слева или справа.
5. Идентификация локальных максимумов: Подпоследовательность идентифицируется как фраза, если ее Phrase Weighting выше, чем у всех ее соседей.

Какие данные и как использует

Данные на входе

• Контентные факторы (Текст): Последовательности слов из корпуса документов или конкретная анализируемая последовательность (запрос, заголовок и т.д.).
• Структурные/Позиционные факторы: Относительное расположение слов (значение k в позиционных биграммах) является ключевым элементом анализа.
• Факторы важности источника (Weights): Патент явно упоминает возможность использования взвешенного подсчета (weighted count) при анализе корпуса. Вес может зависеть от важности поля (field weighting), в котором встречается текст (например, Title, URL, Anchor), или свойств текста (например, decorations — bold, italics).

Какие метрики используются и как они считаются

Система использует каскад метрик:

1. Co-occurrence Count (ηₖ): Базовый подсчет частоты позиционных биграммов.
2. Probabilities (Pₖ): Нормализованные частоты (совместные и маржинальные). Упоминается возможность использования сглаживания (smoothing), например, Laplace smoothing.
3. Co-occurrence Consistency (Φₖ): Измерение статистической значимости совместной встречаемости.
   Упомянутые формулы:
   • Cosine: Φₖ(vₐ, vᵦ) = Pₖ(vₐ, vᵦ) / sqrt(Pₖ(vₐ, •)Pₖ(•, vᵦ))
   • Pointwise Mutual Information (PMI): Φₖ(vₐ, vᵦ) = log(Pₖ(vₐ, vᵦ) / (Pₖ(vₐ, •)Pₖ(•, vᵦ)))
   • Jaccard coefficient.
4. Centrality Value (I): Измерение важности слова внутри фразы.
   Упомянутые алгоритмы (итеративные):
   • Auto-associative word importance algorithm.
   • Link analysis algorithm (PageRank-like).
   • HITS based algorithm.
5. Phrase Weighting (π): Измерение когерентности фразы.
   Упомянутые методы агрегации:
   • Gibb’s weighted average.
   • Minimum centrality value (minᵢ{I(xᵢ|x, Φ)}).

Выводы

1. Позиционный контекст важнее простого совместного появления: Ключевое нововведение патента — переход от анализа того, *что* слова появляются вместе, к анализу того, *где* и *насколько последовательно* они появляются в определенных позициях относительно друг друга (Positional Bigrams и Co-occurrence Consistency).
2. Учет дальних связей (Beyond N-grams): В отличие от стандартных N-грамм (обычно N=2 или 3), этот метод анализирует связи на любом расстоянии k (k=1, 2, … n) внутри последовательности, что позволяет улавливать более сложные языковые конструкции.
3. Центральность определяет когерентность: Фраза считается сильной (когерентной), если составляющие ее слова важны друг для друга именно в этой конфигурации. Centrality Value каждого слова зависит от контекста всей фразы, а не является его абсолютной характеристикой.
4. Гибкость алгоритмов расчета: Патент предлагает фреймворк, а не один жесткий алгоритм. Для расчета согласованности могут использоваться разные методы (PMI, Cosine), для центральности — разные итеративные алгоритмы (Link Analysis, HITS), для итогового веса — разные методы агрегации (Average, Minimum). Это позволяет Google настраивать систему.
5. Важность метода «Minimum Centrality»: Упоминание возможности использования минимального значения центральности для определения веса фразы критически важно. Это означает, что одно «слабое звено» (слово с низкой центральностью в контексте фразы) может значительно снизить общий вес всей фразы, даже если остальные слова имеют высокую центральность.
6. Сегментация через локальные максимумы: Метод идентификации фраз путем поиска локальных максимумов Phrase Weighting позволяет автоматически определять наиболее естественные границы концепций в тексте.

Практика

Best practices (это мы делаем)

• Использование естественных и последовательных формулировок: Пишите контент, используя четкие, естественные языковые конструкции. Поскольку система анализирует Co-occurrence Consistency на основе большого корпуса, использование общепринятых и грамматически правильных фраз повышает вероятность того, что ваш контент будет идентифицирован как когерентный.
• Оптимизация ключевых полей (Title, Headings, Anchors): Патент упоминает возможность взвешивания данных в зависимости от поля (field weighting). Это подтверждает, что фразы в важных полях (таких как Title) имеют больший вес. Убедитесь, что эти поля содержат четкие и когерентные фразы, релевантные интенту.
• Создание тематического авторитета (Topical Authority): Развивайте сайт как авторитетный источник в нише. Чем чаще ваши формулировки и фразы используются в интернете (в корпусе Google), тем выше будет их Co-occurrence Consistency, что положительно скажется на их Phrase Weighting при анализе вашего контента.
• Анализ когерентности ключевых фраз: При подборе семантики старайтесь оценивать целостность фразы. Вместо того чтобы объединять разрозненные ключевые слова, фокусируйтесь на фразах, которые представляют собой единую концепцию или сущность.

Worst practices (это делать не надо)

• Keyword Stuffing и неестественные конструкции: Перенасыщение текста ключевыми словами или использование неестественных предложений для включения ключей приводит к низкой Co-occurrence Consistency между словами в их позициях. Это снижает Centrality Values и общий Phrase Weighting.
• Случайный порядок слов: Создание контента в виде списков ключевых слов или предложений с нарушенным порядком слов неэффективно. Система анализирует именно позиционные биграммы, поэтому нарушение структуры снижает когерентность.
• Игнорирование «слабых звеньев» во фразе: Использование лишних или нерелевантных слов внутри ключевой фразы может снизить ее общий вес, особенно если Google использует метод агрегации Minimum Centrality Value. Одно слово с низкой центральностью может «потопить» всю фразу.

Стратегическое значение

Патент подтверждает стратегический фокус Google на понимании естественного языка (NLP) и семантическом поиске. Он предоставляет техническую основу для того, как система может измерять качество и значимость фраз. Для долгосрочной SEO-стратегии это означает приоритет качества контента, естественности языка и когерентности изложения над манипулятивными техниками оптимизации под конкретные ключевые слова. Понимание того, что Google ищет когерентные концепции, а не просто набор слов, должно лежать в основе создания контента.

Практические примеры

Сценарий: Оценка когерентности фразы (Использование Minimum Centrality)

Рассмотрим две фразы: Q1=»new york stock exchange» и Q2=»new jersey stock exchange».

1. Анализ Q1: Система анализирует корпус и видит высокую Co-occurrence Consistency для пар («new», «york», k=1), («york», «stock», k=1), («new», «stock», k=2) и т.д. Все слова имеют высокие Centrality Values в контексте друг друга. Phrase Weighting высокий.
2. Анализ Q2: Система видит высокую согласованность для («new», «jersey», k=1). Однако согласованность для («jersey», «stock», k=1) или («new», «stock», k=2) в контексте «jersey» может быть низкой (т.к. «jersey stock exchange» не является общепринятой фразой).
3. Результат: Слово «jersey» получит низкое Centrality Value в контексте «stock exchange». Если система использует метод Minimum Centrality Value для расчета Phrase Weighting, общий вес Q2 будет значительно ниже, чем Q1, что позволяет системе понять, что Q1 — это сильная сущность/фраза, а Q2 — вероятно, комбинация сущности («new jersey») и темы («stock exchange»).

Сценарий: Сегментация запроса

Запрос: «today morning new york stock exchange traded heavily».

1. Система анализирует все подпоследовательности и их Phrase Weighting.
2. «new york» имеет вес выше, чем «morning new» или «york stock».
3. «new york stock exchange» имеет вес выше, чем «new york stock» или «york stock exchange traded».
4. Система идентифицирует «new york stock exchange» как локальный максимум (и, вероятно, глобальный максимум) в этом запросе.
5. Результат для SEO: Google понимает, что ядром запроса является сущность «new york stock exchange», а остальные слова являются модификаторами или контекстом.

Вопросы и ответы