Как Google автоматически находит парафразы и синонимы, анализируя фрагменты предложений, связанных с одними и теми же сущностями или датами

Описание

Какую задачу решает

Патент решает задачу автоматической идентификации парафраз (paraphrases) – слов и фраз, имеющих одинаковое или схожее значение, но разную формулировку. Традиционные методы требовали ручного составления списков или анализа параллельных корпусов (например, переводов), что трудоемко и плохо масштабируется. Изобретение предлагает метод для автоматического обнаружения парафраз из большого корпуса неструктурированных документов (например, веба) без ручного контроля.

Что запатентовано

Запатентована система и метод для идентификации парафраз путем использования существующего индекса, который содержит Information Items (информационные элементы, такие как даты, имена сущностей или концепции) и связанные с ними Sentence Fragments (фрагменты предложений). Суть метода заключается в предположении, что если два разных фрагмента предложения связаны с одним и тем же информационным элементом, они, вероятно, описывают одно и то же событие или факт. Путем выравнивания этих фрагментов система идентифицирует различающиеся части как потенциальные парафразы.

Как это работает

Система работает следующим образом:

• Предварительное условие: Наличие индекса пар Information Item – Sentence Fragment (например, «1989» – «Советские войска вышли из Афганистана»).
• Идентификация кандидатов: Система находит два разных фрагмента предложения, связанных с одним и тем же информационным элементом.
• Выравнивание (Alignment): Фрагменты токенизируются и выравниваются для идентификации совпадающих и различающихся токенов.
• Извлечение парафраз: Различающиеся токены извлекаются как потенциальная парафраза (Potential Paraphrase Pair). Например, из «pulled out of» и «withdrew from».
• Фильтрация и Пороги: Применяются пороги качества выравнивания (например, минимальное количество совпадающих не стоп-слов) и максимальной длины парафразы.
• Группировка и Подсчет Частоты: Идентичные пары парафраз группируются, и подсчитывается частота их встречаемости (frequency of occurrence value).
• Индексация: Пары парафраз, частота которых превышает минимальный порог, сохраняются в Paraphrase Index.

Актуальность для SEO

Высокая. Понимание естественного языка, синонимии и семантической эквивалентности является фундаментом современных поисковых систем (BERT, MUM). Этот патент (исходная заявка от 2005 года) описывает масштабируемый, неконтролируемый метод для автоматического построения базы знаний о парафразах, что критически важно для понимания запросов (Query Understanding) и оценки релевантности контента.

Важность для SEO

Патент имеет высокое значение (8.5/10) для понимания стратегии Google. Он демонстрирует, как Google автоматически изучает вариативность языка и семантическую близость на уровне фраз, а не только отдельных слов. Это подчеркивает отход от ранжирования по точному совпадению ключевых слов к семантическому поиску. Для SEO это означает, что система способна распознать релевантность контента, даже если он не содержит точной формулировки запроса пользователя, при условии использования естественных парафраз.

Детальный разбор

Термины и определения

Alignment (Выравнивание)

Процесс сопоставления токенов в двух фрагментах предложений для идентификации совпадающих (like tokens) и различающихся (dissimilar tokens) частей.

Information Item (Информационный элемент)

Конкретная единица информации, извлеченная из документа и используемая как анкорь для сравнения. В патенте определена как дата, имя (человека, места, организации) или концепция.

Paraphrase (Парафраза)

Слово или фраза, имеющая то же или схожее значение, что и другое слово или фраза, но отличающаяся по написанию.

Paraphrase Engine (Механизм обработки парафраз)

Компонент системы (Paraphrase Engine 168), отвечающий за идентификацию, извлечение и индексацию пар парафраз из индекса информационных элементов.

Paraphrase Index (Индекс парафраз)

Итоговая база данных, содержащая извлеченные пары парафраз, часто с указанием ранга или частоты встречаемости.

Potential Paraphrase Pair (Потенциальная пара парафраз)

Кандидат на парафразу, извлеченный на этапе выравнивания, до применения финальной фильтрации по частоте.

Sentence Fragment (Фрагмент предложения)

Синтаксическая клаузула, содержащая фактическую информацию, извлеченная из документа и связанная с Information Item.

Tokens (Токены)

Единицы, на которые разбивается текст (слова, знаки препинания) в процессе токенизации.

Frequency of occurrence value (Значение частоты встречаемости)

Метрика, показывающая, сколько раз конкретная пара парафраз была идентифицирована в исходном корпусе данных.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации парафраз.

1. Система идентифицирует в индексе первый и второй фрагменты предложения, которые оба связаны с одним и тем же первым Information Item (который является датой, именем сущности или концепцией).
2. В ответ на это система идентифицирует пару парафраз в этих двух фрагментах.
3. Процесс повторяется для идентификации множества пар парафраз.
4. Определяется frequency of occurrence value для каждой пары.
5. Уточняется, что парафраза является собственным подмножеством (proper subset) слов фрагмента предложения, и что обе парафразы в паре на одном языке, имеют схожее значение и не идентичны.

Ядро изобретения — использование связи разных фрагментов с одной и той же сущностью или датой как сильного сигнала того, что эти фрагменты семантически эквивалентны.

Claim 6 (Независимый пункт): Описывает процесс создания коллекции парафраз с фильтрацией по частоте.

1. Идентификация коллекции пар парафраз из индекса.
2. Определение frequency of occurrence value для первой пары парафраз.
3. Добавление этой пары в коллекцию данных (Paraphrase Index) на основании того, что значение частоты встречаемости соответствует определенному критерию (порогу).

Этот пункт защищает механизм фильтрации шума и обеспечения качества путем учета только тех парафраз, которые встречаются достаточно часто.

Claim 13 (Независимый пункт): Детализирует процесс выравнивания и использования порогов для идентификации парафраз.

1. Повторяющийся процесс:
   • Идентификация двух фрагментов, связанных с одним информационным элементом.
   • Выравнивание фрагментов для сопоставления токенов.
   • Определение количества совпадающих не стоп-слов (matched non-stop tokens).
   • Определение количества различающихся токенов (dissimilar tokens).
   • Идентификация пары парафраз в различающихся токенах, основываясь, по крайней мере частично, на количестве совпадающих не стоп-слов и количестве различающихся токенов (т.е. применение порогов качества выравнивания).
2. Определение частоты встречаемости.
3. Идентификация подмножества пар парафраз, чья частота выше критерия.
4. Добавление этого подмножества в индекс.

Этот пункт защищает конкретный механизм использования лингвистических характеристик (не стоп-слова) и структурных характеристик (количество совпадений/различий) для валидации качества парафраз.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, в основном в офлайн-процессах подготовки данных для ранжирования и понимания запросов.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная работа. Extraction Engine (Механизм извлечения) анализирует документы для извлечения пар Information Item – Sentence Fragment и создания исходного индекса. Это процесс извлечения фактов и событий, связанных с сущностями и датами.

QUNDERSTANDING – Понимание Запросов (Инфраструктура/Офлайн)
Основное применение патента находится здесь, но в качестве офлайн-процесса. Paraphrase Engine обрабатывает индекс, созданный на этапе INDEXING, для генерации Paraphrase Index. Этот индекс затем используется системами понимания запросов в реальном времени.

RANKING – Ранжирование
Созданный Paraphrase Index может использоваться на этапе ранжирования для оценки релевантности документа запросу, позволяя сопоставлять парафразы в запросе с парафразами в документе, улучшая полноту (Recall) поиска.

Входные данные:

• Индекс пар Information Item – Sentence Fragment.
• Лексикон и список стоп-слов (для токенизации и фильтрации).

Выходные данные:

• Paraphrase Index – база данных пар парафраз с их частотой встречаемости или рангом.

На что влияет

• Специфические запросы: Наибольшее влияние на информационные и транзакционные запросы, где пользователи используют разнообразные формулировки для описания одного и того же намерения (например, «как присоединиться к клубу» vs «как стать членом клуба»).
• Типы контента: Влияет на все типы текстового контента. Позволяет системе лучше понимать эквивалентность контента в новостях, статьях, описаниях товаров.
• Языковые особенности: Метод не зависит от конкретного языка, если доступны инструменты токенизации и исходный индекс информационных элементов. В Claim 1 указано, что парафразы должны быть на одном языке.

Когда применяется

Алгоритм применяется в офлайн-режиме для периодического анализа корпуса данных и обновления Paraphrase Index.

Триггеры активации и пороговые значения:

• Порог выравнивания (Alignment Threshold): Активируется, когда два фрагмента предложения достаточно похожи. Патент упоминает примеры порогов: не менее трех совпадающих не стоп-слов и максимум пять токенов в каждой группе различающихся токенов (парафразе).
• Порог частоты (Minimum Frequency Threshold): Активируется, когда потенциальная пара парафраз встречается в корпусе достаточное количество раз (например, минимум 3 раза), чтобы считаться надежной.

Пошаговый алгоритм

Процесс создания индекса парафраз.

1. Идентификация потенциальных пар парафраз:
   • Система идентифицирует пару фрагментов предложений из индекса, которые связаны с одним и тем же информационным элементом.
   • Фрагменты токенизируются.
   • Фрагменты выравниваются для сопоставления одинаковых токенов и выявления различающихся токенов.
   • Система проверяет, соответствует ли выравнивание минимальному порогу (Alignment Threshold) (например, достаточное количество совпадений не стоп-слов, не слишком длинные различающиеся части).
   • Если порог пройден, различающиеся токены извлекаются как Potential Paraphrase Pair.
   • Этот процесс повторяется для всего индекса информационных элементов.
2. Группировка потенциальных пар: Все извлеченные потенциальные пары парафраз группируются по идентичности (например, все пары «pulled out of» / «withdrew from» попадают в одну группу).
3. Обработка группы: Система выбирает группу для анализа.
4. Проверка порога частоты: Определяется количество пар в группе (frequency of occurrence value). Сравнивается с минимальным порогом (например, 3).
5. Принятие решения:
   • Если порог не пройден, группа отбрасывается (шум).
   • Если порог пройден, пара парафраз индексируется в Paraphrase Index вместе с ее частотой встречаемости.
6. Итерация: Система проверяет, остались ли необработанные группы, и повторяет шаги 3-5 до завершения.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке уже извлеченных данных и не детализирует исходные факторы ранжирования документов.

• Структурные данные (Индекс): Критически важным является наличие предварительно созданного индекса, содержащего пары Information Item (дата, сущность, концепция) и Sentence Fragment.
• Контентные факторы (Текст): Используется текст фрагментов предложений для токенизации и выравнивания.
• Лингвистические данные: Используются списки стоп-слов для фильтрации при оценке качества выравнивания (non-stop tokens).

Какие метрики используются и как они считаются

• Количество совпадающих не стоп-слов (Number of matched non-stop tokens): Метрика качества выравнивания. Чем больше совпадений значимых слов, тем выше уверенность в том, что фрагменты описывают одно и то же.
• Количество различающихся токенов (Number of dissimilar tokens): Метрика длины парафразы. Используется для фильтрации слишком длинных или коротких парафраз.
• Порог выравнивания (Alignment Threshold): Комбинация двух вышеуказанных метрик для принятия решения об извлечении потенциальной пары.
• Значение частоты встречаемости (Frequency of occurrence value): Подсчет количества раз, когда конкретная пара парафраз была идентифицирована. Используется для финальной фильтрации и ранжирования парафраз.
• Критерий/Порог частоты (Minimum Frequency Threshold): Минимальное значение частоты для включения парафразы в итоговый индекс.

Выводы

1. Автоматическое изучение семантической эквивалентности: Патент описывает механизм, позволяющий Google автоматически и в огромном масштабе изучать, какие фразы являются взаимозаменяемыми. Это не просто список синонимов (WordNet), а контекстуально обусловленные парафразы, извлеченные из реального использования языка.
2. Отход от точного совпадения ключевых слов: Этот механизм является фундаментальным для семантического поиска. Он позволяет системе понимать, что запрос и контент релевантны друг другу, даже если они используют совершенно разные слова для описания одного и того же факта или события.
3. Использование сущностей и фактов как анкорей: Ключевая инновация заключается в использовании Information Items (сущностей, дат) как «анкорей» для поиска семантически эквивалентных предложений. Если два предложения привязаны к одной сущности, они, вероятно, говорят об одном и том же.
4. Важность чистоты данных и фильтрации: Система полагается на строгие пороги (качество выравнивания и частота встречаемости) для фильтрации шума. Это гарантирует, что в Paraphrase Index попадают только надежные данные.
5. Влияние на Query Understanding: Итоговый индекс парафраз напрямую используется для расширения и переписывания запросов пользователя, улучшая понимание его истинного намерения.

Практика

Best practices (это мы делаем)

• Использование естественного языка и вариативности: Пишите контент естественным языком, используя разнообразные синонимы и парафразы для описания ключевых концепций. Этот патент подтверждает, что Google обладает механизмами для распознавания такой вариативности и понимания семантической эквивалентности. Не нужно зацикливаться на одной «идеальной» ключевой фразе.
• Четкая связь контента с сущностями: Создавайте контент, который четко устанавливает связь между описываемыми фактами/событиями и конкретными сущностями (Information Items). Это не только помогает пользователям, но и потенциально увеличивает вероятность того, что ваш контент будет использован для извлечения парафраз и улучшения понимания темы системой.
• Фокус на семантическом соответствии интенту: Вместо оптимизации под конкретные ключевые слова, сосредоточьтесь на полном ответе на интент пользователя. Система, использующая подобный Paraphrase Index, сможет сопоставить ваш контент с широким спектром запросов, имеющих схожее намерение.

Worst practices (это делать не надо)

• Keyword Stuffing и неестественное повторение: Попытки манипулировать релевантностью путем многократного повторения одной и той же ключевой фразы неэффективны. Система распознает парафразы, поэтому вариативность предпочтительнее повторения.
• Создание контента только под точное вхождение запроса: Оптимизация страницы исключительно под один вариант формулировки запроса (например, только «купить автомобиль») ограничивает потенциальный охват. Системы понимания парафраз ищут семантическое соответствие, и игнорирование связанных формулировок (например, «приобрести машину») является упущенной возможностью.
• Использование неестественных или сгенерированных синонимов (Спиннинг контента): Хотя система ищет парафразы, она извлекает их из естественного использования языка и применяет фильтры качества. Искусственный спиннинг текста часто приводит к грамматически некорректным или семантически искаженным предложениям, которые не будут распознаны как качественные парафразы.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google на глубокое понимание языка (NLU) и семантический поиск. Он показывает, как Google строит свою базу знаний о языке автоматически, используя структуру веба и связь контента с сущностями. Для долгосрочной SEO-стратегии это означает, что техническая оптимизация и ссылочное продвижение должны сопровождаться созданием контента, который демонстрирует глубокое понимание темы и использует богатый, естественный язык, соответствующий реальным запросам пользователей.

Практические примеры

Сценарий: Оптимизация страницы услуги по ремонту.

1. Анализ интента: Пользователи хотят починить сломанный экран смартфона.
2. Исследование формулировок (вместо просто ключевых слов): Пользователи ищут: «замена экрана iphone», «починка дисплея iphone», «сколько стоит новый экран iphone», «треснуло стекло iphone ремонт».
3. Применение (Best Practice): Вместо того чтобы повторять фразу «замена экрана iphone» 20 раз, естественно интегрируйте различные парафразы в текст, заголовки и FAQ.
   • Заголовок: «Быстрая замена экрана iPhone».
   • Текст: «Если у вас треснуло стекло, мы можем выполнить починку дисплея в течение часа. Узнайте стоимость нового экрана для вашей модели ниже.»
4. Ожидаемый результат: Основываясь на механизмах патента, Google способен понять, что «замена экрана», «починка дисплея» и «ремонт треснувшего стекла» являются парафразами в данном контексте. Страница будет считаться релевантной для всех этих вариантов запросов, увеличивая охват и трафик.

Вопросы и ответы