Как Google использует эмбеддинги и синтаксический анализ для распознавания связей между сущностями и переписывания запросов в рамках сессии

Описание

Какую задачу решает

Патент решает фундаментальную задачу NLP — Coreference Resolution (разрешение кореференции). Это процесс определения того, какие именные группы (Noun Phrases) в тексте ссылаются на одну и ту же сущность (например, связывание «Барак Обама», «Президент» и «он»). Точное разрешение кореференции необходимо для глубокого понимания содержания документа и, как особо подчеркнуто в патенте, для точной интерпретации и модификации поисковых запросов пользователя в контексте диалоговой сессии.

Что запатентовано

Запатентована система разрешения кореференции, основанная на машинном обучении и Distributed Word Representations (эмбеддингах). Ключевая инновация заключается в создании двух различных представлений для каждой именной группы: как ссылающегося элемента (Referring Feature Representation, RFR) и как потенциального антецедента (Antecedent Feature Representation, AFR), который включает синтаксические признаки. Система итеративно обучает специализированные Coreference Embeddings для проецирования этих разнородных представлений в общее векторное пространство, где близость указывает на кореферентность. Основное применение — модификация поисковых запросов на основе контекста.

Как это работает

Механизм работает следующим образом:

• Идентификация и Векторизация: В тексте выделяются именные группы (NPs) и определяются их базовые эмбеддинги (DWRs).
• Создание Представлений: Формируются RFR и AFR. Они включают DWRs и дополнительные признаки. Критически важно, что AFR включает синтаксическое расстояние до ссылающейся фразы (Parse Tree Distance).
• Обучение Эмбеддингов: Используя размеченные данные, система итеративно обучает отображения (Coreference Embeddings), которые проецируют RFR и AFR (имеющие разную размерность) в общее пространство. Обучение оптимизирует функцию потерь (Loss Function) для минимизации ошибок.
• Разрешение Кореференции: Вычисляется расстояние (например, через скалярное произведение) между векторами в общем пространстве. Наиболее близкий кандидат выбирается как антецедент.
• Переписывание Запроса: В контексте поиска система может переписать текущий запрос, заменив неоднозначную фразу (например, местоимение) на идентифицированный антецедент из предыдущего контекста.

Актуальность для SEO

Высокая. Глубокое понимание языка с использованием нейронных сетей и эмбеддингов (BERT, MUM) является основой современного поиска. Разрешение кореференции критически важно для точного извлечения фактов, понимания контента и особенно для развития диалогового и контекстуального поиска. Описанные методы соответствуют текущему вектору развития NLP в Google.

Важность для SEO

Патент имеет высокое значение (75/100). Он напрямую влияет на две ключевые области: 1. Понимание контента (Indexing): Способность Google точно связывать сущности и их упоминания влияет на то, насколько полно система понимает тематику, экспертизу и структуру документа. 2. Понимание запросов (Query Understanding): Патент явно описывает использование этой технологии для переписывания запросов в рамках сессии. Это критически важно для SEO-стратегий, ориентированных на диалоговый поиск и понимание контекстуального намерения пользователя.

Детальный разбор

Термины и определения

Antecedent Feature Representation (AFR) (Представление признаков антецедента)

Векторное представление именной группы, когда она рассматривается как потенциальный антецедент (то, на что ссылаются). Включает базовый эмбеддинг (DWR), дополненный признаками, в частности, Parse Tree Distance до ссылающейся фразы.

Coreference Embeddings (Кореферентные эмбеддинги)

Итеративно обучаемые отображения (например, матрицы), которые проецируют RFR и AFR из их исходных пространств разной размерности в общее k-мерное векторное пространство для сравнения.

Coreference Resolution (Разрешение кореференции)

Процесс определения того, какие именные группы в тексте относятся к одной и той же сущности.

Distributed Word Representation (DWR) (Распределенное представление слова / Эмбеддинг)

Векторное представление слова или фразы, фиксирующее его синтаксические и семантические характеристики на основе контекста употребления.

Loss Function (Функция потерь)

Функция, оптимизируемая во время обучения (например, hinge-loss). Она штрафует систему, когда неправильные антецеденты ранжируются выше правильных.

Noun Phrase (NP) (Именная группа)

Фраза с существительным или местоимением в качестве главного слова (Head Token). Делятся на типы упоминаний: Именованные (Named), Номинальные (Nominal), Прономинальные (Pronominal).

Parse Tree Distance (Расстояние в дереве разбора)

Метрика синтаксической близости. Длина пути между двумя фразами в дереве синтаксического разбора предложения. Ключевой признак для AFR.

Referring Feature Representation (RFR) (Представление признаков ссылающейся фразы)

Векторное представление именной группы, когда она рассматривается как ссылающийся элемент (то, что ссылается). Включает базовый эмбеддинг (DWR), опционально дополненный признаками (пол, число и т.д.).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный процесс разрешения кореференции с конкретным применением для модификации поискового запроса.

1. Система идентифицирует Distributed Word Representations (DWR) для именных групп (NPs).
2. На основе размеченных данных (labeled data) определяются обучающие пары RFR и AFR. Ключевое условие: AFR включает Parse Tree Distance между антецедентом и ссылающейся фразой.
3. Указывается, что RFR и AFR изначально имеют разную размерность (m-мерные и n-мерные векторы).
4. Система итеративно обучает Coreference Embeddings, проецируя эти разнородные векторы в общее k-мерное пространство.
5. После обучения система идентифицирует первый текстовый сегмент (контекст) и второй текстовый сегмент (текущий поисковый запрос).
6. В первом сегменте ищутся кандидаты в антецеденты, во втором — ссылающаяся фраза.
7. Вычисляются меры расстояния (через внутреннее произведение — inner products) в общем k-мерном пространстве.
8. Определяется оценка (score) для каждого кандидата и выбирается лучший антецедент.
9. Поисковый запрос модифицируется путем замены ссылающейся фразы на выбранный антецедент.
10. Система предоставляет результаты поиска в ответ на модифицированный запрос.

Ядром изобретения является метод обучения специализированных эмбеддингов, который интегрирует семантические (DWR) и синтаксические (Parse Tree Distance) признаки, для задачи кореференции, применяемый для переписывания запросов в реальном времени на основе контекста сессии.

Claim 8 (Зависимый от 1): Уточняет, что «первый текстовый сегмент» (контекст) может быть предыдущим поисковым запросом, выданным тем же устройством. Это подтверждает применение технологии для диалогового поиска.

Где и как применяется

Изобретение применяется на двух ключевых этапах архитектуры поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе система использует разрешение кореференции для глубокого анализа контента документов. Это позволяет Google более точно понимать, какие атрибуты или действия относятся к конкретным сущностям. Например, связывание местоимений и описаний с основными сущностями улучшает качество извлечения фактов и понимание структуры текста.

QUNDERSTANDING – Понимание Запросов
Это основное применение, описанное в Claims. Система работает в реальном времени для анализа сессии пользователя.

1. Анализ контекста сессии: Система рассматривает текущий запрос в контексте предыдущих запросов (first text segment).
2. Разрешение кореференции: Если текущий запрос содержит ссылки (например, местоимения), система использует обученные Coreference Embeddings для поиска антецедента в контексте.
3. Переписывание запроса (Query Rewriting): Текущий запрос модифицируется путем замены ссылки на найденную сущность для уточнения интента.

Входные данные:

• Текстовые сегменты (документы или история запросов).
• Предварительно вычисленные DWRs (базовые эмбеддинги).
• Синтаксические деревья разбора (Parse Trees).
• Обученные матрицы Coreference Embeddings.

Выходные данные:

• Аннотации кореференции в документах (Indexing).
• Модифицированный (переписанный) поисковый запрос (Query Understanding).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на диалоговые (Conversational) и последовательные запросы, где пользователь задает уточняющие вопросы, используя местоимения («кто он?», «где это находится?»).
• Типы контента: Влияет на анализ любого контента, где важно отслеживание сущностей — новости, обзоры, биографии.
• Языковые ограничения: Метод разработан с возможностью адаптации к разным языкам (упоминаются испанский и французский), так как он меньше зависит от жестких лингвистических правил.

Когда применяется

• При индексировании: Во время NLP-обработки документов для извлечения и связывания сущностей.
• При обработке запроса: Активируется, когда система обнаруживает потенциальные кореферентные ссылки в запросе и имеет доступ к контексту сессии (предыдущим запросам).

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов: Обучение и Применение.

Процесс А: Итеративное обучение кореферентных эмбеддингов (Офлайн)

1. Сбор данных: Получение размеченного корпуса текстов (labeled data) с указанными кореферентными связями.
2. Извлечение признаков и Формирование представлений: Для каждой именной группы (NP) в корпусе:
   • Получение базового DWR и дополнительных признаков (тип упоминания, пол и т.д.).
   • Вычисление Parse Tree Distance до связанных NPs.
   • Создание RFR (mᵢ) и AFR (aⱼ). AFR обязательно включает Parse Tree Distance.
3. Инициализация эмбеддингов: Инициализация отображений (матриц) Φ и γ для проекции RFR и AFR.
4. Итеративная оптимизация:
   • Определение положительных (a⁺) и отрицательных (a⁻) наборов антецедентов.
   • Расчет функции потерь (Loss Function, например, hinge-loss), которая штрафует за неправильное ранжирование антецедентов: L(D) = Σ Σ Σ [1 + f(i,j⁻) — f(i,j⁺)]₊.
   • Обновление матриц эмбеддингов (например, с помощью SGD) для минимизации потерь.
5. Сохранение модели: Сохранение обученных Coreference Embeddings (Φ и γ).

Процесс Б: Применение для переписывания запроса (Онлайн)

1. Получение сессии: Система получает предыдущий запрос (first text segment) и текущий запрос (second text segment).
2. Идентификация NPs: Выделение кандидатов в антецеденты в первом сегменте и ссылающейся фразы (i) во втором.
3. Генерация представлений: Формирование AFR (aⱼ) для кандидатов и RFR (mᵢ) для ссылающейся фразы.
4. Применение эмбеддингов: Использование обученных отображений (Φ и γ) для проекции RFR и AFR в общее k-мерное пространство.
5. Расчет близости (Scoring): Вычисление мер расстояния (оценки f(i,j)), например, через внутреннее произведение: f(i,j) = Φ(mᵢ) ⋅ γ(aⱼ).
6. Ранжирование и выбор: Ранжирование кандидатов по оценке и выбор наилучшего антецедента.
7. Модификация запроса: Замена ссылающейся фразы в текущем запросе на выбранный антецедент.
8. Выполнение поиска: Передача модифицированного запроса в систему ранжирования.

Какие данные и как использует

Данные на входе

Система использует комбинацию семантических, синтаксических и лингвистических данных.

• Семантические факторы (Distributed Word Representations): Эмбеддинги (DWRs), которые кодируют значение слов и фраз. Это основной источник семантической информации.
• Синтаксические факторы (Parse Trees): Деревья синтаксического разбора предложений. Используются для вычисления Parse Tree Distance.
• Лингвистические факторы (Features): Дополнительные признаки, используемые для обогащения RFR и AFR:
  • Type of mention (Тип упоминания: именованный, номинальный, прономинальный).
  • Type of entity (Тип сущности: персона, локация, организация).
  • Gender (Род) и Число (Number).
  • Количество слов, капитализация.
• Пользовательские факторы (Сессионные): Последовательность поисковых запросов в рамках одной сессии (используется как контекст).

Какие метрики используются и как они считаются

• Parse Tree Distance (d(i,j)): Длина пути между главными токенами фраз i и j в дереве разбора. Ключевой признак для AFR.
• Feature Representations (RFR и AFR): Векторы, построенные путем конкатенации DWR с дополнительными признаками. Например, AFR может быть aⱼ = [mⱼ; d(i,j)].
• Distance Measure/Score (f(i,j)): Мера близости в обученном пространстве эмбеддингов. Вычисляется как внутреннее произведение (inner product) спроецированных векторов. Используется для ранжирования кандидатов.
• Loss Function (L(D)): Функция потерь типа hinge-loss, используемая для обучения, которая штрафует модель за ошибки в ранжировании антецедентов.

Выводы

1. Глубокая интеграция семантики и синтаксиса: Патент демонстрирует, что Google не полагается только на семантические модели (эмбеддинги). Система явно интегрирует глубокий синтаксический анализ (Parse Tree Distance) как обязательный компонент для разрешения кореференции.
2. Специализированные эмбеддинги для конкретных задач: Вместо использования общих эмбеддингов, система обучает специализированные Coreference Embeddings. Они оптимизированы именно для задачи нахождения связей путем проецирования разнородных признаков (RFR и AFR) в общее пространство.
3. Разделение ролей фраз: Система учитывает разные характеристики фразы в зависимости от ее роли в предложении (ссылка или антецедент), что позволяет более тонко моделировать языковые связи.
4. Переписывание запросов как основное применение: Основной независимый пункт формулы (Claim 1) защищает применение этой технологии для модификации поисковых запросов. Это подтверждает стратегический фокус Google на контекстуальном и диалоговом поиске.
5. Важность структуры контента: Использование Parse Tree Distance означает, что близость и синтаксическая связь между местоимением и его антецедентом имеют значение для машинного понимания.

Практика

Best practices (это мы делаем)

• Обеспечение синтаксической чистоты и ясности текста: Пишите четкие, грамматически правильные предложения. Поскольку система использует Parse Tree Distance для связи фраз, ясная структура помогает поисковой системе корректно парсить контент. Убедитесь, что местоимения имеют ясные и синтаксически близкие антецеденты.
• Оптимизация под диалоговый поиск и сессии: Разрабатывайте контент-стратегии, которые отвечают на последовательные интенты пользователя. Понимайте, что Google активно переписывает запросы на основе контекста сессии. Анализируйте не только отдельные ключевые слова, но и то, как пользователи могут уточнять свой запрос в диалоге.
• Явное использование антецедентов: Не злоупотребляйте местоимениями, особенно в начале новых разделов или абзацев. Убедитесь, что для каждого местоимения («он», «она», «это») есть четкий и недвусмысленный антецедент в пределах синтаксической близости.
• Укрепление сигналов сущностей (Entity-Oriented SEO): Используйте консистентное именование ключевых сущностей и микроразметку, чтобы помочь Google определить тип сущности (Type of Entity), что используется как признак в модели.

Worst practices (это делать не надо)

• Использование двусмысленных ссылок: Избегайте ситуаций, когда местоимение может относиться к нескольким потенциальным антецедентам. (Например: «Компания А конкурирует с Компанией Б. Она выпустила продукт.»). Это может привести к неправильной интерпретации контента системой.
• Чрезмерно сложные синтаксические конструкции: Длинные предложения с запутанной структурой могут снизить точность синтаксического разбора и увеличить Parse Tree Distance, что ухудшит работу алгоритмов разрешения кореференции.
• Игнорирование контекста сессии: Фокусироваться только на оптимизации страницы под один конкретный запрос без учета того, как он вписывается в более широкую поисковую сессию пользователя.

Стратегическое значение

Патент подтверждает, что Google рассматривает поиск как диалог, а не как серию изолированных запросов. Стратегическое значение для SEO заключается в переходе к оптимизации поисковых сессий. Также патент подчеркивает, что несмотря на успехи нейронных сетей в понимании семантики (эмбеддинги), глубокий синтаксический анализ (Parse Trees) остается критически важным компонентом систем Google для точной интерпретации языка. Качество, ясность и структура контента имеют фундаментальное значение.

Практические примеры

Сценарий 1: Переписывание запроса в рамках сессии (Как это работает в Google)

1. Пользователь вводит Q1 (Первый сегмент): «Кто режиссер фильма Начало?»
2. Google определяет ключевые сущности и ответ.
3. Пользователь вводит Q2 (Второй сегмент): «Какие еще фильмы он снял?» (Ссылающаяся фраза: «он»).
4. Разрешение кореференции: Система анализирует Q2 и использует Coreference Embeddings для вычисления расстояния между «он» и кандидатами из Q1. «Режиссер» (Кристофер Нолан) определяется как ближайший антецедент.
5. Модификация запроса (Claim 1): Google переписывает Q2 во внутренний запрос: «Какие еще фильмы снял Кристофер Нолан?».
6. Результат: Пользователь получает релевантный ответ, основанный на контексте сессии. SEO-специалисту нужно оптимизировать контент под этот финальный, переписанный запрос.

Сценарий 2: Оптимизация структуры контента для лучшего понимания

• Плохо (Синтаксически сложно, двусмысленно): «Компания X выпустила новый продукт. Он имеет много функций, которые, как ожидают аналитики, изменят рынок, и доступен в трех цветах.» (К чему относится «Он»? Синтаксическое расстояние велико).
• Хорошо (Ясная кореференция): «Компания X выпустила новый продукт. Этот продукт доступен в трех цветах и имеет много функций. Аналитики ожидают, что эти функции изменят рынок.» (Связи ясны и синтаксически близки, что облегчает расчет Parse Tree Distance и разрешение кореференции).

Вопросы и ответы