Как Google использует машинный перевод, FAQ и логи поиска для определения контекстуальных синонимов и расширения запросов

Описание

Какую задачу решает

Патент решает проблему выбора корректных синонимов при расширении поисковых запросов (Query Expansion), особенно в случаях полисемии (многозначности слов). Традиционные методы, основанные на словарях, часто выбирают синонимы, не соответствующие контексту запроса (например, расширение слова ‘ship’ как ‘boat’ вместо ‘send’ в запросе «How to ship a box»), что ухудшает релевантность выдачи. Изобретение направлено на автоматическое определение синонимов, которые релевантны именно в контексте данного запроса.

Что запатентовано

Запатентована система использования Статистического Машинного Перевода (Statistical Machine Translation, SMT) для расширения запросов, где исходный и целевой языки являются одним и тем же естественным языком (Монолингвальный SMT). Ключевая инновация заключается в методах создания параллельных корпусов (Parallel Corpus) для обучения SMT. В качестве корпусов используются пары «Вопрос-Ответ» (из FAQ), пары «Запрос-Сниппет» (из логов поиска) или перефразирование через язык-посредник (Pivoting). Это позволяет генерировать синонимы, основанные на контексте.

Как это работает

Система работает в два этапа: Обучение и Применение.

1. Обучение SMT (Офлайн): Создается Parallel Corpus. Например, запросы из логов используются как «исходный язык», а сниппеты документов, по которым кликнули пользователи, – как «целевой язык». SMT модель обучается на этом корпусе, выявляя статистические корреляции и выравнивания (alignments) между словами.
2. Применение (Расширение запроса): При получении запроса система может либо использовать обученную SMT модель для его «перевода» (перефразирования) онлайн, либо использовать предварительно созданную Карту Контекста (Context Map). Context Map хранит синонимы и связанные с ними контексты (окружающие слова). Система выбирает синоним, только если его контекст в Карте соответствует контексту слова в запросе.

Актуальность для SEO

Высокая. Понимание контекста, синонимии и намерений пользователя является ядром современных поисковых систем. Хотя конкретная реализация SMT, описанная в патенте, могла эволюционировать в нейросетевые подходы (например, Трансформеры, BERT, MUM), фундаментальные принципы использования логов поиска, кликов и существующего контента (FAQ) для обучения моделей понимания языка остаются крайне актуальными.

Важность для SEO

Патент имеет значительное влияние на SEO (8/10). Он детально описывает, откуда Google черпает данные для понимания синонимов и контекста. Это подчеркивает важность оптимизации сниппетов и использования естественных языковых вариаций в контенте, поскольку успешные сниппеты (получившие клик) обучают модель понимания запросов. Также патент явно указывает на ценность качественного FAQ-контента как источника данных для обучения SMT.

Детальный разбор

Термины и определения

Statistical Machine Translation (SMT) (Статистический машинный перевод)

Метод перевода текста, основанный на статистических моделях (Translation Model и Language Model), обученных на параллельных корпусах текста.

Monolingual SMT (Монолингвальный SMT)

Применение SMT, где исходный и целевой языки одинаковы. Используется для генерации перефразирований и синонимов.

Parallel Corpus (Параллельный корпус)

Коллекция текстов на исходном языке, выровненная с соответствующими текстами на целевом языке. В данном патенте это могут быть пары Вопрос-Ответ, Запрос-Сниппет или Фраза-Парафраз.

Translation Model (Модель перевода)

Компонент SMT, который определяет вероятности перевода фраз с исходного языка на целевой. Обучается на Parallel Corpus.

Language Model (Языковая модель)

Компонент SMT, который оценивает вероятность того, что данная последовательность слов является грамматически правильной и естественной в целевом языке.

Question-Answer Pair (Пара Вопрос-Ответ)

Метод обучения SMT, где вопрос используется как исходный язык, а ответ (например, из FAQ) — как целевой.

Query-Snippet Pair (Пара Запрос-Сниппет)

Метод обучения SMT, где поисковый запрос используется как исходный язык, а сниппет кликнутого результата из логов поиска — как целевой.

Pivoting (Языковое посредничество)

Метод генерации парафраза путем перевода фразы на второй язык, а затем обратно на первый. Полученный результат считается синонимичным исходной фразе.

Context Map (Карта контекста)

Структура данных, созданная офлайн путем анализа переводов лога запросов. Хранит слова, их потенциальные синонимы, левый и правый контексты для каждого синонима и оценку уверенности (Score).

Translation Likelihood (Правдоподобие перевода)

Метрика уверенности SMT в том, что целевой текст является переводом исходного текста. Используется для оценки синонимов.

Ключевые утверждения (Анализ Claims)

Патент содержит две основные независимые ветви изобретения, описывающие разные методы обучения SMT для расширения запросов.

Claim 1 (Независимый пункт): Метод на основе Вопрос-Ответ (Q-A).

1. Идентификация документов, содержащих вопросы и ответы.
2. Генерация пар Вопрос-Ответ из этих документов.
3. Обучение модели SMT, используя Вопросы как исходный язык и Ответы как целевой язык (при этом оба на одном естественном языке).
4. Перевод (фактически, перефразирование) фразы с использованием этой обученной SMT модели.
5. Определение пар синонимов путем сравнения исходной фразы и переведенной фразы.

Claim 8 (Независимый пункт): Метод на основе Запрос-Сниппет (Query-Snippet).

1. Идентификация запросов и связанных с ними результатов поиска (включая сниппеты) в логе запросов.
2. Генерация пар Запрос-Сниппет.
3. Обучение модели SMT, используя Запросы как исходный язык и Сниппеты как целевой язык (при этом оба на одном естественном языке).
4. Перевод фразы с использованием этой обученной SMT модели.
5. Определение пар синонимов путем сравнения исходной фразы и переведенной фразы.

Claim 3 и 10 (Зависимые пункты): Оценка синонимов.

Детализируется процесс определения синонимов. Он включает вычисление Translation Likelihood для пары фраза-перевод. Пара синонимов (слово из фразы и соответствующее слово из перевода) получает оценку (Score), основанную на этом правдоподобии. Это позволяет системе выбирать наиболее вероятные синонимы.

Где и как применяется

Изобретение применяется преимущественно на этапе понимания запроса, но опирается на данные, собранные и обработанные на других этапах.

CRAWLING & INDEXING – Сбор данных и Индексирование
На этом этапе система собирает данные, которые могут быть использованы для обучения. Например, сканирование и индексирование документов FAQ для извлечения пар Вопрос-Ответ.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система работает здесь в двух режимах:

• Офлайн-обработка: Система анализирует логи запросов (Query Log) и данные о кликах (Search Result Access Log) для генерации пар Запрос-Сниппет. Также происходит обучение SMT моделей на всех типах параллельных корпусов (Q-A, Query-Snippet, Pivoting). Результатом офлайн-обработки может быть создание Context Map.
• Онлайн-обработка (Runtime): Когда поступает запрос пользователя, система использует либо обученную SMT модель для прямого перевода (перефразирования) запроса, либо использует Context Map для поиска контекстуально релевантных синонимов и расширения запроса.

RANKING – Ранжирование
Этап ранжирования получает на вход уже расширенный или перефразированный запрос, что позволяет найти больше релевантных документов, которые могли не содержать точных ключевых слов исходного запроса.

Входные данные:

• Поисковый запрос пользователя.
• Обученные модели SMT (Translation Model, Language Model).
• Context Map (при использовании офлайн-подхода).
• Данные для обучения: Документы FAQ, Логи запросов, Данные о кликах и сниппетах.

Выходные данные:

• Расширенный поисковый запрос (Expanded Search Query).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, содержащие многозначные термины (полисемия), где выбор синонима критически зависит от контекста. Также влияет на информационные запросы (за счет использования FAQ в обучении).
• Конкретные типы контента: Повышает ценность контента, структурированного как FAQ. Также влияет на контент, который имеет привлекательные и информативные сниппеты, получающие клики, так как эти сниппеты становятся обучающими данными.

Когда применяется

• Триггеры активации: Алгоритм активируется в процессе обработки поискового запроса для его потенциального расширения. Он особенно полезен, когда необходимо разрешить неоднозначность терминов в запросе.
• Условия работы: Для работы механизма необходимо наличие обученной SMT модели или заполненной Context Map. При использовании Context Map расширение происходит только тогда, когда контекст слова в запросе совпадает с контекстом, сохраненным для синонима.

Пошаговый алгоритм

Процесс А: Обучение SMT на основе Запрос-Сниппет (Офлайн)

1. Сбор данных: Идентификация лога поисковых запросов и соответствующего лога доступа к результатам (кликов).
2. Фильтрация: Фильтрация записей лога для выбора наиболее релевантных пар. Фильтрация может основываться на атрибутах клика: позиция документа в выдаче, время между показом результата и кликом (time elapsed), время на сайте (length-of-access / dwell time).
3. Извлечение сниппетов: Для выбранных запросов извлекаются сниппеты кликнутых результатов. Сниппет может включать заголовок документа, анкорный текст или отрывок документа, содержащий термины запроса.
4. Генерация параллельного корпуса: Формирование пар Запрос-Сниппет.
5. Обучение SMT: Обучение Translation Model, используя Запросы как исходный язык и Сниппеты как целевой язык. Используются методы выравнивания фраз (например, bi-directional phrase alignments) и алгоритмы оценки параметров (например, Expectation-Maximization (EM) technique).

Процесс Б: Генерация Карты Контекста (Офлайн)

1. Выборка запросов: Идентификация репрезентативного лога запросов.
2. Перевод: Применение обученной SMT модели (из Процесса А) для перевода каждого запроса в перефразированный запрос.
3. Сравнение и извлечение: Сравнение исходного запроса и перевода для идентификации замененных слов (синонимов).
4. Идентификация контекста: Определение левого и правого контекста (окружающих слов) для каждого синонима.
5. Расчет оценки: Вычисление Score для синонима на основе Translation Likelihood.
6. Сохранение: Запись слова, синонима, контекстов и оценки в Context Map.

Процесс В: Расширение запроса во время выполнения (Онлайн)

1. Получение запроса: Система получает поисковый запрос.
2. Анализ запроса: Выбор слова из запроса и определение его левого и правого контекста.
3. Поиск в Context Map: Поиск потенциальных синонимов для выбранного слова в Context Map.
4. Сопоставление контекста: Сравнение контекста слова в запросе с контекстами, ассоциированными с потенциальными синонимами в Context Map (может быть частичным, например, по N последних/первых слов).
5. Выбор синонима: Выбор синонима, чей контекст совпадает с контекстом запроса. Если совпадает несколько, может выбираться синоним с наивысшим Score или самым длинным контекстом.
6. Расширение запроса: Добавление выбранного синонима к запросу (например, через оператор OR) или переписывание запроса.
7. Выполнение поиска: Использование расширенного запроса для поиска в корпусе документов.

Какие данные и как использует

Данные на входе

• Контентные факторы:
  • Текст вопросов и ответов из документов FAQ.
  • Сниппеты результатов поиска. Патент упоминает, что сниппет может включать title документа, anchor terms (анкорный текст), ассоциированный с документом, или отрывок (excerpt) документа.
• Поведенческие факторы:
  • Search result access log (Логи доступа / Клики): Используются для определения, какие результаты были посещены пользователем.
  • Позиция документа (position of the document): Используется для фильтрации кликов при обучении.
  • Время до клика (amount of time elapsed between having provided the search result… and the user accessing the document).
  • Время на сайте / Dwell Time (amount of time elapsed between the user having accessed the document and the user performing a subsequent operation или length-of-access attribute).
• Системные данные:
  • Логи поисковых запросов (Query Log).

Какие метрики используются и как они считаются

• Translation Likelihood (Правдоподобие перевода): Стандартная метрика SMT, объединяющая вероятности из Translation Model и Language Model. Используется для оценки качества перефразирования.
• Score (Оценка синонима): Метрика, присваиваемая паре синонимов в Context Map. Она выводится из Translation Likelihood и используется для выбора наилучшего синонима, если контекст совпадает у нескольких кандидатов.
• Context Matching (Сопоставление контекста): Процесс сравнения левого и правого контекста слова в запросе с сохраненными контекстами в Context Map.
• Null-word probability: Параметр конфигурации SMT, определяющий, какая часть слов в исходном тексте может остаться без соответствия в целевом тексте. Упоминается, что он может быть высоким (например, 90%) при обучении на Q-A парах, где ответы длиннее вопросов.

Выводы

1. Монолингвальный SMT для понимания синонимов: Google использует сложные методы машинного перевода не только для разных языков, но и для глубокого понимания синонимов и контекста внутри одного языка. Это позволяет автоматически генерировать перефразирования запросов.
2. Критическая роль данных о поведении пользователей: Метод, основанный на парах Запрос-Сниппет, напрямую использует логи поиска и данные о кликах (включая позицию и dwell time) для обучения моделей понимания языка. То, как пользователи взаимодействуют с выдачей, и контент сниппетов, на которые они кликают, учит Google, какие слова являются синонимами в данном контексте.
3. Ценность структурированного контента (FAQ): Патент явно выделяет документы FAQ как высококачественный источник для обучения SMT. Пары Вопрос-Ответ предоставляют естественные примеры того, как одни и те же концепции могут быть выражены разными словами.
4. Контекст как ключ к disambiguation: Механизм Context Map обеспечивает выбор синонимов на основе окружающих слов. Это позволяет системе автоматически разрешать неоднозначности (например, понимать разницу между «ship a box» и «cruise ship»).
5. Оценка уверенности в синонимах: Система не просто находит синонимы, но и присваивает им оценку (Score) на основе Translation Likelihood, что позволяет использовать только высококачественные расширения.

Практика

Best practices (это мы делаем)

• Оптимизация сниппетов и заголовков (Title): Так как пары Запрос-Сниппет используются для обучения SMT, критически важно, чтобы заголовки и сниппеты были информативными, привлекательными для клика и содержали естественные вариации ключевых слов. Успешный сниппет (получивший клик с хорошим dwell time) становится обучающим примером для Google.
• Анализ языка ТОП-выдачи: Изучайте, как сформулированы сниппеты страниц, ранжирующихся в ТОПе по вашим целевым запросам. Это дает представление о том, какие фразы и синонимы Google уже ассоциирует с этими запросами (т.е. как обучена его SMT модель).
• Создание качественного FAQ-контента: Патент подтверждает, что Google использует FAQ для обучения языковых моделей (Claim 1). Создавайте четкие, полезные разделы FAQ. Убедитесь, что ответы естественно перефразируют вопросы и вводят релевантные синонимы для основных терминов ниши.
• Использование контекстно-богатого языка: Обеспечивайте достаточный контекст вокруг ключевых слов. Это помогает поисковой системе (использующей Context Map) правильно интерпретировать многозначные термины на вашей странице и ассоциировать вашу страницу с правильно расширенными запросами.
• Естественные вариации и синонимы в контенте: Пишите естественно, используя разнообразную лексику. Это увеличивает вероятность того, что ваш контент будет соответствовать расширенным версиям запросов, сгенерированным с помощью SMT.

Worst practices (это делать не надо)

• Игнорирование оптимизации сниппетов: Рассматривать сниппеты только как текст для привлечения кликов, игнорируя их роль в обучении поисковой системы.
• Keyword Stuffing и неестественный язык: Использование ключевых слов без четкого контекста может привести к неправильной интерпретации контента. SMT ищет естественные языковые паттерны (согласно Language Model), а не плотность ключевых слов.
• Создание слабых или спамных FAQ: Низкокачественные FAQ, созданные только для насыщения ключевыми словами, не предоставят полезных данных для обучения SMT и могут негативно сказаться на оценке качества контента.
• Манипуляция кликами (Clickbait): Создание сниппетов, которые генерируют клики, но не удовлетворяют интент (приводя к низкому dwell time). Патент упоминает фильтрацию обучающих данных по length-of-access, поэтому такие примеры могут быть исключены из обучения.

Стратегическое значение

Этот патент демонстрирует, насколько тесно связаны понимание запросов (Query Understanding) и поведение пользователей (User Behavior). Поисковая выдача является самообучающейся системой: клики пользователей на конкретные сниппеты подтверждают релевантность языка сниппета исходному запросу, что, в свою очередь, обучает SMT-модель для будущего расширения запросов. Стратегия SEO должна учитывать этот цикл обратной связи, фокусируясь на создании контента, который не только ранжируется, но и успешно удовлетворяет интент пользователя (что подтверждается кликами и dwell time).

Практические примеры

Сценарий 1: Оптимизация FAQ для улучшения понимания синонимов в нише

1. Цель: Помочь Google понять, что термины «Shipping», «Sending» и «Courier» являются взаимозаменяемыми в контексте логистической компании.
2. Действие (На основе Claim 1): Разработка раздела FAQ.
   • В: How do I ship a package internationally?
   • О: Sending a package overseas involves customs documentation… We offer various international courier services…
3. Механизм: Google индексирует FAQ, извлекает пару Вопрос-Ответ и использует ее для обучения SMT модели. Модель устанавливает выравнивание (alignment) между «ship» в вопросе и «sending»/»courier» в ответе.
4. Результат: При получении запроса «international courier service», система с большей вероятностью расширит его до «international shipping service» и покажет оптимизированную страницу компании.

Сценарий 2: Оптимизация сниппета для обучения SMT

1. Цель: Улучшить ранжирование по запросам, связанным с ремонтом обуви.
2. Исходный сниппет (Низкое качество): «Shoe repair shop. We fix shoes. Best prices on shoe fixing and repair.»
3. Оптимизированный сниппет (На основе Claim 8): «Expert Shoe Restoration: We professionally mend and resole all types of footwear, from boots to heels.»
4. Механизм: Пользователи ищут «how to mend boots» и кликают на оптимизированный сниппет. Google логирует эту пару Запрос-Сниппет. SMT модель обучается на этой паре и ассоциирует «mend boots» с «shoe restoration» и «resole footwear».
5. Результат: SMT модель обновляется, улучшая понимание синонимов в этой нише, что помогает сайту ранжироваться по более широкому спектру связанных запросов.

Вопросы и ответы