Как Google автоматически изучает синонимы, анализируя последовательные запросы пользователей и вариации анкорных текстов

Термины и определения

Adjacent Queries (Последовательные/Смежные запросы)

Запросы, поданные одним и тем же пользователем в течение короткого промежутка времени или подряд (в рамках одной сессии). В патенте упоминается окно из двух или пяти последовательных запросов.

Alternatives (Альтернативы)

Описания, которые связаны, но не являются эквивалентными (например, конкурирующие бренды: Hertz и Avis). Патент описывает механизм для их исключения из списка синонимов.

Anchor Text Unit (Единица анкорного текста)

Текст гиперссылки в документе, который используется как описание целевого документа.

Candidate Pair (Пара кандидатов / Кандидатная пара)

Два термина или фразы, которые потенциально являются эквивалентными описаниями одной и той же информационной потребности. Выявляются путем анализа различий в схожих описаниях.

Equivalent Descriptions (Эквивалентные описания)

Различные способы выражения одной и той же информационной потребности (синонимы, акронимы, близкие по смыслу фразы).

Information Need (Информационная потребность)

Цель пользователя при поиске информации.

Query Log (Лог запросов)

Запись истории поисковых запросов, обычно включающая UserID, время запроса и текст запроса. Используется как основной источник данных для анализа поведения пользователей.

Score (Оценка)

Числовое значение, рассчитываемое для пары кандидатов, отражающее уверенность системы в их эквивалентности. Основано на частоте встречаемости.

Threshold (Пороговое значение)

Заданный уровень оценки (Score), при превышении которого пара кандидатов признается эквивалентной.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает общий метод определения эквивалентных описаний на основе списка запросов.

1. Система получает список запросов от пользователей.
2. Идентифицируется Candidate Pair путем нахождения двух запросов, относящихся к одной и той же Information Need.
3. Рассчитывается оценка (Score) для пары кандидатов в зависимости от частоты их появления в списке.
4. Если оценка превышает порог (Threshold), каждая часть пары признается эквивалентным описанием.

Claim 2 (Зависимый от 1): Уточняет метод идентификации Candidate Pair.

Пара кандидатов идентифицируется путем нахождения двух запросов, содержащих хотя бы один общий термин. Части запросов, которые не являются общими, формируют пару кандидатов.

Claim 3 (Зависимый от 1): Описывает метод идентификации акронимов.

Система сравнивает символы термина в первом запросе с первыми буквами последовательности терминов во втором запросе. Если они совпадают (например, FDA и Food Drug Administration), термин и последовательность терминов признаются парой кандидатов.

Claim 4 (Зависимый от 1): Уточняет метод расчета оценки.

Оценка рассчитывается как отношение частоты встречаемости всей пары кандидатов (Freq(A->B)) к частоте встречаемости одной из частей этой пары (Freq(A)) в общем списке.

Claim 7 и 8 (Зависимые от 1): Описывают механизм исключения альтернатив (related entities) из списка эквивалентов (synonyms).

Система исключает пару кандидатов, если определено, что одна часть является альтернативой, а не эквивалентом другой. Это определяется путем анализа коллекций документов и выявления списков или таблиц, где обе части пары часто встречаются вместе. Высокая частота совместного упоминания в таких структурах указывает на то, что это Alternatives (например, Hertz и Avis).

Claim 17 (Независимый пункт): Описывает конкретный метод определения синонимов на основе логов поисковых запросов.

1. Получение списка поисковых запросов.
2. Сортировка списка сначала по пользователю (UserID), затем по времени подачи запроса.
3. Выбор набора последовательных запросов (adjacent queries) от одного пользователя.
4. Идентификация двух запросов из набора, имеющих хотя бы один общий термин.
5. Идентификация различающихся частей этих запросов как пары кандидатов в синонимы.
6. Расчет оценки на основе частоты и признание синонимами при превышении порога.

Claim 23 (Независимый пункт): Описывает метод определения эквивалентных описаний на основе анкорных текстов.

1. Создание списка единиц анкорного текста (anchor text units).
2. Определение подмножества списка, которое относится к одной и той же информационной потребности (т.е. ссылается на один и тот же документ).
3. Нахождение в подмножестве двух анкорных текстов с общими терминами.
4. Идентификация различающихся частей как пары кандидатов.
5. Расчет оценки и сравнение с порогом.

Где и как применяется

Изобретение применяется в основном на этапах индексирования и понимания запросов для построения базы знаний о языке.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит сбор и анализ Anchor Text. Система анализирует тексты ссылок и целевые URL. Анкорные тексты группируются по целевым документам, и запускается офлайн-процесс поиска эквивалентных описаний на основе этих данных (Claim 23).

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Он включает два процесса:

1. Офлайн-анализ (Построение базы синонимов): Система периодически обрабатывает Query Logs. Анализируется поведение пользователей, в частности, переформулировки запросов в рамках одной сессии (Claim 17). Этот анализ, вместе с анализом анкоров, позволяет автоматически генерировать базу данных синонимов и эквивалентных фраз.
2. Обработка запроса в реальном времени (Применение синонимов): Компонент обработки запросов использует созданную базу данных для расширения или переписывания входящего запроса пользователя, чтобы улучшить полноту (Recall) и релевантность результатов.

Входные данные:

• Query Logs (UserID, Date/Time, Query Text).
• База данных Anchor Text и соответствующих им целевых URL.
• (Для исключения альтернатив) Коллекция документов для анализа совместной встречаемости терминов.

Выходные данные:

• База данных пар эквивалентных описаний (синонимов, акронимов) с соответствующими оценками уверенности (Scores).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, где существует множество способов описания концепции, продукта или услуги (информационные, коммерческие запросы). Также сильно влияет на запросы с акронимами.
• Контентные факторы: Влияет на оценку контента. Страницы, использующие синонимы ключевых слов, могут быть признаны релевантными запросам, где эти синонимы не используются напрямую.
• Ссылочные факторы: Влияет на интерпретацию анкорного текста. Вариативность анкоров, указывающих на одну страницу, используется как источник данных для обучения системы.

Когда применяется

• Условия работы алгоритма: Алгоритм работает в офлайн-режиме и требует наличия достаточного объема данных (логов запросов или анкорных текстов) для статистического анализа.
• Триггеры активации: Активация анализа происходит, когда обнаруживаются паттерны схожести (общие термины) в связанных описаниях (последовательных запросах одного пользователя или в анкорных текстах, ведущих на один документ).
• Пороговые значения: Эквивалентность устанавливается только тогда, когда рассчитанная оценка (Score) для пары кандидатов превышает заданный порог. В патенте упоминается примерное значение 0.1 для одного из вариантов реализации. Также могут применяться пороги минимальной частоты встречаемости пары.

Пошаговый алгоритм

Алгоритм А: Анализ логов запросов (Claim 17)

1. Сбор данных: Получение списка поисковых запросов (Query Log).
2. Нормализация и Сортировка: Сортировка лога по UserID и времени подачи запроса.
3. Выборка последовательности: Выбор набора последовательных запросов (adjacent queries) от одного пользователя (например, 2 или 5 подряд идущих запросов).
4. Поиск контекста: Идентификация двух запросов в наборе, которые содержат хотя бы один общий термин.
5. Извлечение кандидатов: Идентификация различающихся терминов в этих двух запросах как пары кандидатов в синонимы (candidate synonym pair). (Также применяется логика поиска акронимов из Claim 3).
6. Расчет оценки: Вычисление Score для пары. Например, как отношение частоты этой конкретной переформулировки к общей частоте встречаемости первого термина пары.
7. Валидация: Сравнение оценки с пороговым значением (Threshold).
8. Применение: Если оценка выше порога, пара признается синонимами и сохраняется в базе данных.

Алгоритм Б: Анализ анкорных текстов (Claim 23)

1. Сбор данных: Создание списка единиц анкорного текста (anchor text units).
2. Группировка: Организация анкорных текстов по документу, на который они указывают (целевой URL).
3. Поиск контекста: В рамках одной группы (ссылающихся на один документ) поиск анкорных текстов, содержащих общие термины.
4. Извлечение кандидатов: Идентификация различающихся терминов как пары кандидатов.
5. Расчет оценки и Валидация: Аналогично Алгоритму А.

Алгоритм В: Исключение альтернатив (Claims 7, 8)

1. Анализ коллекции документов: Для валидированной пары кандидатов выполняется поиск в большой коллекции документов.
2. Идентификация структур: Поиск списков, таблиц или других структур в документах, содержащих обе части пары.
3. Расчет совместной встречаемости: Определение частоты, с которой обе части появляются вместе в этих структурах.
4. Принятие решения: Если частота совместной встречаемости высока (превышает порог), пара классифицируется как Alternatives (related entities), а не эквиваленты (synonyms), и исключается из базы синонимов.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые): Query Logs. Система анализирует последовательность действий пользователя (переформулировку запросов) в рамках одной сессии. Используются UserID, временные метки и текст запросов.
• Ссылочные факторы (Ключевые): Anchor Text. Система анализирует текст входящих ссылок и их целевые URL.
• Контентные и Структурные факторы: Используются для механизма исключения альтернатив (Алгоритм В). Анализируется контент документов на предмет наличия структурированных данных (списков и таблиц), где совместно упоминаются термины-кандидаты.

Какие метрики используются и как они считаются

• Частота пары (Frequency of Candidate Pair): Количество раз, когда наблюдается конкретная пара кандидатов в анализируемом наборе данных (например, количество переходов от Q1 к Q2).
• Частота термина (Frequency of Term): Общее количество раз, когда одна из частей пары встречается во всем наборе данных.
• Score (Оценка эквивалентности): В одном из вариантов реализации рассчитывается как отношение: $Score = \frac{Frequency\ of\ Candidate\ Pair}{Frequency\ of\ Term\ A}$. (Патент отмечает, что пары могут рассматриваться как однонаправленные: A->B не равно B->A).
• Score (Оценка альтернативности): Рассчитывается для определения, являются ли термины альтернативами. Основано на отношении частоты совместного упоминания в списках/таблицах к частоте упоминания одного из терминов в этих структурах.
• Thresholds (Пороги): Используются для фильтрации результатов как по оценке эквивалентности, так и по минимальной частоте встречаемости.

1. Автоматическое обучение синонимам: Google активно использует автоматизированные методы для изучения синонимов, акронимов и эквивалентных фраз, не полагаясь только на словари или ручную разметку. Это позволяет системе адаптироваться к изменениям в языке.
2. Поведение пользователей как источник истины: Переформулировка запросов пользователем в рамках одной сессии (когда контекст сохраняется, а термины меняются) является мощным сигналом для определения эквивалентности. Система предполагает, что пользователь уточняет запрос для удовлетворения той же самой information need.
3. Анкорный текст как сигнал эквивалентности: Вариативность анкорных текстов, указывающих на один и тот же URL, также используется для выявления синонимов, при условии, что в этих текстах есть общие контекстные слова.
4. Контекст критичен: Эквивалентность определяется только при наличии общего контекста (общих терминов) в сравниваемых описаниях (запросах или анкорах).
5. Различие между синонимами и альтернативами: Патент четко различает эквивалентные термины (synonyms) и альтернативные/связанные сущности (alternatives/related entities). Описан конкретный механизм для исключения альтернатив путем анализа их совместной встречаемости в структурированных данных (списках, таблицах) внутри документов.
6. Статистический подход: Решение об эквивалентности принимается на основе статистических данных (частот и соотношений), а не только лингвистического анализа.

Best practices (это мы делаем)

• Использование естественных синонимов в контенте: Создавайте контент, используя разнообразную лексику и естественные синонимы для ключевых понятий. Патент подтверждает, что Google обладает механизмами для распознавания этой эквивалентности, что улучшает ранжирование по широкому спектру связанных запросов.
• Вариативность анкорных текстов (внутренних и внешних): Используйте разнообразные, но релевантные анкорные тексты. Если разные анкоры с общим контекстом указывают на одну страницу (например, «обзор iPhone 15» и «тест камеры iPhone 15»), это помогает системе лучше понять содержание страницы и взаимосвязь терминов (Алгоритм Б).
• Структурирование альтернатив: При описании схожих сущностей (например, сравнение разных моделей телефонов или разных авиакомпаний) используйте списки и таблицы. Это помогает Google корректно идентифицировать их как Alternatives, а не как синонимы, согласно механизму исключения (Алгоритм В).
• Оптимизация под акронимы: Убедитесь, что полные расшифровки акронимов присутствуют в тексте. Система способна автоматически связывать акронимы с их полными формами, анализируя логи запросов (Claim 3).
• Анализ внутренних логов поиска: Анализируйте, как пользователи переформулируют запросы на вашем собственном сайте. Это может дать ценные инсайты о синонимах, актуальных для вашей аудитории, повторяя логику Алгоритма А.

Worst practices (это делать не надо)

• Одержимость точным соответствием (Exact Match Keywords): Фокусировка исключительно на использовании одного варианта ключевого слова в ущерб читабельности и естественности. Система распознает эквиваленты, поэтому такая стратегия ограничивает охват.
• Искусственная унификация анкоров: Попытки использовать строго одинаковый анкорный текст во всех входящих ссылках. Это лишает систему ценных данных о вариативности описаний и может выглядеть неестественно.
• Игнорирование контекста при использовании синонимов: Использование синонимов без сохранения общего контекста. Механизмы патента полагаются на наличие общих терминов для установления эквивалентности.

Стратегическое значение

Этот патент является одним из фундаментальных документов, описывающих переход Google от лексического поиска (по точным словам) к семантическому (по смыслу). Он показывает, как анализ огромных массивов данных о поведении пользователей и структуре веба позволяет автоматически понимать язык. Для SEO это означает, что стратегия должна строиться вокруг тем и интентов (information needs), а не вокруг фиксированного набора ключевых слов, так как система способна самостоятельно определять equivalent descriptions.

Практические примеры

Сценарий 1: Обучение синонимам через переформулировку запроса

1. Действие пользователя: Пользователь ищет «как починить экран ноутбука». Результаты его не удовлетворяют.
2. Уточнение: Через 10 секунд тот же пользователь ищет «как заменить матрицу ноутбука».
3. Анализ системой (Алгоритм А): Система видит два последовательных запроса от одного пользователя. Общие термины: «как», «ноутбука». Различающиеся термины: «починить экран» и «заменить матрицу».
4. Результат: Система идентифицирует «починить экран» -> «заменить матрицу» как пару кандидатов. Если этот паттерн повторяется у многих пользователей и Score превышает порог, эти фразы будут признаны эквивалентными.

Сценарий 2: Использование вариативности анкоров

1. Ситуация: Существует авторитетная страница о породе собак Кавалер Кинг Чарльз Спаниель.
2. Входящие ссылки: Сайт А ссылается с анкором «уход за Кавалер Кинг Чарльз Спаниелем». Сайт Б ссылается с анкором «уход за ККЧС».
3. Анализ системой (Алгоритм Б): Система видит два анкора, указывающих на одну страницу. Общий термин: «уход за». Различающиеся термины: «Кавалер Кинг Чарльз Спаниелем» и «ККЧС».
4. Результат: Система идентифицирует их как пару кандидатов и может научиться, что ККЧС является эквивалентным описанием (акронимом) для этой породы.