Как Google автоматически изучает синонимы, акронимы и эквивалентные фразы, анализируя поисковые сессии пользователей и анкорный текст ссылок

Описание

Какую задачу решает

Патент решает фундаментальную проблему «словарного разрыва» в поиске: пользователи часто используют разные слова или фразы (синонимы, акронимы, вариации) для описания одной и той же информационной потребности (Information Need). Если система не распознает эту эквивалентность, пользователь не получит полный набор релевантных результатов. Изобретение автоматизирует процесс обнаружения этих Equivalent Descriptions без необходимости ручного создания словарей синонимов.

Что запатентовано

Запатентована система для автоматического определения эквивалентных описаний информационной потребности. Система использует два основных источника данных: логи поисковых запросов (Query Logs) и анкорный текст (Anchor Text). Анализируя паттерны в этих данных — как пользователи переформулируют запросы в рамках одной сессии или как разные авторы ссылаются на один и тот же документ, — система выявляет пары терминов или фраз, которые функционально эквивалентны.

Как это работает

Механизм работает в двух основных режимах:

• Анализ сессий (Query Logs): Система сортирует запросы по пользователю и времени. Анализируются последовательные (adjacent) запросы. Если два соседних запроса имеют общие термины (контекст), то различающиеся термины идентифицируются как Candidate Pair (потенциальные синонимы). Например, если пользователь ищет [palo alto hotels], а затем [palo alto inns], система предполагает, что ‘hotels’ и ‘inns’ могут быть эквивалентны.
• Анализ анкорного текста (Anchor Text): Система группирует анкорные тексты, указывающие на один и тот же документ. Если разные анкоры имеют общие термины, то различающиеся термины также идентифицируются как Candidate Pair.
• Оценка и валидация: Для каждой пары рассчитывается Score, основанный на частоте встречаемости. Если оценка превышает порог (Threshold), пара признается эквивалентной. Дополнительно применяется фильтр для исключения «альтернатив» (например, конкурирующих брендов).

Актуальность для SEO

Высокая. Хотя патент (являющийся продолжением заявки от 2002 года) предшествует эпохе глубокого обучения, описанные в нем концепции являются фундаментальными для понимания запросов (Query Understanding). Методы анализа сессионных данных и анкорного текста для понимания семантических связей остаются основой, хотя современные реализации также используют сложные нейросетевые модели. Учитывая авторов (Джефф Дин, Ноам Шазир и др.), эти механизмы глубоко интегрированы в архитектуру поиска.

Важность для SEO

Патент имеет высокое стратегическое значение (8/10). Он объясняет, как Google изучает взаимосвязи между терминами, используя поведение пользователей и структуру ссылок. Это напрямую влияет на подходы к исследованию ключевых слов и оптимизации контента, подчеркивая важность использования естественных вариаций и синонимов. Также это подтверждает ценность разнообразного, релевантного анкорного текста во входящем ссылочном профиле.

Детальный разбор

Термины и определения

Adjacent Queries (Последовательные/Смежные запросы)

Запросы, поданные одним пользователем последовательно в рамках одной сессии. В патенте упоминается окно из 2-5 запросов.

Alternatives (Альтернативы)

Термины, которые связаны, но не эквивалентны (например, конкурирующие бренды «Hertz» и «Avis»). Патент описывает механизм для их исключения из списка синонимов.

Anchor Text Unit (Единица анкорного текста)

Текст гиперссылки, связанный с целевым URL.

Candidate Pair (Пара кандидатов)

Два термина или фразы, идентифицированные системой как потенциально эквивалентные. Формируются из несовпадающих частей связанных описаний.

Equivalent Descriptions (Эквивалентные описания)

Термины или фразы (включая синонимы, акронимы), которые относятся к одной и той же информационной потребности.

Query Log (Лог запросов)

Запись поисковых запросов, обычно включающая UserID, временную метку и текст запроса.

Score (Оценка)

Числовое значение, отражающее уверенность системы в эквивалентности пары кандидатов. Часто основано на частоте замещения.

Threshold (Порог)

Минимальное значение Score, необходимое для признания пары эквивалентной.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения эквивалентных описаний с использованием списка запросов.

1. Система принимает список запросов от пользователей.
2. Определяется Candidate Pair путем нахождения двух связанных (related) запросов.
3. Рассчитывается Score для пары, зависящий от частоты ее встречаемости в списке.
4. Если Score превышает Threshold, обе части пары признаются эквивалентными описаниями.

Claim 2 (Зависимый от 1): Уточняет, как находятся кандидаты из запросов.

1. Находятся два запроса, содержащие как минимум один общий термин (контекст).
2. Части запросов, которые не являются общими, определяются как Candidate Pair.

Claim 3 (Зависимый от 1): Описывает механизм идентификации акронимов.

Система определяет кандидата, если символы термина в первом запросе (T1) совпадают с первыми буквами последовательности терминов во втором запросе (T2). Например, «FDA» и «Food Drug Administration».

Claim 4 (Зависимый от 1): Определяет механизм расчета оценки (Score).

Оценка рассчитывается как отношение первой частоты (частота встречаемости Candidate Pair) ко второй частоте (частота встречаемости одной половины пары в общем списке).

Claim 7 и 8 (Зависимые от 1): Описывают механизм фильтрации альтернатив (Alternatives).

Система исключает пару, если определено, что одна часть является альтернативой, а не эквивалентом. Это делается путем анализа коллекции документов и проверки частоты совместной встречаемости обеих частей пары в списках (lists). Высокая частота совместной встречаемости указывает на то, что это альтернативы.

Claim 20 (Независимый пункт): Описывает метод с использованием анкорных текстов.

1. Создается список Anchor Text Units.
2. Находятся два анкора, содержащие общий термин. (Хотя Claim 20 не указывает это явно, описание патента подразумевает, что анкоры должны указывать на один и тот же документ).
3. Необщие части анкоров определяются как Candidate Pair.
4. Рассчитывается Score и применяется Threshold.

Где и как применяется

Изобретение является ключевым компонентом системы понимания запросов и семантического анализа.

CRAWLING и INDEXING
На этих этапах собираются и индексируются данные. Извлекаются и сохраняются Anchor Text Units и целевые URL. Также индексируется контент для последующего анализа (например, для фильтрации альтернатив).

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Описанные процессы (анализ Query Logs и Anchor Text) выполняются офлайн для построения базы данных Equivalent Descriptions. В реальном времени эта база используется для интерпретации интента, переписывания (rewriting) или расширения (expansion) запроса пользователя.

RANKING – Ранжирование
На этапе ранжирования используется расширенный запрос, что позволяет находить документы, релевантные интенту, даже если они не содержат точных терминов из исходного запроса.

Входные данные:

• Query Logs (включая UserID, временные метки, текст запроса).
• База данных Anchor Text Units и соответствующих им целевых URL.
• Индексированный контент документов (для различения альтернатив и синонимов).

Выходные данные:

• База данных Equivalent Descriptions (пары синонимов/акронимов) с соответствующими оценками уверенности (Scores).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, имеющие множество вариаций, общепринятые синонимы или распространенные акронимы (например, [NYC] и [New York City]).
• Все типы контента и ниши: Механизм не зависит от тематики и применяется глобально для улучшения понимания языка.

Когда применяется

• Офлайн-обработка: Анализ логов запросов и анкорного текста происходит в пакетном режиме офлайн для периодического обновления базы синонимов.
• Триггеры активации (для анализа логов): Анализ запускается для последовательных запросов от одного и того же пользователя в рамках сессии. В патенте упоминается, что окно в два или пять последовательных запросов работает хорошо.

Пошаговый алгоритм

Процесс А: Анализ логов запросов (Query Log Analysis)

1. Сбор данных: Получение Query Log.
2. Сортировка: Сортировка лога сначала по UserID, затем по времени. Это группирует запросы в сессии.
3. Выбор соседних запросов: Выбор набора последовательных запросов от одного пользователя.
4. Идентификация общего контекста: Идентификация пар запросов, которые содержат хотя бы один общий термин.
5. Формирование кандидатов: Термины, которые НЕ являются общими, идентифицируются как Candidate Pair.
6. (Альтернативно) Идентификация акронимов: Сравнение букв термина в одном запросе с первыми буквами терминов в другом запросе.
7. Расчет оценки (Scoring): Расчет Score для каждой пары. Формула (описанная как transform/A): (Частота появления пары) / (Общая частота появления первой половины пары в наборе данных).
8. Применение порога: Если Score превышает заданный Threshold (например, 0.1), пара переходит на следующий этап.
9. Фильтрация альтернатив: Применение Процесса В для исключения не-синонимов.

Процесс Б: Анализ анкорного текста (Anchor Text Analysis)

1. Сбор данных: Создание списка Anchor Text Units.
2. Группировка по цели: Организация анкорных текстов по документу, на который они указывают.
3. Идентификация общего контекста: В рамках каждой группы поиск пар анкоров, содержащих общие термины.
4. Формирование кандидатов: Термины, которые НЕ являются общими, идентифицируются как Candidate Pair.
5. Расчет оценки и применение порога: Аналогично Процессу А.

Процесс В: Различение альтернатив и эквивалентов (Alternatives vs. Equivalents)

1. Анализ контента: Анализ большой коллекции документов на предмет наличия обеих половин Candidate Pair (например, ‘Hertz’ и ‘Avis’).
2. Поиск структурных элементов: Поиск списков, таблиц и т.д. внутри этих документов.
3. Расчет коэффициента совместной встречаемости: Сравнение (1) количества раз, когда обе половины пары появляются вместе в списке/таблице, и (2) общего количества раз, когда одна из половин появляется в списках/таблицах.
4. Определение альтернатив: Если коэффициент совместной встречаемости высок (термины часто перечисляются вместе), система делает вывод, что это Alternatives, а не синонимы.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используются Query Logs. Ключевым является анализ последовательности запросов в рамках одной сессии (Session Data), что требует UserID и временных меток.
• Ссылочные факторы (Структурные): Используются Anchor Text Units и целевые URL. Анализируется, как разные источники ссылаются на один и тот же документ.
• Контентные факторы: Используются при различении альтернатив и синонимов. Система анализирует контент документов, в частности, наличие терминов в структурированных элементах (списки и таблицы).

Какие метрики используются и как они считаются

• Частота пары (Frequency of Candidate Pair): Количество раз, когда два термина идентифицируются как Candidate Pair (т.е. происходит замена при сохранении контекста).
• Частота термина (Frequency of Term): Общее количество раз, когда одна половина Candidate Pair появляется в наборе данных.
• Score (Оценка эквивалентности): Рассчитывается как отношение: (Частота пары) / (Частота термина). Это нормализует частоту пары по популярности термина (формула transform/A).
• Threshold (Порог): Заранее определенное значение. В патенте упоминается 0.1 как подходящее значение для метода на основе логов запросов.
• Коэффициент совместной встречаемости в структурах: Используется для идентификации альтернатив. Высокий коэффициент указывает на то, что термины являются альтернативами.

Выводы

1. Автоматическое обучение языку («Мудрость толпы»): Патент описывает фундаментальный механизм, позволяющий Google автоматически изучать синонимы, акронимы и связанные термины без ручного вмешательства, используя реальное поведение пользователей и структуру веба.
2. Сессионные данные как сильный сигнал связи: Последовательные переформулировки запросов пользователем в рамках одной сессии являются сильным сигналом семантической связи. Изменение одного слова при сохранении контекста (общих терминов) указывает на потенциальную синонимию.
3. Анкорный текст как сигнал эквивалентности: Вариации в анкорном тексте ссылок, ведущих на одну и ту же страницу, используются как независимый источник для подтверждения эквивалентности терминов.
4. Явная обработка акронимов: Включен специальный механизм для идентификации акронимов путем сопоставления начальных букв слов.
5. Различение синонимов и альтернатив: Система включает механизм для предотвращения ошибочного определения связанных, но не эквивалентных терминов (например, конкурентов) как синонимов, анализируя их совместную встречаемость в списках и таблицах.

Практика

Best practices (это мы делаем)

• Использование естественных вариаций в контенте: Подтверждается важность использования синонимов, акронимов (с расшифровкой) и связанных терминов в тексте. Это помогает системе лучше понять тематику контента и подтверждает взаимосвязи, которые Google автоматически обнаруживает.
• Построение разнообразного профиля анкоров: Необходимо стремиться к естественному и разнообразному профилю входящих ссылок. Различные, но релевантные анкорные тексты, указывающие на одну страницу, помогают Google понять контекст страницы и подтверждают эквивалентность используемых фраз (Equivalent Descriptions).
• Анализ семантического поля (Кластеризация): При исследовании ключевых слов необходимо учитывать весь кластер синонимичных запросов. Патент показывает, что Google агрегирует понимание по всему кластеру, а не по отдельным фразам.
• Структурирование альтернатив: При описании продуктов или сущностей, имеющих альтернативы (например, сравнение конкурентов), используйте списки и таблицы. Это помогает Google понять, что эти сущности связаны (Alternatives), но не эквивалентны (согласно Процессу В алгоритма).
• Анализ внутренних логов поиска: Применяйте логику патента к логам внутреннего поиска на вашем сайте. Анализ того, как пользователи переформулируют запросы, поможет улучшить понимание интента и лексики вашей аудитории.

Worst practices (это делать не надо)

• Фокус на точном соответствии (Keyword Stuffing): Попытки оптимизировать контент под одну точную формулировку запроса менее эффективны, так как система автоматически распознает эквивалентные описания.
• Манипуляции с анкорным текстом (Over-optimization): Использование только одного варианта коммерческого анкора во входящих ссылках выглядит неестественно и не использует механизм подтверждения эквивалентности, описанный в патенте.
• Смешивание синонимов и альтернатив в контенте: Не следует представлять связанные сущности (конкурентов) как синонимы. Alternative Filter разработан для того, чтобы различать эти случаи, анализируя структурированные данные.

Стратегическое значение

Этот патент подтверждает стратегию Google по переходу от лексического поиска (сопоставление строк) к семантическому поиску (понимание смысла). Он демонстрирует, как данные о поведении пользователей (Query Logs) и структура веба (Anchor Text) используются для построения языковой модели. Для SEO это означает, что долгосрочная стратегия должна фокусироваться на тематической релевантности и естественном языке.

Практические примеры

Сценарий 1: Оптимизация страницы с акронимом

• Задача: Оптимизировать страницу про «Информационную Потребность (Information Need)».
• Применение патента: Система Google, анализируя сессии пользователей и контент, может выучить, что ‘Information Need’ и акроним ‘IN’ (если бы он использовался) связаны, особенно если пользователи ищут их последовательно или если акроним соответствует первым буквам.
• Действие SEO: Убедиться, что на странице присутствует как полная форма, так и акроним (если он релевантен). Это увеличивает релевантность страницы для всех Equivalent Descriptions и соответствует механизму распознавания акронимов (Claim 3).

Сценарий 2: Построение ссылочного профиля для услуги

• Задача: Продвижение страницы услуги ‘Установка кондиционеров’.
• Применение патента: Google анализирует Anchor Text, ведущий на эту страницу (Процесс Б). Если на нее ссылаются с анкорами ‘монтаж сплит-систем’ и ‘установка кондиционеров в квартире’, система укрепляет связь между этими фразами как Equivalent Descriptions.
• Действие SEO: При реализации стратегии линкбилдинга поощрять использование разнообразных, естественно звучащих анкоров, отражающих разные формулировки потребности, вместо фокуса только на основном ключевом слове.

Вопросы и ответы