Как Google анализирует историю поисковых запросов для устранения неоднозначности имен и генерации контекстных подсказок

Термины и определения

Context Terms (Контекстные термины)

Термины, указывающие на конкретное использование имени человека (конкретного человека или аспект его жизни). Извлекаются преимущественно из логов запросов.

Context Term List (Список контекстных терминов)

Набор Context Terms, сгенерированный для конкретного ресурса, связанного с именем.

Context Term Vector of Weights (Вектор весов контекстных терминов)

Численное представление Context Term List. Элементы вектора соответствуют терминам, а их значения — весам (например, Relevance Score). Используется для кластеризации.

First Queries (Первые запросы)

Запросы из логов, которые включают имя человека И для которых определенный ресурс признан релевантным выше первого порога (first relevance threshold).

Historical Data (Исторические данные)

Логи поисковых запросов и данные о взаимодействии пользователей с результатами.

Representative Term (Репрезентативный термин)

Контекстный термин, выбранный путем ранжирования как наилучший описатель для целого кластера контекстов.

Second Queries (Вторые запросы)

Запросы из логов, которые НЕ включают имя человека, НО для которых тот же самый ресурс признан релевантным выше второго порога (second relevance threshold).

Similarity Score (Оценка схожести)

Метрика, определяющая близость между двумя векторами контекстных терминов (например, Cosine Similarity).

Similarity Threshold (Порог схожести)

Минимальная оценка схожести, необходимая для объединения двух векторов/кластеров. Может динамически снижаться.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации контекстных подсказок для имени.

1. Система генерирует Context Term Lists для имени. Генерация включает строго определенный процесс для каждого связанного ресурса:
   • Выбор First Queries (содержат имя, ресурс релевантен).
   • Извлечение сопутствующих терминов из них.
   • Выбор Second Queries (НЕ содержат имя, ресурс релевантен).
   • Извлечение терминов из них.
   • Формирование Context Term List из объединенных терминов.
2. Система кластеризует эти списки. Кластеризация является итеративным процессом определения меры схожести между парами списков и их объединения.
3. Система выбирает Representative Term для каждого кластера.
4. При получении имени в качестве запроса система генерирует Query Suggestions, комбинируя имя с репрезентативными терминами.

Ядро изобретения — это использование как запросов, включающих имя, так и запросов, не включающих его, но ведущих на те же ресурсы, для определения контекста сущности.

Claim 3 (Зависимый от 1): Уточняет реализацию списков и кластеризации.

Списки представлены как Context Term Vector of Weights (веса — это Relevance Scores). Кластеризация включает расчет Similarity Scores. Пары векторов, чья схожесть превышает Similarity Threshold, объединяются.

Claim 4 (Зависимый от 3): Уточняет, что объединение векторов происходит путем их суммирования.

Claim 5 (Зависимый от 3): Указывает, что Similarity Threshold может снижаться после одной или нескольких итераций кластеризации. Это позволяет формировать более крупные кластеры вокруг доминирующих интерпретаций.

Claim 7 (Зависимый от 4): Описывает выбор Representative Term как процесс ранжирования терминов внутри кластера и выбора лучшего.

Claims 8-11 (Зависимые от 7): Детализируют критерии ранжирования терминов для выбора Representative Term:

• Claim 8 (База): Сумма Relevance Scores термина внутри кластера.
• Claim 9 (Пессимизация): Снижение оценки пропорционально IDF (Inverse Document Frequency). Общие термины менее полезны для уточнения.
• Claim 10 (Бустинг Авторитета): Повышение оценки пропорционально Authority Score ресурсов-источников термина.
• Claim 11 (Бустинг Поведения): Повышение оценки, если термин часто встречался в запросах вместе с именем (сильный сигнал пользовательского восприятия).

Где и как применяется

Изобретение требует значительной офлайн-обработки данных и применяется в реальном времени на этапе понимания запросов.

INDEXING & DATA ACQUISITION – Индексирование и Сбор данных
Система использует Resource Index и рассчитывает метрики авторитетности (Authority Score) ресурсов. Критически важным компонентом являются Historical Data (логи запросов), которые служат основным источником для анализа.

QUNDERSTANDING – Понимание Запросов (Офлайн-процессинг)
Основная часть работы алгоритма. Name Processing Subsystem выполняет анализ логов, генерацию Context Term Lists, их кластеризацию и выбор Representative Terms. Результаты сохраняются в базе данных Name Context Data. Это формирует глубокое понимание контекстов сущностей.

QUNDERSTANDING – Понимание Запросов (Онлайн)
В реальном времени система определяет, является ли входящий запрос именем человека и является ли он неоднозначным (т.е. не хватает ли контекста для однозначной интерпретации).

METASEARCH / RERANKING (Генерация SERP Features)
Если запрос признан неоднозначным, система извлекает сохраненные Representative Terms и генерирует Query Suggestions для отображения пользователю (например, в Autocomplete или блоках уточнений на SERP).

Входные данные:

• Логи поисковых запросов (Historical Data).
• Индекс ресурсов (Resource Index).
• Оценки авторитетности ресурсов (Authority Scores).

Выходные данные:

• База Name Context Data (кластеры и репрезентативные термины).
• Query Suggestions (в реальном времени).

На что влияет

• Специфические запросы: Влияет на запросы, состоящие из имен людей (именованных сущностей), особенно если эти имена неоднозначны.
• Конкретные типы контента: Влияет на видимость контента, посвященного людям — биографии, новости, профили, научные статьи.
• Управление репутацией (ORM/SERM): Напрямую влияет на то, какие подсказки увидит пользователь при поиске человека или бренда, определяя доминирующие контексты.

Когда применяется

• Триггеры активации (Онлайн): Когда поисковая система идентифицирует введенный запрос как имя человека И определяет, что запрос является неоднозначным.
• Условия работы (Офлайн): Процесс генерации контекстов выполняется периодически на основе накопленных исторических данных и обновленного индекса.
• Фильтрация: В патенте упоминаются меры для предотвращения генерации оскорбительных подсказок, включая фильтры и требования к минимальной авторитетности (minimum authority metric) и качеству (minimum quality metric) ресурсов.

Пошаговый алгоритм

Алгоритм состоит из офлайн-генерации контекстов и онлайн-генерации подсказок.

Фаза А: Офлайн-генерация контекстов и репрезентативных терминов

А1. Генерация списков контекстных терминов (для каждого имени)

1. Сбор данных: Идентификация Топ-K ресурсов, связанных с именем.
2. Обработка ресурсов: Для каждого ресурса анализируются логи запросов (Historical Data).
3. Идентификация First Queries: Выбираются запросы, которые содержат имя И для которых ресурс достаточно релевантен (превышает первый порог).
4. Извлечение терминов (Тип 1): Из First Queries извлекаются сопутствующие термины.
5. Идентификация Second Queries: Выбираются запросы, которые НЕ содержат имя, НО для которых этот же ресурс достаточно релевантен (превышает второй порог).
6. Извлечение терминов (Тип 2): Из Second Queries извлекаются термины.
7. Формирование Списка и Вектора: Термины Типа 1 и 2 объединяются в Context Term List. Список преобразуется в Context Term Vector of Weights (веса = Relevance Scores).

А2. Кластеризация

1. Нормализация (Опционально): Термины нормализуются (синонимы, стемминг) (Claim 6).
2. Расчет схожести: Вычисляются попарные Similarity Scores между векторами. Используется, например, косинусное сходство.
3. Итеративное объединение:
   • Пары векторов, чья схожесть превышает Similarity Threshold, объединяются (суммируются).
   • Проверяется условие завершения. Если нет, порог схожести может быть снижен (Claim 5), и процесс повторяется.

А3. Выбор репрезентативных терминов

1. Ранжирование терминов: Внутри каждого кластера термины ранжируются. Базовая оценка — сумма Relevance Scores.
2. Корректировка оценки:
   • Пессимизация на основе IDF (общие термины понижаются) (Claim 9).
   • Бустинг на основе Authority Score источников (Claim 10).
   • Бустинг, если термин часто использовался в запросах с именем (Claim 11).
3. Выбор: Термин с наивысшей оценкой выбирается как Representative Term.
4. Сохранение: Данные сохраняются в Name Context Data.

Фаза Б: Онлайн-генерация поисковых подсказок

1. Получение запроса: Система получает запрос пользователя.
2. Идентификация и проверка: Система определяет, является ли запрос неоднозначным именем.
3. Генерация подсказок: Извлекаются сохраненные Representative Terms и формируются Query Suggestions ([Имя + Термин]).

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Критические): Historical Data (логи запросов). Это основной источник данных. Анализируется, какие запросы (First и Second Queries) ведут на какие ресурсы, и какие термины совместно встречаются с именем в запросах (Claim 11).
• Факторы Авторитетности (Authority Score): Предварительно рассчитанные оценки авторитетности ресурсов. Используются для повышения веса контекстных терминов из авторитетных источников (Claim 10) и для фильтрации спама.
• Контентные факторы (Косвенно/Опционально): Контент ресурсов используется для определения их базовой релевантности. Также патент (Claim 2) упоминает возможность извлечения контекстных терминов непосредственно из контента (например, через TF-IDF), хотя фокус сделан на логах запросов.

Какие метрики используются и как они считаются

• Relevance Score (Оценка релевантности): Вес контекстного термина в векторе. Используется как базовая метрика для ранжирования терминов.
• Relevance Threshold (Порог релевантности): Используется для отбора First и Second Queries (минимальный ранг или оценка релевантности ресурса по запросу).
• Similarity Score (Оценка схожести): Метрика для кластеризации. Пример из патента — Косинусное сходство (Cosine Similarity) между векторами $C_i$ и $C_j$: $sim(C_{i},C_{j})=\frac{c_{i}\cdot c_{j}}{||c_{i}||\cdot||c_{j}||}$
• Similarity Threshold (Порог схожести): Порог для объединения кластеров. Может динамически снижаться.
• IDF (Inverse Document Frequency): Используется для пессимизации общеупотребительных терминов при выборе Representative Term (Claim 9).

1. Поведение пользователей формирует контекст сущности: Ключевой вывод — Google активно использует логи запросов (Historical Data) для понимания контекста сущностей. То, как пользователи ищут информацию, напрямую формирует кластеры ассоциаций вокруг имени.
2. Критическая роль запросов без упоминания имени (Second Queries): Для определения контекста система анализирует запросы, которые не содержат имя, но ведут на тот же ресурс. Это подтверждает важность Topical Authority: ресурс должен быть релевантен теме в целом, а не только при прямом поиске по имени сущности.
3. Автоматическая кластеризация контекстов: Система автоматически разделяет разные значения имени (разных людей или разные аспекты деятельности) на кластеры, что позволяет диверсифицировать подсказки и избегать доминирования одного значения.
4. Многофакторный выбор репрезентативного термина: Выбор термина для подсказки — это сложный процесс ранжирования. Система предпочитает термины, которые являются релевантными, достаточно уникальными (штраф по IDF), исходят из авторитетных источников (бустинг по Authority Score) и подтверждены поведением пользователей (бустинг за совместное использование в запросах).
5. Авторитетность влияет на определение контекста: Сайты с высоким Authority Score имеют большее влияние на то, какие именно термины будут выбраны для описания контекста сущности в подсказках.

Best practices (это мы делаем)

• Построение Topical Authority через охват Second Queries: При создании контента о сущности (человеке/бренде) убедитесь, что он покрывает все ключевые аспекты и связанные темы. Контент должен быть релевантен не только запросу с именем, но и тематическим запросам без имени. Это укрепит связь ресурса с нужным контекстным кластером.
• Стимулирование правильных ассоциаций (Интеграция SEO и PR): Поскольку термины, часто используемые в запросах вместе с именем, получают повышение (Claim 11), важно стимулировать формирование правильных поисковых привычек у аудитории через PR и маркетинг (например, [Имя + Ключевая Компетенция]).
• Повышение авторитетности ресурсов (E-E-A-T): Работайте над повышением Authority Score ваших ресурсов. Термины с авторитетных сайтов имеют преимущество при выборе Representative Term (Claim 10).
• Использование специфичных и четких дескрипторов: Поскольку общие термины пессимизируются с помощью IDF (Claim 9), используйте четкие, специфичные термины для описания деятельности сущности. Это повышает их шансы стать репрезентативными.
• Разделение контекстов для многогранных сущностей: Если персона или бренд имеют несколько направлений деятельности, создавайте четко разделенный контент (например, в разных разделах сайта). Это поможет Google сформировать отдельные кластеры для каждого направления.

Worst practices (это делать не надо)

• Создание поверхностного контента, оптимизированного только под имя: Страницы, релевантные только прямым запросам (First Queries) и не отвечающие на тематические запросы без имени (Second Queries), будут слабее участвовать в формировании контекстных кластеров.
• Смешивание несвязанных контекстов: Создание контента, который смешивает информацию о разных людях с одним именем или слишком много разнородных аспектов на одной странице. Это затрудняет кластеризацию и "размывает" контекст.
• Игнорирование авторитетности источников: Размещение информации о сущности только на низкоавторитетных сайтах снижает вес связанных с ней контекстных терминов.
• Накрутка подсказок низкого качества: Попытки манипулировать логами запросов с помощью ботов рискованны, так как система учитывает качество и авторитетность ресурсов и применяет фильтры для предотвращения злоупотреблений.

Стратегическое значение

Патент подтверждает стратегический переход от оптимизации под ключевые слова к оптимизации под сущности (Entity-Based SEO) и контексты. Он демонстрирует, как Google использует данные о поведении пользователей для построения семантических связей и понимания мира. Долгосрочная SEO-стратегия должна фокусироваться на управлении тем, как поисковая система интерпретирует сущность, что достигается через построение Topical Authority и управление поисковым спросом.

Практические примеры

Сценарий: Разделение контекстов для эксперта с распространенным именем

Мы продвигаем эксперта "Алекс Смит", специалиста по кибербезопасности. Существует также известный спортсмен Алекс Смит.

Цель: Сформировать четкий кластер для нашего эксперта и добиться появления подсказки "Алекс Смит кибербезопасность".

1. Укрепление Topical Authority (Second Queries): Создаем экспертный контент в блоге Алекса, который ранжируется по тематическим запросам без имени (например, "анализ уязвимости CVE-XXXX", "лучшие практики пентестинга"). Система ассоциирует эти термины с ресурсом Алекса.
2. Стимулирование прямых ассоциаций (First Queries): Через PR-активности и выступления стимулируем запросы, связывающие имя и контекст (например, "Алекс Смит утечка данных 2025").
3. Повышение авторитетности (Authority Score): Публикуем статьи Алекса на авторитетных внешних площадках (например, Хабр, профильные СМИ) и получаем на них ссылки.
4. Ожидаемый результат: Система формирует отдельный кластер, связывающий Алекса Смита с терминами "кибербезопасность", "пентестинг", "CVE". Благодаря высокой авторитетности ресурсов и прямым пользовательским запросам (Бустинг по Claim 10 и 11), термин "кибербезопасность" получает высокий ранг и становится Representative Term, вытесняя или дополняя подсказки о спортсмене.