Как Google использует исторические данные о кликах (CTR) по категориям для определения доминирующего интента неоднозначных запросов

Описание

Какую задачу решает

Патент решает проблему обработки поисковых запросов, которые имеют несколько различных значений или интерпретаций (неоднозначные запросы). Например, запрос «Pool» может относиться к бассейну, бильярдному столу или заведению. Цель — определить наиболее вероятное намерение пользователя на основе коллективного поведения и скорректировать выдачу так, чтобы избежать показа нерелевантных результатов, соответствующих второстепенным интерпретациям.

Что запатентовано

Запатентована система для разрешения неоднозначности запросов путем анализа исторических данных о предпочтениях пользователей. Система использует метрики (преимущественно Click-Through-Rate (CTR)), связанные с парами запрос/категория. Анализируя распределение этих метрик, система определяет, является ли запрос неоднозначным, идентифицирует доминирующие категории (предпочтения) и корректирует ранжирование, повышая результаты из этих категорий.

Как это работает

Система работает в несколько этапов:

• Сбор данных: Система отслеживает исторические данные о кликах и показах для результатов из определенных категорий по конкретным запросам, вычисляя CTR для пар запрос/категория.
• Определение неоднозначности: При получении запроса анализируется распределение CTR по категориям. Если ни одна категория значительно не доминирует или если энтропия (entropy) распределения высока, запрос считается неоднозначным.
• Идентификация предпочтений: Если запрос неоднозначен, система определяет предпочтительные категории одним из двух методов: (1) Проверка превышения порогового значения CTR (возможно, с подъемом по иерархии категорий); (2) Поиск «резкого падения» (sharp drop-off) в значениях CTR для выявления «несущественных» категорий.
• Корректировка ранжирования: Результаты, относящиеся к предпочтительным категориям, повышаются (boosting) в ранжировании.

Актуальность для SEO

Высокая. Понимание интента пользователя и обработка неоднозначных запросов являются фундаментальными задачами поиска. Хотя современные NLP-модели (BERT, MUM) значительно продвинулись в семантическом анализе, исторические поведенческие данные (CTR) остаются мощным сигналом для определения доминирующей интерпретации терминов-омонимов (например, «Apple», «Java»). Описанные механизмы лежат в основе определения основного интента для широких запросов.

Важность для SEO

Патент имеет высокое значение (8/10) для SEO, особенно при работе с широкими или неоднозначными ключевыми словами. Он демонстрирует конкретный механизм, как Google определяет доминирующий интент на основе агрегированных поведенческих сигналов (CTR по категориям). Если сайт нацелен на второстепенное намерение, он может быть систематически понижен, если система классифицирует этот интент как «несущественный» (inconsequential).

Детальный разбор

Термины и определения

Ambiguous Query (Неоднозначный запрос)

Запрос, имеющий более одной интерпретации. Определяется системой, если распределение метрик по категориям имеет высокую энтропию или не имеет явного лидера.

Category Hierarchy (Иерархия категорий)

Структура организации категорий по уровням (например, Японский ресторан -> Азиатский ресторан -> Рестораны). Используется для агрегации метрик на более высоких уровнях.

Click-Through-Rate (CTR)

Основная метрика предпочтений пользователя в патенте. Рассчитывается как отношение количества кликов к общему количеству показов для определенной пары запрос/категория.

Entropy (Энтропия)

Мера неопределенности распределения метрик категорий для данного запроса. Высокая энтропия (распределение не является резко пиковым) указывает на неоднозначность запроса.

Inconsequential Category (Несущественная категория)

Категория, идентифицированная как маловероятное намерение пользователя. Определяется, если ее метрика находится после «резкого падения» (sharp drop-off) в упорядоченном списке метрик.

Metric (Метрика)

Числовое значение, указывающее на предпочтение пользователя (user preference). Примеры включают CTR, продолжительность взаимодействия или количество взаимодействий.

Query/Category Metric Store (Хранилище метрик запросов/категорий)

База данных, хранящая пары запрос/категория и связанные с ними метрики, вычисленные на основе исторических данных.

Sharp Drop-off (Резкое падение)

Значительное снижение значения метрики между двумя последовательными категориями в списке, упорядоченном по убыванию метрик. Используется для идентификации Inconsequential Categories.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод разрешения неоднозначных запросов.

1. Система получает поисковый запрос.
2. Идентифицируется множество категорий и соответствующих им метрик категорий. Каждая метрика указывает на предпочтение пользователя к результатам из этой категории для данного запроса.
3. Определяется, является ли запрос неоднозначным, на основе распределения (distribution) этих метрик.
4. Если запрос неоднозначен:
   • Идентифицируются одна или несколько предпочтительных категорий (preferred categories) на основе метрик.
   • Генерируется ранжированный набор результатов, при этом повышаются (boosting rankings) ранги результатов, соответствующих предпочтительным категориям.
5. Набор результатов предоставляется пользователю.

Claim 2 (Зависимый от 1): Уточняет, что метрикой является CTR, рассчитанный на основе исторических данных.

Claims 3 и 4 (Зависимые от 1): Уточняют методы определения неоднозначности.

• Claim 3: Определение неоднозначности включает проверку того, что ни одна категория не имеет метрику, которая превышает метрики всех других категорий на заранее определенную величину (отсутствие доминирования).
• Claim 4: Определение неоднозначности включает определение того, превышает ли энтропия (entropy) распределения метрик заранее определенное значение.

Claims 5 и 6 (Зависимые от 1): Уточняют методы идентификации предпочтительных категорий.

• Claim 5 (Пороговый метод): Идентификация категорий, чьи метрики превышают заранее определенное значение.
• Claim 6 (Метод резкого падения): Идентификация падения (drop-off), превышающего заранее определенное значение, между двумя последовательными метриками в упорядоченном списке. Категории до падения считаются предпочтительными.

Где и как применяется

Изобретение применяется на нескольких этапах поисковой архитектуры, в основном связанных с пониманием запроса и ранжированием.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна классифицировать контент (веб-страницы, сущности) по категориям. Эта информация необходима для последующего агрегирования метрик.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Включает:

1. Офлайн-обработку: Анализ исторических логов для вычисления и хранения метрик (CTR) для пар запрос/категория в Query/Category Metric Store.
2. Онлайн-анализ: При получении запроса система извлекает метрики и определяет, является ли запрос неоднозначным (используя энтропию или анализ доминирования).
3. Разрешение неоднозначности: Если запрос неоднозначен, система идентифицирует предпочтительные категории (используя пороговые значения или анализ падения).

RANKING – Ранжирование / RERANKING – Переранжирование
Результаты этапа QUNDERSTANDING используются для влияния на ранжирование. Система получает информацию о предпочтительных категориях и использует ее для повышения (boosting) результатов, связанных с этими категориями, или понижения результатов из inconsequential categories.

Входные данные:

• Входящий поисковый запрос.
• Исторические данные о взаимодействии пользователей (показы и клики).
• Категоризация поисковых результатов (из индекса).
• Query/Category Metric Store.
• Иерархия категорий (если используется).

Выходные данные:

• Определение статуса запроса (неоднозначный/однозначный).
• Список предпочтительных категорий.
• Скорректированные оценки ранжирования (с учетом бустинга по категориям).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на широкие, короткие или полисемичные запросы (запросы-омонимы), где существует несколько возможных интерпретаций (например, «Ягуар», «Pool», «Apple»).
• Локальный поиск и карты: Патент явно упоминает применение в картографических приложениях (mapping application) для поиска точек интереса (POI), например, для разрешения неоднозначности между типами бизнеса.
• Конкретные типы контента: Влияет на любой контент, который может быть четко классифицирован в рамках используемой системы категорий.

Когда применяется

Алгоритм активируется при обработке поискового запроса, но его корректирующее воздействие применяется только при выполнении определенных условий.

• Триггер активации: Система должна определить, что запрос является неоднозначным (Ambiguous Query). Это происходит, если:
  • Энтропия распределения метрик по категориям превышает порог.
  • ИЛИ: Ни одна категория не доминирует над всеми остальными с достаточным отрывом (в патенте упоминаются примеры порогов в 30% или 50%).
• Условия применения корректировки: После того как запрос признан неоднозначным, система должна успешно идентифицировать предпочтительные категории одним из двух методов (Пороговый или Резкий спад).

Пошаговый алгоритм

Патент описывает несколько взаимосвязанных процессов.

Процесс А: Сбор данных и вычисление метрик (Офлайн или в реальном времени)

1. Получение запроса и результатов: Система предоставляет набор результатов пользователю.
2. Отслеживание показов: Для каждого показанного результата инкрементируется счетчик просмотров (views counter) для всех связанных с ним категорий.
3. Отслеживание кликов: Если пользователь кликает на результат, инкрементируется счетчик кликов (clicks counter) для всех связанных с ним категорий.
4. Вычисление метрик: Вычисляются CTR для каждой пары запрос/категория.
5. Сохранение: Данные сохраняются в Query/Category Metric Store.

Процесс Б: Обработка запроса (Основной поток)

1. Получение запроса и метрик: Система получает запрос и извлекает связанные метрики из хранилища.
2. Определение неоднозначности: Анализируется распределение метрик (энтропия или доминирование).
   • Если НЕ неоднозначен: Ранжировать стандартным способом.
   • Если неоднозначен: Перейти к Процессу В или Г для идентификации предпочтений.
3. Корректировка ранжирования: Если предпочтения определены, ранжировать результаты, используя идентифицированные предпочтения (бустинг предпочтительных категорий).
4. Представление результатов: Показать ранжированные результаты.

Процесс В: Идентификация предпочтений методом порогов и иерархий

1. Проверка порогов: Определить, превышают ли метрики категорий на текущем иерархическом уровне заранее определенное значение (например, 40%).
2. Принятие решения:
   • Если ДА: Эти категории идентифицируются как предпочтительные. Завершить.
   • Если НЕТ: Перейти к шагу 3.
3. Проверка уровня иерархии: Достигнут ли самый высокий уровень?
   • Если ДА: Завершить (предпочтения не определены).
   • Если НЕТ: Инкрементировать уровень иерархии.
4. Агрегация метрик: Определить метрики для категорий более высокого уровня (например, путем суммирования метрик дочерних категорий). Вернуться к шагу 1.

Процесс Г: Идентификация предпочтений методом резкого падения

1. Сортировка метрик: Упорядочить метрики по убыванию значения.
2. Анализ падения: Сравнить значения последовательных метрик. Обнаружено ли резкое падение (sharp drop-off), превышающее порог (например, > 40%)?
3. Принятие решения:
   • Если ДА: Категории до падения считаются предпочтительными. Категории после падения идентифицируются как несущественные (inconsequential). Завершить.
   • Если НЕТ: Завершить (предпочтения не определены этим методом).

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Это ключевые данные для патента. Используются исторические данные о взаимодействии пользователей с результатами поиска:
  • Показы (Views/Impressions): Количество раз, когда результат из определенной категории был показан в ответ на запрос.
  • Клики (Clicks): Количество кликов на результат из определенной категории в ответ на запрос.
  • Альтернативные метрики: Патент упоминает возможность использования продолжительности взаимодействия (duration of interaction) или количества взаимодействий.
• Структурные/Контентные факторы (Косвенно): Данные, используемые для категоризации контента. Патент упоминает, что категоризация может быть получена из внешних источников (например, Yellow Pages для бизнесов) или путем анализа ключевых слов на веб-страницах.

Какие метрики используются и как они считаются

• Click-Through-Rate (CTR): Основная метрика предпочтения пользователя.
  Формула:

Выводы

1. Поведение пользователей определяет доминирующий интент: Патент описывает механизм, где агрегированные исторические данные о кликах (CTR) используются как источник истины для определения того, какие интерпретации (категории) неоднозначного запроса являются наиболее популярными.
2. Неоднозначность определяется статистически: Система активно определяет неоднозначность, используя статистические методы (энтропия, анализ доминирования). Только если запрос неоднозначен, активируются механизмы корректировки.
3. Два конкретных метода разрешения неоднозначности: Система может использовать (1) Пороговые значения CTR (абсолютный подход) или (2) Анализ резкого падения CTR (относительный подход) для отделения основных интентов от второстепенных.
4. Использование иерархий для обобщения интента: Если предпочтения не ясны на детальном уровне, система может подняться по иерархии и определить более широкую предпочтительную категорию (например, обобщить до «Азиатский ресторан»).
5. Влияние на ранжирование: Идентифицированные предпочтения напрямую влияют на ранжирование путем повышения (boosting) результатов из предпочтительных категорий и потенциального подавления результатов из несущественных категорий (inconsequential).
6. Зависимость от категоризации: Эффективность системы напрямую зависит от качества и гранулярности системы категоризации контента, используемой поисковой системой.

Практика

Best practices (это мы делаем)

• Ориентация на доминирующий интент: При таргетинге на неоднозначные запросы необходимо фокусироваться на доминирующем намерении пользователя, которое Google определяет на основе исторических CTR. Анализируйте текущую выдачу, чтобы понять, какая интерпретация является основной.
• Четкая сигнализация категории контента: Помогайте поисковой системе правильно классифицировать ваш контент. Используйте релевантную микроразметку (Schema.org), четкую структуру сайта и тематические ключевые слова. Это критично для того, чтобы ваши данные корректно агрегировались в Query/Category Metric Store.
• Оптимизация под родительские категории (Topical Authority): Создавайте авторитет в рамках широкой тематики. Поскольку система может использовать агрегацию метрик на более высоком уровне иерархии (Процесс В), авторитетность в родительской категории может помочь при ранжировании по неоднозначным дочерним запросам.
• Повышение CTR для укрепления интента: Высокий CTR вашего контента вносит вклад в глобальную статистику для пары запрос/категория. Демонстрируя высокую вовлеченность, вы помогаете укрепить связь между запросом и вашей категорией в глазах Google.

Worst practices (это делать не надо)

• Таргетинг на «несущественные» интенты: Попытка ранжироваться по неоднозначному запросу с контентом, который соответствует редкому или непопулярному намерению. Если система определит эту категорию как inconsequential (например, с помощью анализа резкого падения), ваш контент будет систематически понижаться.
• Неоднозначная категоризация контента: Создание контента, который смешивает несколько разных категорий или не имеет четкой тематической направленности. Это затрудняет классификацию и может привести к тому, что контент не будет ассоциирован с предпочтительной категорией.
• Игнорирование коллективных предпочтений: Полагаться только на семантическую релевантность без учета того, как большинство пользователей интерпретирует запрос. Google отдает приоритет коллективному поведению при разрешении неоднозначности.

Стратегическое значение

Патент подтверждает, что Google активно интерпретирует запросы, опираясь на «мудрость толпы» (агрегированные данные CTR), чтобы определить, что *на самом деле* ищут пользователи. Это подчеркивает переход от чисто текстовой релевантности к релевантности намерениям. Стратегически важно понимать не только семантику запроса, но и контекст его использования большинством пользователей. Борьба с устоявшимся доминирующим интентом по неоднозначному запросу обычно является проигрышной стратегией.

Практические примеры

Сценарий: Оптимизация сайта о бильярде под запрос «Pool»

1. Анализ запроса: Запрос «Pool» неоднозначен. Категории: «Swimming Pools» (Бассейны), «Pool Tables» (Бильярдные столы), «Sports Lounges» (Бильярдные).
2. Предполагаемые данные Google (CTR):
   • Swimming Pools: 65%
   • Pool Tables: 20%
   • Sports Lounges: 15%
3. Действие системы (Метод падения): Система обнаруживает резкое падение между «Swimming Pools» (65%) и «Pool Tables» (20%). Если порог падения, например, 40%, то падение на ~69% является резким.
4. Результат: «Swimming Pools» идентифицируется как предпочтительная категория. «Pool Tables» и «Sports Lounges» могут быть признаны inconsequential. Результаты о бассейнах получают бустинг.
5. SEO-стратегия для сайта о бильярде: Ранжирование по общему запросу «Pool» будет крайне сложно. Стратегия должна фокусироваться на точных запросах («Pool tables for sale», «How to play pool»), где интент ясен и категория «Pool Tables» будет доминирующей.

Вопросы и ответы