Как Google определяет интент запроса, анализируя классификацию контента, который кликают пользователи

Термины и определения

Search Entities (Поисковые сущности)

Объекты, которые система может классифицировать или использовать для классификации. Включают документы (веб-страницы), сайты, домены, сессии и сами запросы.

User Behavior Data (Данные о поведении пользователей)

Данные, отражающие взаимодействие пользователей с результатами поиска. Включают Click Data.

Click Data (Данные о кликах)

Конкретный тип User Behavior Data, фиксирующий выбор пользователем результата поиска и время просмотра выбранного документа (Dwell Time).

Dwell Time (Время пребывания)

Время между кликом по результату поиска и возвратом пользователя на страницу выдачи.

Long Click / Short Click (Длинный клик / Короткий клик)

Классификация клика на основе Dwell Time. Long Click (длительное пребывание) интерпретируется как индикатор релевантности документа запросу. Short Click (быстрый возврат) интерпретируется как недостаток релевантности.

Quality of Result Statistic (Статистика качества результата)

Метрика, производная от User Behavior Data для конкретной пары запрос-документ, указывающая на релевантность документа запросу (например, взвешенное среднее количество Long Clicks).

Query Classifier Engine (Механизм классификации запросов)

Компонент системы, отвечающий за определение и присвоение классификаций запросам на основе классификаций связанных с ними Search Entities.

Session / Session Data (Сессия / Данные сессии)

Последовательность запросов и взаимодействий пользователя в течение ограниченного периода времени. Данные сессии могут использоваться для распространения классификаций между запросами в рамках одной сессии.

Query Transitions (Переходы между запросами)

Вероятность того, что пользователь перейдет от одного запроса к другому. Используется для определения связанности запросов и распространения классификаций.

Consistency Check (Проверка консистентности/согласованности)

Процедура валидации, гарантирующая, что классификация, выведенная из общего набора релевантных сущностей, согласуется с классификацией Топ-N наиболее релевантных сущностей.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод классификации запроса на основе пользовательских данных и проверки консистентности.

1. Система получает запрос на определение классификации для Первого Запроса.
2. Выбираются Search Entities, связанные с Первым Запросом, на основе соответствующих данных о поведении пользователей (User Behavior Data) для этого запроса.
3. Определяется Первая Мера (например, процент) того, сколько из этих сущностей имеют данную классификацию.
4. Проверяется, удовлетворяет ли Первая Мера пороговому значению (Classification Threshold).
5. Если ДА, определяется Вторая Мера того, сколько сущностей из «Топ-группы» имеют данную классификацию. Топ-группа — это подмножество выбранных сущностей с наивысшими показателями релевантности запросу на основе User Behavior Data.
6. Проверяется консистентность (согласованность) между Первой Мерой и Второй Мерой.
7. Если консистентность подтверждена, классификация присваивается Первому Запросу.

Ядро изобретения — это не просто наследование классификации от связанных документов, а использование User Behavior Data для идентификации *наиболее релевантных* документов и обязательная проверка консистентности между общим набором и Топ-группой для подтверждения классификации.

Claim 2, 3, 4 (Зависимые): Уточняют типы Search Entities.

Search Entities могут быть документами (Claim 2), сайтами (Claim 3) или веб-доменами (Claim 4). User Behavior Data в этих случаях относится к поведению пользователей по отношению к этим сущностям, когда они были представлены в качестве результатов поиска по Первому Запросу.

Claim 5, 6 (Зависимые): Уточняют, что Search Entities могут быть другими запросами.

Search Entities могут быть Вторыми Запросами. User Behavior Data в этом случае указывает на вероятность того, что Первый и Второй запросы подаются в рамках одной и той же сессии (Claim 6).

Claim 8 (Зависимый): Описывает механизм взвешивания.

Определение Первой Меры (процента классифицированных сущностей) происходит с учетом весов для классификации каждой сущности. Эти веса основаны на User Behavior Data, связанных с каждой сущностью. Это означает, что сущности с более сильными сигналами релевантности (например, больше Long Clicks) имеют большее влияние на итоговую классификацию запроса.

Claim 11 (Зависимый): Уточняет порог классификации.

Значение порогового значения (Classification Threshold) может зависеть от типа классификации. Например, порог для классификации запроса как «взрослый контент» может быть ниже, чем для классификации как «новости».

Где и как применяется

Изобретение преимущественно функционирует на этапе понимания запросов, но оказывает прямое влияние на ранжирование.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Query Classifier Engine анализирует запрос для определения его интента (классификации). Вместо анализа только текста запроса, система анализирует исторические данные о том, как пользователи взаимодействовали с результатами по этому запросу.

• Офлайн-обработка: Большая часть работы может выполняться офлайн (как описано в FIG. 5B). Система периодически анализирует логи поведения пользователей (Result Selection Logs), определяет релевантные Search Entities и вычисляет классификации для исторических запросов, сохраняя их для будущего использования.
• Онлайн-обработка: Когда поступает новый запрос, система может либо извлечь предварительно вычисленную классификацию, либо выполнить процесс классификации в реальном времени (как описано в FIG. 5A).

RANKING – Ранжирование / RERANKING – Переранжирование
Классификация запроса, полученная на этапе QUNDERSTANDING, используется как входные данные для процесса ранжирования. Патент указывает (Claim 10), что классификация предоставляется как входные данные для процесса ранжирования документов.

• Корректировка ранжирования: Rank Modifier Engine может использовать классификацию для повышения релевантности результатов. Если запрос классифицирован как «Продукт», система может повысить в выдаче страницы товаров или агрегаторы.
• Фильтрация: Классификация может активировать фильтры (например, SafeSearch, если запрос классифицирован как «Взрослый контент»).

INDEXING – Индексирование
На этом этапе происходит предварительная классификация Search Entities (документов, сайтов, доменов). Система должна иметь доступ к Document Classification Data, чтобы использовать их для классификации запросов. Патент также описывает итеративный процесс (FIG. 11, FIG. 6B), где классификации запросов используются для обновления классификаций документов.

Входные данные:

• Запрос для классификации.
• User Behavior Data (логи кликов, Dwell Time) для этого запроса.
• Существующие классификации Search Entities (документов, сайтов, доменов, связанных запросов).
• Данные сессий (Session Data) и переходов между запросами (Query Transitions).

Выходные данные:

• Определенная классификация (или набор классификаций с весами) для входного запроса.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на короткие, неоднозначные запросы или запросы с множественными интентами. Система определяет доминирующий интент на основе поведения большинства пользователей.
• Типы контента: Влияет на то, какой тип контента будет приоритезирован в выдаче. Если запрос классифицирован как коммерческий, приоритет получат товары и услуги. Если как информационный — статьи и новости.
• Ниши и тематики: Критически важно в тематиках, где интент сильно влияет на формат выдачи (например, E-commerce, Новости, YMYL) или где требуется фильтрация (Adult content).

Когда применяется

• Триггеры активации: Система активируется при необходимости определить классификацию запроса. Это может происходить для всех запросов или выборочно (например, для запросов, где интент неясен).
• Условие достаточности данных: Механизм применяется только при наличии достаточного объема User Behavior Data, связанного с запросом (FIG. 6A, 602). Если данных мало, система не будет пытаться классифицировать запрос этим методом, чтобы избежать ошибок.
• Частота применения: Классификации могут пересчитываться периодически офлайн для учета изменений в поведении пользователей и контенте интернета.

Пошаговый алгоритм

Основной процесс классификации запроса (на основе документов)

1. Получение запроса: Система получает входной запрос и запрос на его классификацию (например, является ли он «Продуктовым»).
2. Проверка достаточности данных: Оценивается, достаточно ли накоплено User Behavior Data для этого запроса. Если нет, процесс останавливается.
3. Идентификация релевантных документов: Определяются документы, имеющие наибольшую релевантность запросу на основе User Behavior Data (например, Топ-100 документов по количеству Long Clicks).
4. Извлечение классификаций документов: Для каждого идентифицированного документа извлекается информация о его классификации (например, является ли он «Продуктовым»).
5. (Опционально) Взвешивание: Классификация каждого документа взвешивается в соответствии с его User Behavior Data. Документы с лучшими поведенческими факторами получают больший вес.
6. Расчет Первой Меры: Определяется общий процент (или взвешенная доля) документов, которые классифицированы как «Продуктовые».
7. Проверка порога: Сравнивается Первая Мера с пороговым значением (Classification Threshold). Если ниже, процесс останавливается (запрос не классифицируется как «Продуктовый»).
8. Проверка консистентности (Consistency Check):
   • Выбирается Топ-N документов (например, Топ-10) с наилучшими User Behavior Data.
   • Рассчитывается Вторая Мера: процент «Продуктовых» документов среди Топ-N.
   • Сравнивается Первая и Вторая Меры. Если они не согласуются (например, разница превышает допустимый предел), процесс останавливается.
9. Присвоение классификации: Если порог пройден и консистентность подтверждена, входному запросу присваивается классификация «Продуктовый».
10. (Опционально) Распространение: Классификация может быть распространена на другие запросы в той же сессии или на запросы, связанные через Query Transitions.

Итеративный процесс (Bootstrapping)

1. Итерация 1 (Документы -> Запросы): Классификация запросов определяется на основе существующих классификаций документов (используя основной процесс выше).
2. Итерация 2 (Запросы -> Документы): Классификация документов обновляется на основе классификаций запросов, которые к ним приводят (используя аналогичный процесс, описанный в FIG. 6B).
3. Повторение: Итерации повторяются до достижения сходимости или заданного числа циклов.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании поведенческих данных и существующих классификаций сущностей.

• Поведенческие факторы (User Behavior Data): Это критически важные данные для работы системы.
  • Click Data: Записи о выборе пользователями результатов поиска.
  • Dwell Time: Время, проведенное пользователем на просмотре документа после клика.
  • Session Data: Последовательность запросов и кликов в рамках одной сессии.
  • Result Selection Logs: Логи, содержащие агрегированные данные о взаимодействиях (запрос, документ, время пребывания, язык, страна).
• Системные данные (Классификации сущностей):
  • Document/Site/Domain Classification Data: Предварительно определенные классификации для документов, сайтов и доменов (например, полученные путем анализа контента, метаданных или предыдущих итераций алгоритма).

Какие метрики используются и как они считаются

• Quality of Result Statistic: Метрика релевантности документа запросу. Рассчитывается на основе агрегации User Behavior Data, например, путем подсчета и взвешивания Long Clicks и Short Clicks.
• Classification Threshold (Порог классификации): Минимальный процент (или взвешенная доля) релевантных сущностей, которые должны иметь определенную классификацию, чтобы она была присвоена запросу. Порог может варьироваться в зависимости от типа классификации.
• Первая Мера (Measure 1): Процент классифицированных сущностей среди всего набора релевантных сущностей. Может рассчитываться как простое соотношение или как взвешенная сумма, где веса основаны на Quality of Result Statistic.
• Вторая Мера (Measure 2): Процент классифицированных сущностей среди Топ-N наиболее релевантных сущностей.
• Консистентность (Consistency): Метрика согласованности между Мерой 1 и Мерой 2. Определяется как соответствие обеих мер порогу или как нахождение разницы между ними в пределах допустимого отклонения.
• Query-to-Query Transition Probability: Вероятность перехода от одного запроса к другому. Рассчитывается на основе анализа Session Data или путем комбинирования вероятностей перехода запрос-документ и документ-запрос.

1. Поведение пользователей определяет интент: Патент подтверждает, что Google может определять значение запроса не по его тексту, а по тому, на какие результаты кликают пользователи. Коллективное поведение (User Behavior Data) формирует понимание запроса системой.
2. Релевантность основана на Dwell Time: Система использует время пребывания (Dwell Time, Long Clicks) как ключевой показатель для определения того, какие документы пользователи считают наиболее релевантными запросу. Именно эти документы определяют классификацию запроса.
3. Взвешивание влияния: Не все клики одинаковы. Классификация запроса в большей степени зависит от документов с лучшими поведенческими сигналами. Система взвешивает влияние каждого документа на основе его Quality of Result Statistic.
4. Защита от манипуляций (Consistency Check): Механизм проверки консистентности между общим набором релевантных документов и Топ-N наиболее релевантными документами служит защитой от ошибок и потенциальных манипуляций. Если Топ выдачи не соответствует общему тренду, классификация не присваивается.
5. Итеративное уточнение (Bootstrapping): Классификации запросов и документов взаимозависимы. Система использует итеративный процесс для уточнения классификаций: классификация контента влияет на классификацию запросов, которые к нему ведут, и наоборот.
6. Распространение интента в сессии: Классификация одного запроса может быть распространена на последующие запросы в той же сессии или на семантически связанные запросы (через Query Transitions), что указывает на учет контекста поиска.

Best practices (это мы делаем)

• Оптимизация под доминирующий интент: Необходимо анализировать выдачу и поведение пользователей, чтобы понять, как Google классифицирует ключевые запросы в нише. Контент должен строго соответствовать этой классификации (например, если запрос классифицирован как коммерческий, страница должна быть коммерческой).
• Улучшение поведенческих факторов (Dwell Time): Фокусируйтесь на создании контента, который полностью удовлетворяет интент пользователя и удерживает его на странице (стимулируя Long Clicks). Это повышает Quality of Result Statistic страницы и увеличивает ее влияние на классификацию запроса.
• Четкая классификация контента: Помогайте Google правильно классифицировать ваши страницы (используя разметку Schema.org, четкую структуру, релевантные заголовки). Если ваш контент имеет четкую классификацию, он с большей вероятностью повлияет на классификацию связанных запросов в вашу пользу (через механизм Bootstrapping).
• Анализ связанных запросов и сессий: Изучайте, какие запросы пользователи вводят до и после целевого запроса. Создание контент-хабов, покрывающих всю сессию пользователя, может помочь в распространении нужной классификации на все запросы в цепочке.

Worst practices (это делать не надо)

• Несоответствие интенту (Intent Mismatch): Создание контента, который не соответствует доминирующей классификации запроса, определенной Google через User Behavior Data. Например, продвижение информационной статьи по запросу, который система считает коммерческим.
• Оптимизация под CTR без учета Dwell Time: Использование кликбейтных заголовков для привлечения трафика, если контент не удовлетворяет интент. Это приведет к Short Clicks, снижению Quality of Result Statistic и уменьшению влияния страницы на классификацию запроса.
• Игнорирование неоднозначности запросов: Попытка ранжироваться по неоднозначному запросу с контентом, который соответствует второстепенному, а не доминирующему интенту. Система отдаст предпочтение контенту, соответствующему доминирующей классификации.

Стратегическое значение

Этот патент подчеркивает стратегический переход от анализа ключевых слов к анализу поведения пользователей для понимания запросов. Для SEO это означает, что успех ранжирования напрямую зависит от того, насколько хорошо контент удовлетворяет реальные потребности пользователей, что измеряется через Dwell Time и другие поведенческие метрики. Стратегия должна быть направлена на то, чтобы стать лучшим ответом с точки зрения пользователя, так как именно это поведение формирует алгоритмы классификации и ранжирования Google.

Практические примеры

Сценарий: Определение интента для неоднозначного запроса

1. Запрос: "Ягуар" (неоднозначный: животное или автомобиль).
2. Анализ поведения: Система анализирует User Behavior Data. Она видит, что 80% пользователей совершают Long Clicks на страницы об автомобилях Jaguar (классификация: «Продукт/Автомобиль»), и только 20% — на страницы о животных (классификация: «Наука/Биология»).
3. Взвешивание и проверка порога: Доля «Продукт/Автомобиль» (80%) превышает порог (например, 60%).
4. Проверка консистентности: Система проверяет Топ-10 наиболее релевантных документов. 9 из 10 также классифицированы как «Продукт/Автомобиль». Консистентность подтверждена.
5. Результат: Запрос "Ягуар" классифицируется как «Продукт/Автомобиль».
6. Влияние на SEO: Поисковая система корректирует ранжирование, отдавая приоритет автомобильным сайтам и, возможно, показывая товарные блоки. Сайту о животных будет сложно ранжироваться по этому запросу, ему следует фокусироваться на более специфичных запросах (например, "животное ягуар").