Как Google использует клики пользователей для определения составных фраз (N-грамм) в запросах

Термины и определения

Compound (Составная фраза)

Последовательность из двух или более терминов, которые вместе имеют иное значение, чем по отдельности (например, "San Francisco"). В патенте используется как синоним N-gram или Bigram.

Candidate Compound (Кандидат в составную фразу)

Любая последовательность из N последовательных терминов в запросе, которую система проверяет.

Selections (Выборы/Клики)

Действия пользователя по выбору (клику) на результат поиска. Могут фильтроваться по времени просмотра (Dwell Time).

Summary (Сводка)

Краткое представление результата поиска, которое видит пользователь. Включает заголовок документа (title) и/или один или несколько сниппетов (snippets).

Snippet (Сниппет)

Фрагмент текста документа, содержащий один или несколько поисковых терминов и окружающий текст.

Ratio (Соотношение / Вероятность)

Ключевая метрика для определения вероятности (likelihood) того, что кандидат является составной фразой. Рассчитывается путем деления числа кликов на результаты, содержащие фразу, на общее число кликов.

Context (Контекст)

Термины, непосредственно окружающие кандидата в составную фразу в исходном запросе. Используется для расчета условной вероятности.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации составных фраз.

1. Генерация candidate compound из поискового запроса (два или более последовательных термина).
2. Определение общего количества раз, когда результаты, отвечающие на этот запрос, были выбраны пользователем (Total Selections).
3. Определение количества раз, когда результаты, отвечающие на этот запрос И содержащие candidate compound (как фразу), были выбраны пользователем (Selections with Compound).
4. Определение вероятности того, что кандидат является составной фразой, используя значение, полученное путем деления результата шага 3 на результат шага 2 (Ratio).

Claim 3 и 4 (Зависимые): Уточняют использование Ratio.

Система определяет, является ли кандидат составной фразой, сравнивая Ratio с пороговым значением. Сравнение с несколькими порогами позволяет классифицировать фразу как "сильную" (Strong Compound) или "слабую" (Weak Compound).

Claim 5 (Зависимый): Описывает обратный процесс (Splitting).

Система может определить вероятность того, что кандидат не является составной фразой, анализируя количество кликов на результаты, которые не содержат кандидата как единую фразу.

Claim 7 (Зависимый): Уточняет место анализа.

Подсчет выборов (шаг 3 в Claim 1) учитывает наличие candidate compound именно в сводке (summary) выбранного результата.

Claim 10 (Зависимый): Вводит понятие Dwell Time (Long Clicks).

Результат считается выбранным пользователем, только если пользователь просматривал его дольше, чем пороговый период времени. Это позволяет учитывать только качественные взаимодействия.

Claims 11-13 (Зависимые): Описывают использование контекста (context).

Вероятность может определяться с учетом окружающих терминов в запросе. Это включает определение условной вероятности (conditional probability) того, что кандидат является составной фразой при наличии данного контекста.

Claims 14-15 (Зависимые): Описывают агрегацию.

Система может рассчитывать отдельные вероятности для одного и того же кандидата в разных запросах, а затем определять общую вероятность путем усреднения весов (averaging weights).

Claims 16-17 (Зависимые): Описывают применение в ранжировании.

Система определяет оценку (score) для результатов поиска на основе того, содержат ли они candidate compound. Оценка увеличивается, если вероятность того, что кандидат является составной фразой, превышает порог.

Где и как применяется

Изобретение в основном применяется на этапе понимания запросов и влияет на ранжирование, используя офлайн-анализ поведения пользователей.

QUNDERSTANDING – Понимание Запросов (Офлайн)
Основное применение. Система выполняет офлайн-анализ логов запросов и поведения пользователей (selections). На основе этого анализа строится база данных составных фраз (compounds) и рассчитываются их вероятности (Ratio).

QUNDERSTANDING – Понимание Запросов (Онлайн)
При получении нового запроса система использует заранее рассчитанные данные для его интерпретации – определения, какие слова следует рассматривать вместе как Compounds.

RANKING – Ранжирование
Рассчитанные вероятности используются как сигнал ранжирования. Если система идентифицирует последовательность слов в запросе как strong compound, она повышает в ранжировании (scoring) документы, которые содержат эту фразу в точном виде.

Входные данные:

• Логи поисковых запросов.
• Данные о выборах пользователей (User Selections/Клики).
• Сводки (Summaries: заголовки и сниппеты) выбранных результатов.
• Данные о времени взаимодействия с документом (Dwell Time) (опционально).

Выходные данные:

• База данных идентифицированных составных фраз (Compounds).
• Рассчитанная вероятность (Likelihood/Ratio) или классификация (сильный/слабый) для каждой фразы.

На что влияет

• Специфические запросы: Наибольшее влияние на запросы, содержащие многословные термины, именованные сущности (имена собственные, названия организаций, географические объекты), названия продуктов. Влияет на точность интерпретации запросов, где важен порядок слов.
• Конкретные ниши или тематики: Влияет на динамичные ниши, где постоянно появляются новые термины и названия (технологии, развлечения, новости), которые еще не успели попасть в словари.

Когда применяется

• Временные рамки: Процесс анализа логов и расчета вероятностей происходит офлайн, непрерывно или периодически. Применение рассчитанных данных происходит в реальном времени при обработке поисковых запросов.
• Пороговые значения: Система использует пороги для классификации. В описании патента (не в Claims) приводятся примеры: если Ratio > 90%, кандидат маркируется как strong bigram; если < 75% — как weak bigram. Также используется порог времени просмотра (Dwell Time) для валидации клика (Claim 10).

Пошаговый алгоритм

Процесс А: Офлайн-идентификация составных фраз

1. Сбор данных: Получение исторических данных о запросах и соответствующих выборах пользователей (Selections).
2. Валидация выборов (Опционально): Фильтрация кликов по времени просмотра (Dwell Time). Учитываются только "длинные клики" (Claim 10).
3. Генерация кандидатов: Из полученных запросов формируется набор кандидатов в составные фразы (candidate compounds). Каждый кандидат — это N последовательных терминов из запроса.
4. Анализ выборов (для каждого кандидата):
   1. Определение общего числа валидных Selections для запросов, содержащих кандидата (Total Selections).
   2. Определение числа валидных Selections, где сводка (summary: сниппет или заголовок) выбранного результата содержала кандидата как точную фразу (Selections with Compound).
5. Расчет Ratio: Вычисление соотношения путем деления (b) на (a).
6. Классификация: Сравнение Ratio с предопределенными порогами для классификации (сильная/слабая фраза).
7. Учет контекста (Опционально): Расчет условной вероятности (conditional probability) на основе окружающих слов в запросе (Claims 11-13).
8. Агрегация (Опционально): Усреднение вероятностей для одного и того же кандидата, рассчитанных по разным запросам, для получения общей оценки (Claims 14-15).
9. Сохранение: Сохранение результатов в базу данных Compounds.

Процесс Б: Применение при обработке запроса (Онлайн)

1. Получение запроса: Система получает запрос от пользователя.
2. Разбор запроса: На этапе Query Understanding система идентифицирует в запросе известные Compounds, используя офлайн-базу.
3. Ранжирование: На этапе Ranking система корректирует оценки (Scores) документов. Документы, содержащие идентифицированные Compounds в целостном виде, получают повышение в ранжировании (Claim 17).

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Ключевые):
  • Selections (Клики): Основной источник данных для анализа.
  • Dwell Time (Время на сайте): Используется для валидации качества клика и фильтрации шума (коротких кликов).
• Контентные факторы:
  • Summary (Заголовки и Сниппеты): Текст в сводке выбранных результатов. Система анализирует этот текст на наличие точного вхождения фразы-кандидата.
• Системные данные:
  • Логи запросов (Queries): Используются для генерации кандидатов и определения контекста.

Какие метрики используются и как они считаются

• Ratio (Соотношение / Вероятность): Основная метрика патента.

  Формула расчета:

  $Ratio = \frac{Число\ выборов\ результатов,\ содержащих\ точную\ фразу\ (Selections\ with\ Compound)}{Общее\ число\ выборов\ (Total\ Selections)}$

• Thresholds (Пороги классификации): Предопределенные значения Ratio, используемые для классификации фраз (например, >90% = сильная; <75% = слабая).
• Dwell Time Threshold (Порог времени пребывания): Минимальное время просмотра страницы для того, чтобы клик был засчитан как валидный выбор (selection).
• Conditional Probability (Условная вероятность): Вероятность того, что фраза является составной при наличии специфического контекста (окружающих слов).

1. Поведенческие данные как основа понимания языка: Патент демонстрирует, как Google использует агрегированные данные о кликах для решения фундаментальной лингвистической задачи – определения границ фраз. Поведение пользователей напрямую формирует понимание языка поисковой системой.
2. Приоритет фразового соответствия (Exact Match): Если последовательность слов идентифицирована как strong compound, система будет активно предпочитать документы, содержащие эту последовательность как неразрывную фразу. Целостность фразы становится сильным сигналом релевантности.
3. Валидация поведенческих сигналов (Dwell Time): Система не просто учитывает клики, но и оценивает их качество. Упоминание Dwell Time (Long Clicks) как фильтра (Claim 10) подтверждает использование метрик удовлетворенности пользователей для обучения алгоритмов.
4. Контекстная зависимость интерпретации: Система учитывает контекст (окружающие слова), чтобы понять, когда одна и та же последовательность слов является фразой, а когда нет, используя conditional probability.
5. Автоматическое обнаружение новых фраз: Метод позволяет автоматически идентифицировать новые или редкие составные фразы без использования словарей, основываясь только на статистике запросов и кликов.

Best practices (это мы делаем)

• Сохраняйте целостность ключевых фраз: Используйте устоявшиеся составные фразы, релевантные вашему контенту (названия продуктов, имена, технические термины), в тексте и заголовках (H1, Title) в неизменном виде. Не разрывайте их искусственно.
• Оптимизируйте сниппеты под фразы: Поскольку система анализирует Summaries (Title и Snippet) кликнутых результатов, важно, чтобы ваши сниппеты четко отображали основные составные фразы в точном соответствии. Это повышает вероятность того, что ваши клики будут засчитаны в пользу идентификации этих фраз.
• Оптимизируйте под удовлетворенность пользователя (Long Clicks): Поскольку система использует Dwell Time для фильтрации кликов (Claim 10), крайне важно создавать контент, который удерживает пользователя. Удовлетворенные пользователи генерируют качественные поведенческие сигналы, которые используются для обучения алгоритмов понимания языка.
• Анализ SERP для понимания интерпретации запроса: Изучайте сниппеты конкурентов в ТОПе. Если в большинстве сниппетов слова из запроса стоят строго рядом, это сильный индикатор того, что Google интерпретирует его как compound.

Worst practices (это делать не надо)

• Искусственное разрушение фраз: Попытки "разбавить" текст или вставить дополнительные слова внутрь устоявшихся фраз (например, вместо "Real Estate Agent" писать "Real high-quality Estate Agent"). Это может привести к тому, что система не распознает ключевой Compound.
• Игнорирование порядка слов: Отношение к многословным запросам как к набору отдельных слов без учета их последовательности. Если Google считает фразу составной, порядок критичен.
• Кликбейт и короткие клики: Использование заголовков, которые привлекают клик, но не соответствуют содержанию, приводит к коротким кликам (низкий Dwell Time). Согласно патенту, такие клики могут быть отфильтрованы и не будут участвовать в анализе.

Стратегическое значение

Этот патент подтверждает стратегическую важность поведенческих факторов не только для ранжирования, но и для базовых механизмов понимания запросов (Query Understanding). Он демонстрирует переход от оптимизации под отдельные слова к оптимизации под фразы и понятия. Для SEO это означает, что лингвистическая точность и фокус на удовлетворении интента пользователя (подтвержденном через Long Clicks) имеют высокий приоритет.

Практические примеры

Сценарий 1: Идентификация сильной составной фразы (Strong Compound)

1. Ситуация: Продвижение нового продукта, например, "Galaxy Z Fold".
2. Работа системы (Анализ): Пользователи вводят запрос "Galaxy Z Fold обзор". Google анализирует клики. 98% пользователей выбирают (и долго смотрят) результаты, где "Galaxy Z Fold" присутствует как точная фраза в заголовке или сниппете.
3. Работа системы (Вывод): Система рассчитывает Ratio 98% и определяет "Galaxy Z Fold" как strong compound.
4. Действия SEO: Убедиться, что на целевой странице фраза "Galaxy Z Fold" используется в H1, Title и основном тексте именно в таком порядке и без разрыва. Избегать конструкций вроде "Обзор Fold модели Galaxy Z".
5. Ожидаемый результат: Страница получает преимущество в ранжировании, так как система применяет повышенный скоринг за наличие идентифицированной составной фразы.

Сценарий 2: Разделение фразы (Weak/Split Compound)

1. Ситуация: Анализируется запрос [London hotels].
2. Работа системы (Анализ): Пользователи кликают на результаты с заголовками "Best Hotels in London", "Cheap London Hotels".
3. Работа системы (Вывод): Только 60% кликов приходится на результаты, где "London hotels" стоит строго рядом. В 40% случаев слова разделены или изменены. Ratio 60%.
4. Действия SEO: Система классифицирует "London hotels" как weak compound или не compound. Нет необходимости строго придерживаться фразы "London hotels". Важнее оптимизация под сущности "London" и "Hotels" и их синонимы в рамках одной страницы.