Как Google использует машинное обучение и детальные поведенческие сигналы (Click Logs) для прогнозирования оценок асессоров и корректировки ранжирования

Описание

Какую задачу решает

Патент решает проблему масштабирования оценки качества поиска. Поскольку релевантность субъективна, оценка качества традиционно требует привлечения людей-асессоров (Human Evaluators). Это медленный и дорогой процесс, неприменимый для ранжирования в реальном времени. Изобретение автоматизирует этот процесс, создавая систему, способную прогнозировать человеческие оценки релевантности (Predicted Human Relevance Ratings) для огромного количества пар запрос/документ.

Что запатентовано

Запатентована система, создающая статистическую модель (Statistical Model), которая связывает объективные сигналы (Objective Signals) с оценками, выставленными людьми-асессорами. Ключевой особенностью является обязательное использование детальных поведенческих данных из Click Logs в качестве входных сигналов, таких как последовательность кликов и временные интервалы между ними (используемые для оценки Dwell Time). Эта модель используется для прогнозирования релевантности новых пар запрос/документ.

Как это работает

Система функционирует в двух режимах: обучение и применение.

• Обучение (Офлайн): Собирается обучающий корпус пар запрос/результат, оцененных асессорами. Для каждой пары генерируется набор объективных сигналов (статических и динамических). Модель машинного обучения (например, через Regression Analysis) обучается находить корреляцию между этими сигналами и человеческими оценками, определяя веса для каждого сигнала.
• Применение (Онлайн/Офлайн): Для новой пары запрос/документ система генерирует те же объективные сигналы. Обученная модель использует эти сигналы и веса для расчета Predicted Human Relevance Rating. Этот прогноз используется для корректировки (переранжирования) результатов поиска или для автоматической оценки эффективности изменений в поисковом алгоритме.

Актуальность для SEO

Критически высокая. Этот патент описывает фундаментальные принципы Machine-Learned Ranking (MLR). Использование машинного обучения для оценки качества поиска и интеграция поведенческих сигналов являются центральными элементами современных поисковых систем Google. Анализ взаимодействия пользователей (клики, время, последовательность) для улучшения релевантности выдачи остается ключевой стратегией.

Важность для SEO

Патент имеет критическое значение (95/100) для понимания современных SEO-стратегий. Он прямо подтверждает, что Google анализирует сложные паттерны поведения пользователей (последовательность кликов/Pogo-sticking, время до клика, предполагаемое время на странице/Dwell Time) и использует их для обучения моделей ранжирования. Это подчеркивает стратегическую важность оптимизации не только для привлечения клика, но и для полного удовлетворения интента пользователя (User Satisfaction).

Детальный разбор

Термины и определения

Click Logs (Журналы кликов)

Данные, фиксирующие поведение пользователей при взаимодействии с результатами поиска. Включают последовательность кликов и временные метки между ними.

Dynamic Signals/Features (Динамические сигналы)

Сигналы, полученные из агрегированного поведения пользователей, извлеченные из Click Logs. Примеры: время до выбора документа, последовательность кликов, Dwell Time.

Human Evaluators (Люди-асессоры / Quality Raters)

Люди, которые вручную оценивают релевантность результатов поиска. Их оценки служат эталоном (ground truth) для обучения модели.

IR Score (Оценка информационного поиска)

Метрика, определяющая, насколько хорошо термины запроса соответствуют терминам документа (текстовая релевантность).

Objective Signals (Объективные сигналы)

Автоматически измеримые характеристики пары запрос/документ. Включают Static Signals и Dynamic Signals.

Predicted Human Relevance Rating (Прогнозируемая человеческая оценка релевантности)

Выходные данные статистической модели; оценка, которая предсказывает, какой рейтинг присвоил бы асессор данной паре запрос/документ.

Query-Independent Quality Measure (Независимая от запроса мера качества)

Оценка качества документа, не зависящая от текущего запроса. В патенте упоминается как «link-based value» (например, PageRank или аналогичные метрики авторитетности).

Regression Analysis (Регрессионный анализ)

Статистический метод (или другой метод Supervised Learning), используемый для обучения модели. Определяет веса (weights) для каждого объективного сигнала.

Static Signals/Features (Статические сигналы)

Сигналы, основанные на характеристиках документа или запроса, не зависящие от поведения пользователей. Примеры: IR Score, совпадение с URL, Query-Independent Quality Measure.

Statistical Model (Статистическая модель)

Математическая модель (Human Evaluation Model), обученная предсказывать человеческие оценки на основе объективных сигналов.

Ключевые утверждения (Анализ Claims)

Данный патент является продолжением (continuation) более ранней заявки. Его Claims сфокусированы на обязательном использовании конкретных типов поведенческих данных из Click Logs для обучения модели.

Claim 1 (Независимый пункт): Описывает метод обучения модели для прогнозирования оценок релевантности.

1. Определяются пары запрос/результат.
2. Для каждой пары определяются сигналы. Ключевое требование: сигналы ДОЛЖНЫ включать:
   • «Первый сигнал» (First signal): Продолжительность времени для выбора результата (время между показом выдачи и кликом).
   • И по крайней мере один из следующих:
     • «Второй сигнал» (Second signal): Указывает на то, что этот результат был выбран ПЕРВЫМ.
     • «Третий сигнал» (Third signal): Указывает на то, что другой результат был выбран ДО этого результата (Pogo-sticking).
3. Эти сигналы основаны на Click Logs.
4. Модель обучается на основе этих сигналов и используется для прогнозирования оценки релевантности.

Ядром изобретения является использование времени до клика и порядка кликов как обязательных входных признаков для ML-модели релевантности.

Claim 8 (Независимый пункт): Описывает устройство, реализующее метод. Добавляет важную деталь к «Первому сигналу»: продолжительность времени для выбора результата определяется на основе конкретного местоположения (позиции), на котором результат был представлен. Это указывает на учет и нормализацию позиционного смещения (Position Bias).

Claim 15 (Независимый пункт): Предлагает альтернативную детализацию сигналов из Click Logs:

1. Сигналы должны включать «Первую информацию»: Конкретную последовательность выборов (кликов).
2. И по крайней мере одно из следующих:
   • «Вторая информация»: Продолжительность времени МЕЖДУ выборами (кликами).
   • «Третья информация»: Продолжительность времени, в течение которого результат был доступен (Dwell Time), основанную на времени между кликами.

Этот пункт явно вводит концепцию использования временных интервалов между кликами для оценки времени взаимодействия пользователя с контентом (Dwell Time).

Где и как применяется

Изобретение является методологией, которая пронизывает несколько этапов поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков
На этом этапе рассчитываются статические сигналы (например, Query Independent Quality Measure). Также происходит обработка Click Logs для вычисления и сохранения динамических сигналов (последовательность кликов, временные интервалы).

RANKING (Обучение моделей – Офлайн)
Основная часть работы по обучению Statistical Model происходит офлайн. Система:

1. Собирает данные от асессоров (Human Relevance Ratings).
2. Извлекает статические и динамические сигналы для этих пар запрос/документ.
3. Использует ML (например, Regression Analysis) для обучения модели (определения весов сигналов).

RANKING – Ранжирование (L2/L3) / RERANKING – Переранжирование
Применение модели в реальном времени. Обученная модель используется для переранжирования кандидатов.

1. Генерируется начальный набор результатов.
2. Для Топ-X кандидатов вычисляются объективные сигналы.
3. Модель рассчитывает Predicted Human Relevance Ratings.
4. Результаты переранжируются на основе этих прогнозируемых оценок.

Внутренние процессы (Оценка качества)
Модель также используется для автоматической оценки эффективности изменений в поисковом алгоритме (например, при A/B тестировании) без привлечения реальных асессоров.

Входные данные (для применения):

• Запрос и документы-кандидаты.
• Набор Objective Signals (статических и динамических) для каждой пары.

Выходные данные (применения):

• Predicted Human Relevance Ratings для каждого кандидата, используемые для ранжирования.

На что влияет

• Типы контента и Вертикали: Механизм универсален. Патент описывает применение как для общего веб-поиска (General Web Search), так и для специализированных вертикалей, таких как локальный поиск (Local Search), поиск товаров, новостей. Конкретные сигналы адаптируются под вертикаль.
• Запросы с неоднозначным интентом: Особенно сильно влияет на запросы, где поведенческие данные становятся ключевым индикатором удовлетворенности пользователя, превосходя по значимости текстовое соответствие.

Когда применяется

• Триггеры активации: Модель применяется, когда доступно достаточное количество данных для генерации надежных объективных сигналов, особенно динамических сигналов из Click Logs.
• Временные рамки: Обучение происходит периодически офлайн. Применение (прогнозирование оценок) происходит во время процесса ранжирования в реальном времени или офлайн для оценки алгоритмов.

Пошаговый алгоритм

Процесс А: Обучение модели (Офлайн)

1. Сбор обучающего корпуса: Сбор пар запрос/результат и связанных с ними оценок релевантности от асессоров.
2. Генерация статических сигналов: Вычисление статических признаков (IR Score, совпадение с URL, Query-Independent Quality Measure).
3. Обработка Click Logs и генерация динамических сигналов: Анализ журналов кликов для вычисления поведенческих метрик:
   • Время до выбора результата (с учетом позиции).
   • Последовательность кликов (был ли клик первым; были ли клики до него).
   • Временные интервалы между кликами (для оценки Dwell Time).
4. Объединение сигналов: Формирование полного набора Objective Signals для каждой пары.
5. Обучение модели: Применение Regression Analysis (или других методов supervised learning) для установления связи между сигналами и человеческими оценками. Результатом являются веса для каждого сигнала.

Процесс Б: Применение модели (Ранжирование)

1. Получение запроса и генерация кандидатов: Поисковая система генерирует начальный набор релевантных документов.
2. Генерация сигналов: Для Топ-X документов генерируется набор Objective Signals.
3. Прогнозирование оценок: Обученная Statistical Model применяет рассчитанные веса к сигналам для получения Predicted Human Relevance Rating для каждого документа.
4. Корректировка ранжирования: Начальное ранжирование документов пересортировывается на основе прогнозируемых оценок.
5. Предоставление результатов: Скорректированный список результатов предоставляется пользователю.

Какие данные и как использует

Данные на входе

Система использует комбинацию статических и динамических факторов.

Поведенческие факторы (Dynamic Signals): Критически важные данные, извлекаемые из Click Logs.

• Время до выбора документа (Time to select doc): Время между показом результатов и кликом пользователя по документу (с учетом позиции результата – Position Bias).
• Последовательность кликов (Pogo-sticking):
  • Доля пользователей, выбравших документ первым (Portion of users that select doc first).
  • Доля пользователей, которые выбрали другие документы до этого документа (Users that select other docs first).
• Dwell Time (Время взаимодействия): Предполагаемое время, проведенное пользователем на странице (Time duration of the search result being accessed), рассчитанное на основе времени между кликами (возврат на SERP).

Контентные факторы (Static Signals):

• IR Score: Базовая оценка текстовой релевантности документа запросу.

Ссылочные/Авторитетные факторы (Static Signals):

• Query-Independent Quality Measure: Независимая от запроса оценка качества (явно упоминается как «link-based value», т.е. PageRank или аналог).

Технические факторы (Static Signals):

• URL Match: Доля запроса, которая совпадает с URL документа (Portion that matches URL).

Специфические для вертикалей (например, Local Search):

• Совпадение запроса с названием бизнеса или категорией (Business Name, Category Name).

Какие метрики используются и как они считаются

• Методы машинного обучения: Используется контролируемое обучение (supervised learning). Упоминаются Linear regression, logistic regression, Poisson regression.
• Веса (Weights): Результат обучения модели. Определяют вклад каждого сигнала в итоговую прогнозируемую оценку. Сигналы, не коррелирующие с человеческими оценками, получают низкие веса.
• Predicted Human Relevance Rating: Итоговая метрика, имитирующая оценку асессора. Рассчитывается путем применения весов к значениям объективных сигналов.

Выводы

1. Фундамент Machine-Learned Ranking (MLR): Патент описывает архитектуру для интеграции множества разнородных сигналов в единую модель ранжирования. Цель ранжирования — алгоритмически имитировать оценки человеческих асессоров (Quality Raters).
2. Критичность и детализация поведенческих сигналов: Claims патента делают особый акцент на обязательном использовании специфических динамических сигналов из Click Logs. Это не просто CTR, а анализ контекста: время до клика, последовательность кликов (Pogo-sticking) и время между кликами.
3. Dwell Time как подтвержденный сигнал: Явно указано (Claim 15) использование временных интервалов между кликами для оценки продолжительности времени доступа к результату (Dwell Time). Это подтверждает важность удержания пользователя и удовлетворения его интента.
4. Учет позиционного смещения (Position Bias): Система учитывает позицию, на которой был показан результат, при анализе времени до клика (Claim 8), что указывает на сложную нормализацию поведенческих данных.
5. Интеграция качества, релевантности и поведения: Модель объединяет статические сигналы релевантности (IR Score) и авторитетности (Query Independent Quality Measure) с динамическими поведенческими метриками, создавая комплексную оценку.
6. Автоматизация оценки качества поиска: Модель позволяет Google автоматически оценивать влияние изменений в алгоритмах без масштабного привлечения асессоров для каждого эксперимента.

Практика

Best practices (это мы делаем)

• Оптимизация под удовлетворенность пользователя (User Satisfaction): Стратегический приоритет — полное удовлетворение интента пользователя. Контент должен быть исчерпывающим, чтобы увеличить Dwell Time и минимизировать возврат на выдачу (Pogo-sticking). Это напрямую влияет на сигналы, связанные с последовательностью кликов.
• Оптимизация сниппетов для быстрых и квалифицированных кликов: Создавайте заголовки (Title) и описания (Meta Description), которые точно отражают содержание страницы. Это мотивирует пользователя к быстрому выбору (улучшает Time to select doc) и гарантирует, что ожидания пользователя будут оправданы, что ведет к положительным сигналам взаимодействия.
• Оптимизация UX и структуры контента: Улучшайте читабельность, используйте принцип «перевернутой пирамиды» (ответ в начале), добавляйте внутреннюю навигацию (TOC). Хороший UX способствует генерации положительных поведенческих сигналов (длительное взаимодействие).
• Поддержание авторитетности сайта (E-E-A-T): Продолжать работу над повышением авторитетности и качества ресурса, так как Query Independent Quality Measure (например, ссылочный авторитет/link-based value) используется как важный статический сигнал.
• Ориентация на Quality Rater Guidelines (QRG): Поскольку модель обучается имитировать асессоров, понимание и применение принципов E-E-A-T и Needs Met, изложенных в QRG, критически важно для достижения высоких прогнозируемых оценок.

Worst practices (это делать не надо)

• Использование кликбейта и вводящих в заблуждение сниппетов: Привлечение трафика с помощью заголовков, не соответствующих содержанию. Это приведет к ухудшению поведенческих сигналов: короткий Dwell Time и возврат на выдачу для выбора других результатов. Модель интерпретирует это как низкую релевантность.
• Игнорирование интента пользователя: Фокус только на вхождении ключевых слов (оптимизация только под IR Score) без учета реального намерения пользователя приведет к низким поведенческим метрикам, что снизит общую оценку модели.
• Медленная загрузка и плохой UX: Факторы, которые раздражают пользователей и заставляют их быстро покидать страницу, негативно влияют на Dwell Time и способствуют Pogo-sticking.
• Искусственная накрутка поведенческих факторов: Попытки манипулировать сигналами (время клика, последовательность). Сложность анализируемых данных и нормализация (например, учет Position Bias), делают такие манипуляции сложными и рискованными.

Стратегическое значение

Этот патент является фундаментальным для понимания Machine-Learned Ranking (MLR) в Google. Он демонстрирует переход от статических метрик релевантности к динамическим метрикам удовлетворенности пользователя. Долгосрочная SEO-стратегия должна быть сосредоточена на создании контента и пользовательского опыта, который генерирует положительные паттерны взаимодействия. Качество контента и UX неразрывно связаны с ранжированием, так как системы Google обучаются распознавать удовлетворенность пользователя.

Практические примеры

Сценарий: Оптимизация статьи для снижения Pogo-Sticking и увеличения Dwell Time

1. Анализ проблемы: Информационная статья ранжируется на позиции 3. Аналитика показывает хороший CTR, но пользователи часто возвращаются на выдачу и кликают на конкурентов. Это указывает на негативные Dynamic Signals (короткий Dwell Time, высокий показатель «выбора других результатов»).
2. Действия SEO-специалиста:
   • Внедрение «Ответа в начале»: Добавление краткого резюме или TL;DR в начало статьи, чтобы пользователь сразу увидел основную информацию.
   • Улучшение навигации и структуры: Добавление оглавления (TOC) с анкорными ссылками, разбивка текста на короткие абзацы.
   • Добавление ценности: Внедрение релевантного видео, инфографики или интерактивных элементов для удержания внимания.
3. Ожидаемый результат: Пользователи проводят больше времени на странице (улучшение Dwell Time). Возврат на SERP снижается. Statistical Model интерпретирует этот паттерн как более высокую релевантность, что приводит к улучшению позиций.

Вопросы и ответы