Как Google использует ручное изменение порядка результатов поиска пользователями для обучения алгоритмов ранжирования

Термины и определения

Aggregated User Preferences (Агрегированные пользовательские предпочтения)

Обобщенные данные о предпочтениях, собранные от множества пользователей и/или по множеству запросов. Используются для выявления корреляций и обучения глобальных алгоритмов ранжирования.

Machine-Learning Techniques (Методы машинного обучения)

Алгоритмы, используемые для ранжирования результатов. Собранные данные о предпочтениях используются для обучения и корректировки этих методов.

Partial Ordering (Частичное упорядочивание)

Ключевая концепция. Отношение порядка для набора элементов, которое определяет предпочтительный приоритет для некоторых пар элементов, но не обязательно для всех пар. Ручное изменение порядка результатов создает такое упорядочивание.

Reordering (Переупорядочивание)

Активное действие пользователя по изменению позиции конкретного результата в ранжированном списке, например, с помощью перетаскивания.

Signals (Сигналы) / Input Signals (Входные сигналы)

Характеристики веб-страниц, которые используются системами ранжирования. Агрегированные предпочтения помогают определить, какие сигналы коррелируют с более высоким качеством по мнению пользователей.

User Preference Data (Данные о предпочтениях пользователя)

Информация, указывающая на то, что пользователь считает один результат более предпочтительным, чем другой. Выводятся из явных действий пользователя по изменению порядка.

User-localized Approach (Пользовательский подход)

Метод использования данных о предпочтениях для корректировки ранжирования будущих результатов на индивидуальной основе (персонализация).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный цикл сбора, агрегации и использования данных о предпочтениях для улучшения ранжирования.

1. Система собирает данные о предпочтениях множества пользователей. Процесс сбора включает:
   1. Предоставление ранжированных результатов по первому запросу.
   2. Получение от пользователя индикации об изменении ранга конкретного результата (с начального на новый).
   3. Присвоение данных о предпочтениях на основе этого изменения.
2. Механизм присвоения предпочтений детализирован:
   • Присвоение данных результатам, оказавшимся выше нового ранга (пользователь предпочитает их перемещенному результату).
   • Присвоение данных результатам, оказавшимся ниже нового ранга (пользователь предпочитает перемещенный результат им).
3. Система сохраняет и агрегирует данные от множества пользователей для определения Aggregated User Preferences.
4. Система получает второй (будущий) запрос и ранжирует результаты для него в соответствии с Aggregated User Preferences.

Ключевым моментом является то, что система не просто фиксирует изменение позиции, но и выводит из этого действия относительные предпочтения между перемещенным результатом и его новыми соседями. Конечная цель, описанная в Claim 1, — это улучшение ранжирования через агрегацию данных.

Claim 2 (Зависимый от 1): Уточняет, что изменение ранга определяет Partial Ordering (частичное упорядочивание) для списка результатов.

Claim 3 (Зависимый от 1): Уточняет, что индикация изменения ранга основана на команде пользователя изменить позицию результата в списке (например, через графический интерфейс).

Где и как применяется

Изобретение затрагивает сбор данных после формирования выдачи и их последующее использование на этапах ранжирования.

INDEXING – Индексирование и извлечение признаков
Косвенное участие. Input signals (признаки), извлеченные во время индексации, позже используются на этапе машинного обучения для корреляции с собранными пользовательскими предпочтениями.

RANKING – Ранжирование
На этом этапе применяются результаты работы изобретения. Агрегированные данные о предпочтениях (Aggregated User Preferences) используются для обучения и настройки моделей машинного обучения (Machine-Learning Techniques), которые определяют глобальное ранжирование.

RERANKING – Переранжирование (Персонализация)
В варианте user-localized approach, система использует данные о предпочтениях конкретного пользователя для корректировки его будущих результатов поиска. Это происходит на этапе переранжирования.

Сбор данных (User Interaction Layer)
Само взаимодействие пользователя с SERP (перетаскивание результатов) происходит после завершения ранжирования. Это механизм сбора обратной связи.

Входные данные:

• Изначальный ранжированный список результатов (Ranked List).
• Действия пользователя: выбор результата и его новая позиция в списке.

Выходные данные:

• Визуально измененный список результатов на странице пользователя.
• Данные о предпочтениях (User Preference Data), отправляемые на сервер, представляющие собой Partial Ordering.
• (В долгосрочной перспективе) Скорректированные модели машинного обучения.

На что влияет

• Типы контента: Патент утверждает, что техника применима к любым ранжируемым элементам, включая веб-страницы, изображения, документы, продукты, рекламу, видеоклипы и аудиоклипы.
• Специфические запросы: Наибольшее влияние оказывается на запросы, где мнения пользователей часто расходятся с изначальным ранжированием, или на неоднозначные запросы, где явная обратная связь помогает уточнить интент.

Когда применяется

• Условия работы алгоритма: Алгоритм сбора данных активируется только тогда, когда соответствующий пользовательский интерфейс доступен пользователю (например, функция перетаскивания включена).
• Триггеры активации: Сбор данных происходит только при активном действии пользователя по изменению порядка результатов. Патент предполагает, что это может быть как видимая, так и "invisible user interface feature" (активна, только если пользователь знает о ней).

Пошаговый алгоритм

Алгоритм можно разделить на две основные фазы.

Фаза А: Взаимодействие и сбор данных (Real-time)

1. Презентация результатов: Система предоставляет пользователю начальный ранжированный список результатов.
2. Получение действия пользователя: Система получает событие выбора результата и его новую позицию (например, через drag-and-drop).
3. Обновление списка: Система динамически обновляет список результатов в интерфейсе пользователя.
4. Определение предпочтений (Partial Ordering): Система анализирует изменение позиции.
   • Пример: Исходный список A, B, C, D. Пользователь перемещает D между A и B. Новый список A, D, B, C.
   • Вывод: D > B, D > C (прямое предпочтение). A > D (подразумеваемое предпочтение, так как D не был перемещен выше A).
5. Отправка данных: Информация об этом событии (например, "insert event") отправляется на сервер.
6. Повторение: Система ожидает дальнейших действий пользователя (указано, что система обычно ожидает последовательность изменений).

Фаза Б: Использование данных (Offline/Real-time)

1. Сбор данных: Сервер собирает данные о предпочтениях, полученные в Фазе А.
2. Выбор подхода: Система применяет один из двух подходов (или оба):
   1. User-Localized (Персонализация): Данные сохраняются для конкретного пользователя. При будущих запросах система корректирует ранжирование для него, стараясь сохранить выявленные предпочтения (Partial Ordering).
   2. Aggregating (Глобальное ранжирование): Система агрегирует данные от множества пользователей. Агрегированные данные используются для поиска корреляций между предпочтениями и существующими сигналами ранжирования (Signals). На основе этих корреляций система корректирует (обучает) Machine-Learning Techniques.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на одном типе данных:

• Поведенческие факторы (Явные действия): Основными входными данными являются явные действия пользователя по изменению порядка результатов. Регистрируется идентификатор перемещаемого результата, его начальная и конечная позиции. Это противопоставляется пассивным данным, таким как клики.

Другие факторы (контентные, ссылочные и т.д.) используются на этапе агрегации для поиска корреляций.

Какие метрики используются и как они считаются

• Partial Ordering (Частичное упорядочивание): Основная метрика, получаемая из действия пользователя. Это набор парных сравнений (Результат X > Результат Y).
• Веса предпочтений: Патент упоминает, что система может взвешивать предпочтения по-разному. Например, явные предпочтения (активное перемещение) могут иметь больший вес, чем предполагаемые предпочтения (результаты, которые пользователь не стал перемещать).
• Машинное обучение и корреляции: Агрегированные partial orderings используются как обучающие данные (training data) для machine-learning techniques. Цель — найти корреляции между существующими сигналами ранжирования и выраженными предпочтениями пользователей, чтобы обобщить свойства желательных веб-страниц.

1. Приоритет явной обратной связи над неявной: Google высоко ценит явные (explicit) сигналы предпочтений. Патент утверждает, что ручное изменение порядка является более сильным, менее шумным и более четким сигналом качества, чем пассивные наблюдения, такие как клики (click-tracking).
2. Генерация обучающих данных для ML: Основная ценность изобретения — создание масштабируемого источника высококачественных обучающих данных для Machine-Learning Techniques. Агрегированные данные о том, какие результаты пользователи ставят выше, позволяют валидировать и улучшать алгоритмы ранжирования.
3. Partial Ordering как модель предпочтений: Использование Partial Ordering позволяет извлечь максимум информации из одного действия пользователя, определяя сразу несколько парных предпочтений (что лучше и что хуже перемещенного результата).
4. Двойное применение: Персонализация и Глобальное ранжирование: Механизм предназначен как для адаптации поиска под конкретного пользователя (user-localized), так и для улучшения поиска в целом через агрегацию данных (aggregating approach).
5. Устойчивость к манипуляциям: Поскольку данные собираются непосредственно от конечных пользователей и не зависят от действий авторов сайтов (authorial control), этот метод менее уязвим для традиционного SEO-спама.

ВАЖНО: Поскольку данная конкретная функция пользовательского интерфейса не развернута широко в публичном Google Поиске, прямая оптимизация под этот механизм невозможна. Ценность заключается в понимании подхода Google к обратной связи с пользователями.

Best practices (это мы делаем)

• Фокус на сравнительном удовлетворении интента (User Satisfaction): Цель SEO должна заключаться в том, чтобы стать предпочтительным ответом по сравнению с конкурентами. Анализируйте SERP и стремитесь создать контент, который пользователи гипотетически захотели бы переместить на самый верх (высокий E-E-A-T, отличный UX).
• Оптимизация сниппетов (Title и Description): Патент отмечает, что пользователь может принять решение о переупорядочивании до посещения страницы, основываясь на информации в списке (URL или сниппет). Убедитесь, что заголовки и сниппеты точно отражают ценностное предложение контента.
• Мониторинг и улучшение поведенческих сигналов: Поскольку Google стремится получить данные о предпочтениях, необходимо отслеживать косвенные сигналы, которые Google использует сегодня вместо ручного переупорядочивания (например, показатели кликов, pogo-sticking, dwell time). Улучшение этих метрик подтверждает, что ваш сайт является предпочтительным результатом.

Worst practices (это делать не надо)

• Опора на манипулируемые сигналы: Патент явно ищет методы, которые обходят сигналы, находящиеся под authorial control (например, чрезмерная оптимизация ключевых слов или искусственные ссылки). Чрезмерная опора на них рискованна.
• Кликбейт и обманчивые сниппеты: Использование заголовков, которые не соответствуют контенту, приведет к неудовлетворенности пользователей. Хотя это может генерировать клик (зашумленный сигнал), это приводит к плохим поведенческим сигналам (например, быстрый возврат на выдачу), что противоречит целям этого патента.

Стратегическое значение

Патент имеет важное стратегическое значение, поскольку он описывает методологию сбора "истинных данных" (ground truth) о качестве поиска непосредственно от пользователей. Он подтверждает, что эволюция алгоритмов Google тесно связана с машинным обучением, которое зависит от качества обучающих данных. Хотя конкретная реализация UI (drag-and-drop) не прижилась, Google использует другие поведенческие сигналы для вывода того же типа сравнительных данных о предпочтениях. Для SEO это означает, что удовлетворенность пользователя является фундаментом современных систем ранжирования.

Практические примеры

Поскольку механизм ручного переупорядочивания в публичном поиске сегодня не активен, прямые примеры манипулирования этой системой не применимы. Примеры фокусируются на стратегических выводах.

Сценарий: Улучшение вывода о предпочтениях пользователя (Inferred User Preference)

1. Ситуация: Сайт занимает позицию №3 по запросу "как приготовить лазанью". Данные о поведении (измеряемые Google) показывают, что пользователи часто кликают на результат №3 (текстовый рецепт), затем возвращаются на SERP (pogo-sticking) и кликают на результат №4 (видеорецепт), где и остаются.
2. Вывод (аналогичный цели патента): Google делает вывод, что пользователи предпочитают видеорезультат (№4) текстовому результату (№3). Это формирует подразумеваемое partial ordering: №4 > №3.
3. Действие SEO-специалиста: Улучшить результат №3, добавив пошаговые фотографии или встроенный видеоурок, чтобы лучше удовлетворить интент и стать предпочтительным результатом, тем самым улучшив поведенческие сигналы.