Как Google обучает модели ранжирования, фокусируясь на максимальной точности именно в ТОПе выдачи

Описание

Какую задачу решает

Патент решает проблему неэффективности стандартных методов обучения моделей ранжирования (Learning to Rank). Традиционные методы стремятся улучшить общую точность модели равномерно для всех обучающих примеров. Однако для пользователей критически важна точность именно в верхней части выдачи (ТОП-10). Изобретение предлагает метод обучения, который оптимизирует Scoring Model таким образом, чтобы она была наиболее точной именно при оценке результатов, претендующих на высокие позиции (highly-ranked results).

Что запатентовано

Запатентован метод тренировки моделей ранжирования, который смещает фокус оптимизации на верхнюю часть ранжированного списка. Суть метода заключается в изменении процедуры выбора обучающих примеров. Вместо случайного выбора одного примера для сравнения, система выбирает несколько кандидатов (plurality of candidate images) и использует того, кто получил наивысшую оценку (highest score) от текущей версии модели. Это фокусирует обучение на самых сложных случаях (Hard Negative Mining).

Как это работает

Система использует итеративный процесс обучения. Для запроса определяются позитивные (релевантные) и негативные (менее релевантные) примеры на основе пользовательских предпочтений (например, CTR).

• Выборка кандидатов: Вместо выбора одного случайного примера из группы (например, негативной), система выбирает несколько кандидатов.
• Оценка и отбор: Текущая Scoring Model оценивает всех кандидатов, и выбирается тот, кто получил наивысший балл (самый «сложный» пример).
• Сравнение: Этот отобранный кандидат сравнивается с примером из другой группы (например, позитивной).
• Обновление модели: Если позитивный пример не ранжируется выше негативного на определенную величину (порог/threshold), веса модели корректируются.

Этот подход статистически смещает обучение в сторону примеров, которые уже ранжируются высоко, фокусируя оптимизацию на топе выдачи.

Актуальность для SEO

Высокая. Оптимизация точности в топе выдачи (Precision@Top) является фундаментальной задачей современных поисковых систем (Learning to Rank). Методы, позволяющие сфокусировать точность модели на наиболее важных результатах, такие как Hard Negative Mining, остаются крайне актуальными, в том числе и для современных нейросетевых архитектур.

Важность для SEO

Патент имеет среднее значение для практического SEO (6.5/10). Это инфраструктурный патент, описывающий методологию машинного обучения Google, а не конкретные факторы. Однако он дает критически важное стратегическое понимание: Google целенаправленно обучает модели быть максимально точными именно при определении ТОП-3/ТОП-10. Это подчеркивает важность борьбы за лидирующие позиции и критическую роль поведенческих метрик (CTR), которые используются для обучения этих моделей.

Детальный разбор

Термины и определения

Scoring Model (Модель ранжирования/оценки)

Математическая модель, используемая для присвоения числовой оценки (score) ресурсу (например, изображению) относительно запроса. Определяет веса (weights) для различных признаков ресурса.

Positive/Negative Group (Позитивная/Негативная группа)

Классификация обучающих данных. Позитивные — релевантные запросу, Негативные — нерелевантные или менее релевантные. Классификация основана на Query-Specific Preference Measure.

Query-Specific Preference Measure (Мера предпочтения для конкретного запроса)

Метрика, основанная на поведении пользователей, которая оценивает релевантность ресурса запросу. В патенте в качестве явного примера приводится Click-Through-Rate (CTR) для данного запроса.

Candidate Images (Изображения-кандидаты)

Подмножество (plurality) изображений, выбранное из позитивной или негативной группы во время итерации обучения. Из них выбирается пример с наивысшей оценкой.

Image Features (Признаки изображения)

Визуальные характеристики изображения, используемые моделью. Примеры: цвет (color histograms), текстура (edge histograms), края, углы. Могут извлекаться с помощью методов типа SIFT.

Bag of Features (Мешок признаков)

Представление изображения как набора его признаков без учета их пространственного расположения.

Visual Terms (Визуальные термины)

Дискретные индексы (категории признаков), к которым относятся извлеченные признаки изображения. Используются для создания разреженного вектора признаков.

PAMIR (Passive-Aggressive Model for Image Retrieval)

Упомянутый в патенте пример линейной модели, которая может использоваться в качестве Scoring Model и обучается итеративно для максимизации отступа (margin) между примерами.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько наборов независимых пунктов, описывающих систему и метод реализации изобретения.

Claim 1 (Независимый пункт, Система): Описывает систему для обучения общей (не специфичной для одного запроса) модели ранжирования, которая принимает запрос как входной параметр.

1. Система хранит данные для множества запросов, классифицированные на позитивные и негативные группы на основе Query-Specific Preference Measure.
2. Система выбирает один запрос (selected query).
3. Начинается итеративный процесс оценки Scoring Model:
   1. Выбирается первое изображение из одной группы. Модель применяется к первому изображению и выбранному запросу для определения его оценки.
   2. Выбирается множество (plurality) изображений-кандидатов из другой группы.
   3. Модель применяется к каждому кандидату и выбранному запросу. Из кандидатов выбирается второе изображение, имеющее наивысшую оценку (highest score).
   4. Определяется, удовлетворяют ли оценки критерию. Критерий требует, чтобы разница (Оценка позитивного – Оценка негативного) превышала порог (threshold).
   5. Если критерий НЕ удовлетворен, система обновляет Scoring Model и выбирает другой запрос для следующей итерации.

Ядро изобретения — выбор наилучшего результата из множества кандидатов (шаг 3c). Это смещает обучение в сторону оптимизации для высокоранжированных результатов, фокусируясь на самых сложных случаях (Hard Negative Mining).

Claim 4 (Независимый пункт, Метод использования): Описывает метод использования поисковой системы, которая применяет модель, обученную описанным выше способом (выбор наилучшего из множества кандидатов и обновление модели при невыполнении критерия разницы оценок). Этот пункт описывает контекст применения обученной модели.

Claim 5 (Зависимый от 1): Уточняет, что выбор первого изображения (шаг 3a) также может осуществляться путем выбора множества кандидатов и выбора из них изображения с наивысшей оценкой. Это усиливает фокус на оптимизации топа выдачи, так как сравниваются лучшие представители обеих групп (лучший позитивный с лучшим негативным из выбранных подмножеств).

Где и как применяется

Изобретение описывает процесс обучения моделей машинного обучения (ML Training Pipeline), который происходит офлайн, но результаты его работы используются на ключевых этапах поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит извлечение и сохранение признаков ресурсов (Image Features). Патент описывает сложные признаки: color histograms, edge histograms, извлечение признаков на разных масштабах изображения, а также их индексацию в виде Bag of Features и Visual Terms. Также собираются данные для расчета Query-Specific Preference Measure (CTR).

Офлайн-процессы (ML Training / Training Engine)
Основное применение патента. Система обучения использует логи поведения пользователей для классификации обучающих данных на Positive и Negative Groups. Затем происходит итеративное обучение Scoring Model с использованием описанного механизма оптимизации для высокоранжированных результатов.

RANKING – Ранжирование
Обученные модели (Scoring Models) используются на этапе ранжирования в реальном времени. Ranking Engine применяет модель к признакам ресурсов, чтобы рассчитать их оценки и отсортировать список результатов. Модели могут быть как специфичными для запроса, так и общими.

На что влияет

• Конкретные типы контента: В патенте основное внимание уделяется изображениям (Image Search) и видео. Однако в тексте прямо указано, что подобные методы могут использоваться для ранжирования других ресурсов, например, документов (Web Search), путем применения моделей к признакам этих документов.
• Конкурентные запросы: Наибольшее влияние механизм оказывает на конкурентные запросы, где важно точное различие между лучшими результатами в ТОПе.

Когда применяется

• Триггеры активации: Механизм применяется во время офлайн-обучения или переобучения моделей ранжирования. Он не активируется в реальном времени при обработке запроса пользователя.
• Условия работы: Применяется при наличии достаточного количества размеченных обучающих данных, полученных на основе пользовательских предпочтений (CTR).

Пошаговый алгоритм

Процесс обучения Scoring Model (Офлайн).

1. Подготовка данных:
   • Сбор обучающих ресурсов (например, изображений) и данных о поведении пользователей (клики, показы).
   • Расчет Query-Specific Preference Measure (например, CTR) для каждого ресурса.
   • Классификация ресурсов на Positive Group и Negative Group на основе порогов CTR.
   • Извлечение признаков (Image Features) из ресурсов.
2. Инициализация модели: Инициализация весов Scoring Model.
3. Итеративный процесс обучения (Цикл): Повторяется до выполнения условия остановки (Training Condition, например, модель стабилизировалась).
   1. Выбор запроса (если тренируется общая модель).
   2. Выбор первого примера: Выбор первого ресурса из одной группы (например, Позитивной). Расчет его оценки.
   3. Выбор кандидатов: Выбор множества (например, 3-5) ресурсов-кандидатов из другой группы (например, Негативной).
   4. Отбор лучшего кандидата: Расчет оценок для всех кандидатов. Выбор второго ресурса — кандидата с наивысшей оценкой (самый «сложный» пример).
   5. Сравнение оценок: Расчет разницы: (Оценка Позитивного ресурса) – (Оценка Негативного ресурса).
   6. Проверка условия обновления: Сравнение разницы с порогом (Threshold).
   7. Обновление модели: Если разница меньше порога, веса модели корректируются (например, с использованием пассивно-агрессивного алгоритма, как PAMIR), чтобы увеличить разрыв между оценками этих двух примеров. Если разница больше порога, модель не обновляется.
4. Сохранение модели: Сохранение обученной Scoring Model для использования в продакшене.

Какие данные и как использует

Данные на входе

Система обучения использует следующие типы данных:

• Поведенческие факторы (Критически важные): Используются для определения Query-Specific Preference Measure. Конкретно упоминается Click-Through-Rate (CTR) — отношение количества кликов на ресурс к количеству его показов по данному запросу. Эти данные определяют ground truth (истину) для обучения.
• Мультимедиа факторы (Признаки изображений): Сложные визуальные признаки, извлекаемые из контента. Патент детализирует:
  • Цвет (Color): Color histograms, генерируемые на основе кластеризации (k-means).
  • Текстура (Texture) и Края (Edges): Edge histograms, основанные на разнице интенсивностей пикселей.
  • Общие характеристики: Признаки, извлеченные методами типа SIFT (scale-invariant feature transform), edge detection, corner detection.
  • Масштабируемость: Признаки могут извлекаться на разных масштабах изображения (например, 100%, 75%, 50%).

Какие метрики используются и как они считаются

• Представление признаков (Bag of Features): Признаки индексируются в виде Bag of Features. Комбинации признаков (например, цвет + текстура) кластеризуются (k-means clustering) и сопоставляются с дискретными индексами — Visual Terms.
• Взвешивание признаков (Visual TF-IDF): Патент описывает нормализацию весов Visual Terms, аналогичную TF-IDF. Вес термина зависит от его частоты в изображении (TF) и обратной частоты в корпусе изображений (IDF — inverse document frequency). Редкие визуальные термины получают больший вес, что подчеркивает уникальные характеристики изображения.
• Оценка ранжирования (Score): Рассчитывается путем применения модели к признакам. Для линейной модели это может быть скалярное произведение вектора весов модели (W) и вектора признаков ресурса (X): Score = W · X.
• Порог обновления (Threshold): Значение (обычно больше нуля), определяющее минимально допустимый разрыв (margin) между оценками позитивного и негативного примеров.
• Функция потерь (Loss function): Используется для определения необходимости обновления весов. В патенте приводится пример функции потерь (hinge loss): l(w, p+, p-) = max(0, 1 — w(p+ — p-)).
• Метод обновления весов: Патент приводит конкретные формулы обновления весов (характерные для PAMIR), включающие параметр агрессивности (aggressiveness constant ‘c’).

Выводы

1. Фокус Google на ТОП выдачи (Precision@Top): Патент подтверждает, что Google целенаправленно оптимизирует алгоритмы ранжирования для максимальной точности именно в верхней части списка результатов. Модели обучаются лучше различать сильных кандидатов (Топ-10), чем слабых.
2. Обучение на «сложных» примерах (Hard Negative Mining): Ключевой механизм — выбор не случайного примера, а того, который текущая модель ранжирует выше всего (из выборки кандидатов). Это фокусирует обучение на исправлении ошибок в топе выдачи.
3. CTR как Истина для Обучения (Ground Truth): Query-Specific Preference Measure, основанная на CTR, является фундаментом для определения позитивных и негативных обучающих примеров. Это подтверждает критическую важность поведенческих факторов для машинного обучения в поиске.
4. Сложность визуальных признаков в Image Search: Для ранжирования изображений используются сложные визуальные признаки (цвет, текстура, формы), обработанные через механизмы типа Bag of Features и Visual Terms.
5. Важность уникальности (Visual TF-IDF): Применяется взвешивание визуальных признаков на основе их редкости (IDF). Уникальные визуальные характеристики изображения могут иметь больший вес при ранжировании.
6. Применимость к Web Search: Описанный метод обучения универсален и применим к ранжированию веб-документов, используя их соответствующие признаки.

Практика

Best practices (это мы делаем)

Хотя патент описывает инфраструктуру обучения ML, понимание механизма позволяет скорректировать стратегию.

• Оптимизация CTR и поведенческих сигналов: Поскольку CTR используется для определения обучающих выборок (Positive/Negative Groups), критически важно максимизировать кликабельность и удовлетворенность пользователей для всех типов контента. Это увеличивает вероятность того, что ваш контент будет классифицирован как позитивный пример для обучения моделей.
• Стратегия «Победитель получает все»: Понимая, что модели оптимизированы для точных различий в ТОПе, необходимо фокусироваться на достижении лидирующих позиций (ТОП-3), а не просто на попадании на первую страницу. Конкуренция на этом уровне максимальна, и разница между позициями минимальна.
• (Для Image SEO) Улучшение визуальных характеристик: Инвестируйте в создание высококачественных изображений с четкими визуальными признаками (контраст, композиция, четкость). Это поможет модели корректно извлечь признаки (edges, texture, color).
• (Для Image SEO) Использование уникальных изображений: Механизм Visual TF-IDF предполагает, что редкие визуальные признаки (Visual Terms) получают больший вес. Стоит отдавать предпочтение уникальным, не стоковым изображениям, которые обладают отличительными визуальными характеристиками.

Worst practices (это делать не надо)

• Фокус на среднем качестве: Стратегия создания контента «достаточно хорошего» для ТОП-10 несет риски. Если модель оптимизирована для точного ранжирования лучших результатов, «середняки» будут нестабильны в выдаче.
• Игнорирование привлекательности сниппетов: Низкий CTR приведет к тому, что ресурс будет размечен как «отрицательный» пример для обучения моделей, что ухудшит его долгосрочные перспективы ранжирования.
• (Image SEO) Использование стоковых или неуникальных изображений: Использование типичных изображений с распространенными Visual Terms снижает их вес в модели из-за механизма IDF, так как частые признаки де-эмфализируются.
• (Image SEO) Использование визуально «зашумленных» или нечетких изображений: Изображения низкого качества могут привести к некорректному извлечению признаков, что затруднит их оценку моделью ранжирования.

Стратегическое значение

Этот патент подчеркивает важность машинного обучения в ранжировании и объясняет, почему в поиске часто наблюдается эффект «Победитель получает все». Google не стремится создать идеальный порядок для всех тысяч результатов; он стремится создать идеальный порядок для первых десяти. Для SEO это означает, что борьба за ТОП требует комплексного превосходства как по классическим факторам, так и по поведенческим сигналам, которые формируют обучающие данные для этих моделей.

Практические примеры

Сценарий: Оптимизация карточки товара для Image Search

1. Анализ текущих данных: SEO-специалист замечает, что изображения товара имеют низкий CTR в поиске по картинкам по запросу «кожаный рюкзак ручной работы».
2. Гипотеза (на основе патента): Низкий CTR приводит к классификации изображений как Negative Group. Возможно, визуальные признаки (Image Features) нечеткие или слишком типичные (низкий вес по IDF).
3. Действия:
   • Замена основного изображения на более привлекательное, контрастное фото, которое лучше выделяется на фоне конкурентов (улучшение CTR).
   • Добавление уникальных ракурсов товара, подчеркивающих текстуру кожи и детали фурнитуры, которые могут содержать более редкие Visual Terms (увеличение веса признаков по IDF).
4. Ожидаемый результат: Увеличение CTR приводит к переклассификации изображения в Positive Group. При следующем переобучении модель будет использовать это изображение как эталон. Улучшенные визуальные признаки повышают базовую оценку (Score), увеличивая шансы попасть в ТОП, для которого модель оптимизирована лучше всего.

Вопросы и ответы