Как Google использует машинное обучение для ранжирования в Поиске по Картинкам, динамически взвешивая сигналы изображения и посадочной страницы

Термины и определения

Image features (Признаки изображения)

Характеристики, извлеченные из самого изображения. Включают пиксельные данные (pixel data), эмбеддинги (векторные представления контента, полученные, например, с помощью нейронной сети), а также результаты методов извлечения признаков (обнаружение краев, углов и т.д.).

Image search result ranking machine learning model (Модель машинного обучения для ранжирования результатов поиска изображений)

Модель (например, нейронная сеть, случайный лес, градиентный бустинг), обученная генерировать Relevance Score на основе совместной обработки признаков запроса, изображения и посадочной страницы.

Landing page (Посадочная страница)

Веб-страница, на которой размещено (найдено) изображение.

Landing page features (Признаки посадочной страницы)

Характеристики веб-страницы. Включают контент (текст, ключевые слова, заголовок), метаданные (дата обновления/свежесть, автор, язык), характеристики домена, ссылочные сигналы (анкоры), а также контекст размещения изображения (расположение на странице, размер/значимость, alt-текст, окружающий текст).

Query-dependent manner (Зависящий от запроса способ)

Ключевой аспект изобретения. Означает, что модель машинного обучения комбинирует (взвешивает) признаки изображения и посадочной страницы не по фиксированной формуле, а динамически, основываясь на характеристиках конкретного поискового запроса.

Query features (Признаки запроса)

Характеристики поискового запроса. Включают текст запроса, язык, время и местоположение отправки, данные об устройстве пользователя.

Relevance Score (Оценка релевантности)

Выходные данные модели машинного обучения. Числовое значение, измеряющее релевантность кандидата (пары изображение+страница) поисковому запросу. Может отражать вероятность клика пользователя или прогнозируемую оценку асессора.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования изображений.

1. Система получает запрос на поиск изображений.
2. Система получает набор кандидатов (каждый = изображение + посадочная страница).
3. Для каждого кандидата система обрабатывает (i) признаки изображения и (ii) признаки посадочной страницы с помощью модели машинного обучения.
4. Модель обучена генерировать Relevance Score путем комбинирования признаков (i) и (ii) способом, зависящим от запроса (query-dependent manner), на основе признаков самого запроса.
5. Система ранжирует кандидатов на основе сгенерированных Relevance Scores.
6. Система генерирует и предоставляет результаты поиска.

Ядро изобретения — использование единой ML-модели для совместной обработки разнородных сигналов (визуальных и текстовых/контекстных) и динамическое определение их важности в зависимости от специфики запроса.

Claim 2 (Зависимый от 1): Уточняет процесс ранжирования.

Кандидаты могут иметь исходное ранжирование (initial ranking). Ранжирование на основе Relevance Scores, сгенерированных ML-моделью, заключается в корректировке этого исходного ранжирования.

Это указывает на то, что данная модель может использоваться на поздних этапах ранжирования (L2 или L3) для переранжирования предварительно отобранных кандидатов.

Claims 4, 5, 6 (Зависимые от 1): Приводят примеры признаков.

• Признаки изображения могут включать пиксельные данные или эмбеддинг изображения (Claim 4).
• Признаки посадочной страницы могут включать текст, заголовок или URL (resource locator) страницы (Claim 5).
• Признаки посадочной страницы могут включать характеристику свежести (freshness) страницы (Claim 6).

Claim 7 (Зависимый от 1): Уточняет тип модели.

Модель машинного обучения может быть нейронной сетью.

Claims 8, 9, 10 (Зависимые от 1): Описывают процесс обучения модели.

Модель обучается на тренировочных примерах (Claim 8). Обучение может происходить с использованием парной функции потерь (pair-wise loss function), где тренировочные данные включают запрос, пару результатов и метку их относительной релевантности (Claim 9). Либо обучение может заключаться в генерации оценок, соответствующих целевым оценкам релевантности (например, оценкам асессоров или данным о кликах) (Claim 10).

Где и как применяется

Изобретение применяется в специализированной системе поиска изображений (Image Search System) и затрагивает несколько этапов поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных. Извлекаются и сохраняются в индексе (Index Database) признаки изображений (например, вычисляются эмбеддинги с помощью визуальных моделей) и признаки посадочных страниц (контент, ссылки, свежесть, качество страницы и домена).

QUNDERSTANDING – Понимание Запросов
На этом этапе извлекаются признаки запроса (Query features), которые затем будут переданы в модель ранжирования. Понимание интента запроса критически важно, так как именно оно определяет, как модель будет взвешивать признаки изображения и страницы (query-dependent manner).

RANKING – Ранжирование
Основной этап применения патента. Модель может использоваться на одном из этапов каскадного ранжирования (например, L2 или L3).

1. Отбор кандидатов (Retrieval): Отбирается исходный набор кандидатов (изображение + страница).
2. Глубокое ранжирование (Deep Ranking): Для отобранных кандидатов признаки запроса, изображения и страницы подаются в описанную модель машинного обучения. Модель генерирует Relevance Score.
3. Финальное ранжирование: Система использует Relevance Score для определения порядка результатов. Это может быть прямая сортировка или использование его как сигнала для корректировки исходных оценок ранжирования (initial ranking scores).

Входные данные:

• Признаки поискового запроса (Query features).
• Признаки изображения (Image features) для кандидата.
• Признаки посадочной страницы (Landing page features) для кандидата.

Выходные данные:

• Relevance Score для пары изображение-страница относительно запроса.

На что влияет

• Конкретные типы контента: Влияет на все типы изображений (фотографии, диаграммы, товары, инфографика) и связанные с ними посадочные страницы (статьи, карточки товаров, галереи).
• Специфические запросы: Механизм оказывает влияние на все типы запросов в поиске по картинкам. Его преимущество (динамическое взвешивание) особенно проявляется в неоднозначных запросах или запросах, где важен контекст.
  • Для запросов с визуальным интентом (например, «красивые обои закат»), модель может придать больший вес Image features.
  • Для запросов, где важен контекст или авторитетность (например, «схема двигателя внутреннего сгорания» или «симптомы кори фото»), модель может придать больший вес Landing page features (качество контента, авторитетность сайта).
• Конкретные ниши или тематики: Сильное влияние в E-commerce (важность страницы товара) и YMYL-тематиках (важность авторитетности источника изображения).

Когда применяется

Алгоритм применяется при обработке запросов в системе поиска изображений. Он может использоваться как при поиске через специализированный интерфейс (Google Images), так и при генерации блока с картинками в универсальной выдаче.

В патенте не указаны специфические триггеры или пороговые значения для активации этой модели; предполагается, что это основной или один из основных механизмов ранжирования в Image Search.

Пошаговый алгоритм

Процесс ранжирования в реальном времени

1. Получение запроса: Система получает запрос на поиск изображений от пользователя.
2. Отбор кандидатов: Система идентифицирует исходный набор кандидатов (пар изображение + посадочная страница), удовлетворяющих запросу.
3. Извлечение признаков (для каждого кандидата): Система извлекает (или получает из индекса):
   • Признаки поискового запроса.
   • Признаки соответствующего изображения.
   • Признаки соответствующей посадочной страницы.
4. Обработка моделью (для каждого кандидата): Извлеченные признаки совместно обрабатываются с помощью image search result ranking machine learning model.
5. Генерация оценки релевантности: Модель генерирует Relevance Score для каждого кандидата. При этом модель определяет важность признаков изображения и страницы в зависимости от признаков запроса.
6. Ранжирование: Система ранжирует кандидатов на основе полученных Relevance Scores. Это может включать корректировку исходных оценок ранжирования с использованием Relevance Score как модификатора (например, путем сложения или умножения на фактор).
7. Формирование выдачи: Система генерирует представление результатов поиска в соответствии с итоговым ранжированием.
8. Предоставление результатов: Результаты отправляются пользователю.

Какие данные и как использует

Данные на входе

Патент детально описывает категории признаков, используемых моделью машинного обучения.

Визуальные факторы (Image features):

• Пиксельные данные (Pixel data): Непосредственно сырые данные изображения.
• Эмбеддинги (Embeddings): Векторные представления содержания изображения, сгенерированные с помощью нейронных сетей (embedding neural network).
• Извлеченные признаки: Результаты техник компьютерного зрения (обнаружение краев, углов, блобов, извлечение форм).

Контентные и Контекстные факторы (Landing page features):

• Текст страницы: Ключевые слова, текст, заголовок (Title) страницы.
• Контекст изображения на странице:
  • Alt-текст (alt-text labels) изображения.
  • Текст, окружающий изображение (text surrounding the image).
  • Текстовые описания изображения на странице.
• Структурные факторы:
  • Расположение изображения на странице (location of the image) (в пикселях, через HTML/XML DOM XPATH или CSS-селекторы).
• Мультимедиа факторы:
  • Значимость/видимость изображения (prominence of the image), измеряемая через относительный размер изображения при отображении на устройстве.

Технические факторы (Landing page features):

• URL (resource locator) страницы.

Временные факторы (Landing page features):

• Свежесть (Freshness): дата первого сканирования или обновления страницы.

Факторы авторитетности (Landing page features):

• Данные об авторе посадочной страницы.
• Характеристики домена, к которому принадлежит страница.

Ссылочные факторы (Landing page features):

• Признаки ссылок на изображение и посадочную страницу (анкорный текст, страница-источник ссылки).

Географические и Языковые факторы:

• Язык посадочной страницы и запроса.
• Местоположение отправки запроса.

Пользовательские факторы:

• Данные об устройстве пользователя (используются, например, для оценки размера/значимости изображения).

Какие метрики используются и как они считаются

Основная метрика, вычисляемая системой, — это Relevance Score.

Relevance Score: Генерируется моделью машинного обучения. Патент не предоставляет конкретную формулу, так как вычисление происходит внутри модели (например, нейронной сети). Эта оценка может быть откалибрована для прогнозирования:

• Вероятности клика (likelihood of a user... would click on) или взаимодействия пользователя с результатом.
• Оценки, которую поставил бы результату человек-асессор (human rater).

Методы машинного обучения:

• Упоминаются нейронные сети (включая глубокие модели), обобщенные линейные модели, случайные леса, деревья решений.

Обучение модели и функции потерь:

Модель обучается на данных с известными (ground truth) оценками релевантности (клики или оценки асессоров). Для обучения могут использоваться различные функции потерь (loss functions):

• Pairwise loss (Парная функция потерь): Модель обучается правильно определять относительный порядок релевантности двух результатов. Цель — минимизировать инверсии в ранжировании по сравнению с ground truth.
• Pointwise loss (Поточечная функция потерь): Модель штрафуется за отклонение предсказанной оценки от реальной оценки для одного результата.
• Listwise loss (Списочная функция потерь): Модель оценивает список результатов и штрафуется за отклонение предсказанного ранжирования всего списка от идеального ранжирования.

1. Критическая важность посадочной страницы для Image SEO: Патент подтверждает, что ранжирование изображения напрямую зависит от характеристик страницы, на которой оно размещено. Изображение не оценивается изолированно. Качество, авторитетность и релевантность посадочной страницы являются ключевыми сигналами.
2. Совместная обработка сигналов (Joint Processing): Google использует сложные модели машинного обучения (например, нейронные сети) для совместного анализа визуальных признаков изображения и контекстных признаков страницы. Это позволяет системе лучше понять синергию между картинкой и контентом.
3. Динамическое взвешивание (Query-Dependent Manner): Система не использует фиксированные веса для сигналов. Важность визуальной составляющей по сравнению с контекстом страницы определяется динамически для каждого конкретного запроса. Это требует от SEO-специалистов глубокого понимания интента пользователя.
4. Важность контекста размещения: Патент явно выделяет признаки, связанные с тем, как изображение размещено на странице: его расположение (location), значимость/размер (prominence), alt-текст и окружающий текст. Оптимизация этих элементов критична.
5. Разнообразие факторов ранжирования: Модель учитывает широкий спектр признаков, включая свежесть контента (freshness), авторитетность автора и домена, а также визуальные эмбеддинги изображения.
6. Переранжирование на поздних этапах: Описанный механизм может использоваться для корректировки исходного ранжирования (adjusting the initial ranking), что указывает на его применение на этапах L2/L3 для точной настройки выдачи.

Best practices (это мы делаем)

• Оптимизация контекста посадочной страницы: Убедитесь, что страница, на которой размещено изображение, максимально релевантна ему тематически. Текст страницы, заголовки (H1-H6) и Title должны соответствовать содержанию изображения.
• Оптимизация размещения изображения: Размещайте ключевые изображения на видном месте (location) и в достаточном размере (prominence). Избегайте размещения важных изображений в футере или малозаметных блоках.
• Детальная проработка текстового окружения: Оптимизируйте alt-текст, подписи к изображению и текст в непосредственной близости от него (text surrounding the image). Эти элементы напрямую используются моделью как Landing page features.
• Повышение качества и авторитетности страницы (E-E-A-T): Поскольку характеристики домена и автора являются входными данными для модели, работа над общим качеством сайта и E-E-A-T напрямую влияет на ранжирование изображений с этого сайта.
• Слежение за свежестью контента: Регулярно обновляйте страницы с важными изображениями, так как свежесть (freshness) является учитываемым признаком.
• Улучшение визуального качества изображений: Используйте уникальные, высококачественные изображения. Хотя патент фокусируется на интеграции сигналов, качество визуального контента необходимо для генерации сильных Image features (например, эмбеддингов).

Worst practices (это делать не надо)

• Размещение качественных изображений на низкокачественных страницах: Создание дорвеев, страниц с тонким (thin) или автоматически сгенерированным контентом для размещения изображений неэффективно. Модель учтет низкое качество Landing page features.
• Игнорирование Alt-текста и контекста: Оставление пустых или нерелевантных alt-атрибутов и отсутствие текстового контекста вокруг изображения лишает модель важных сигналов.
• Манипуляция ключевыми словами (Keyword Stuffing): Попытки переспамить страницу или alt-текст ключевыми словами. Модель машинного обучения способна оценивать качество контента комплексно, и такие манипуляции могут быть распознаны как негативные сигналы.
• Использование стоковых изображений без добавленной ценности: Размещение неуникальных изображений на типовых страницах создает слабые сигналы как на уровне Image features, так и на уровне Landing page features.

Стратегическое значение

Этот патент подчеркивает стратегический переход Google к мультимодальному анализу контента. Для достижения успеха в Image SEO необходимо применять интегрированный подход, где визуальная оптимизация неотделима от контентной и технической оптимизации посадочной страницы. Стратегия должна фокусироваться на создании высококачественных страниц, где изображение и текст дополняют друг друга, предоставляя исчерпывающий ответ на запрос пользователя. Понимание того, что Google может динамически менять важность страницы и картинки в зависимости от запроса, требует гибкости в SEO-стратегиях для разных ниш и типов интентов.

Практические примеры

Сценарий 1: Оптимизация карточки товара в E-commerce

• Задача: Улучшить ранжирование фото товара «Красные кроссовки Nike Air Max 270» в Google Images.
• Действия согласно патенту:
  • Image Features: Загрузить несколько высококачественных уникальных фотографий кроссовок с разных ракурсов.
  • Landing Page Features (Контент): Убедиться, что Title, H1 и описание товара четко указывают на модель, цвет и бренд. Добавить отзывы покупателей (обновление контента, freshness).
  • Landing Page Features (Контекст): Разместить основное фото вверху страницы (location), сделать его крупным (prominence). Прописать alt-текст: «Вид сбоку красных кроссовок Nike Air Max 270». В тексте рядом описать особенности модели.
• Ожидаемый результат: Модель машинного обучения получит сильные сигналы от изображения и релевантной, качественной страницы. При запросе «купить Nike Air Max 270 красные» модель придаст высокий вес как визуальному соответствию, так и контексту страницы товара, повышая Relevance Score.

Сценарий 2: Оптимизация инфографики в информационной статье

• Задача: Продвинуть инфографику «Этапы строительства каркасного дома» в Image Search.
• Действия согласно патенту:
  • Image Features: Создать понятную и визуально качественную инфографику.
  • Landing Page Features (Авторитетность): Разместить инфографику в подробной экспертной статье о строительстве каркасных домов на авторитетном строительном портале (сигналы домена и автора).
  • Landing Page Features (Контекст): Вставить инфографику в середину соответствующего раздела статьи. Добавить заголовок H3 перед инфографикой «Схема этапов строительства». Прописать релевантный alt-текст. После инфографики дать текстовое пояснение к каждому этапу.
• Ожидаемый результат: При запросе «схема строительства каркасного дома» модель определит, что контекст и авторитетность источника критически важны (query-dependent manner). Сильные Landing page features значительно повысят шансы на высокое ранжирование этой инфографики.