Как Google использует машинное зрение и исторические клики для определения визуального интента и ранжирования изображений

Термины и определения

Content Labels (Метки контента)

Термины, представляющие сущности (entities), изображенные на картинке. Могут включать объекты (например, «автомобиль», «Ford Mustang»), характеристики объектов (цвет, действие) или глобальные характеристики изображения (погода, местоположение).

Entity Detection Model (Модель обнаружения сущностей)

Система машинного обучения, используемая для анализа изображения и генерации Content Labels. В патенте упоминается как object detection neural network (нейронная сеть для обнаружения объектов).

Historical Images (Исторические изображения)

Изображения, которые ранее были показаны в результатах поиска по данному запросу, его подзапросам или связанным запросам.

Historical Query Log (Журнал исторических запросов)

База данных, хранящая информацию о предыдущих запросах, показанных результатах и действиях пользователей (клики, hover data).

Likelihood (Вероятность/Частотность метки)

Метрика, характеризующая, насколько часто метка встречается. Редкие метки (например, «Ford Mustang») имеют низкую Likelihood по сравнению с частыми (например, «автомобиль»). Используется для взвешивания при расчете сходства.

Relevance Score (Оценка релевантности)

Метрика, рассчитываемая на основе меры сходства между Content Labels запроса и Content Labels изображения.

Related Query (Связанный запрос)

Запрос, который содержит ту же подпоследовательность терминов (подзапрос), что и исходный запрос. Например, «Apollo moon landing» и «American moon landing» связаны через «moon landing».

Similarity Measure (Мера сходства)

Метод измерения сходства между наборами меток контента. В патенте упоминается cosine similarity measure (косинусное сходство).

Sub-query (Подзапрос)

Последовательность одного или нескольких терминов, включенных в исходный запрос. Например, «moon landing» является подзапросом для «Apollo moon landing».

User Selection Rate (Частота выбора пользователем)

Метрика (например, CTR), показывающая, как часто пользователи взаимодействовали с определенным результатом поиска.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования изображений по текстовому запросу.

1. Система получает запрос на изображения в ответ на текстовый поисковый запрос.
2. Система получает Content Labels для этого запроса. Эти метки представляют сущности, изображенные на картинках, которые были идентифицированы в результатах поиска, ранее сгенерированных системой при обработке запросов, включающих термины из текущего запроса.
3. Для каждого изображения-кандидата:
   • Получаются Content Labels для изображения (сущности, изображенные на нем).
   • Определяется Relevance Score на основе меры сходства между метками запроса и метками изображения.
4. Определяется ранжирование кандидатов на основе Relevance Scores.
5. Предоставляются результаты поиска.

Ядро изобретения — сравнение ожидаемого визуального контента (исторические данные по запросу) и фактического визуального контента (анализ кандидата).

Claim 5 (Зависимый): Уточняет формирование меток для запроса.

Content Labels для запроса определяются на основе соответствующих user selection rates исторических результатов поиска. Объекты на изображениях, которые пользователи чаще выбирали, имеют больший вес при формировании визуального профиля запроса.

Claim 6 и 7 (Зависимые): Уточняют технологию генерации меток.

Content Labels генерируются путем обработки изображений (как исторических, так и кандидатов) с использованием Entity Detection Model (Claim 6), которая может включать object detection neural network (Claim 7).

Claims 2, 3, 4 (Зависимые): Определяют источники исторических данных.

Метки запроса могут быть получены из анализа изображений, ранее показанных для:

• Точно такого же запроса (Claim 2).
• Подзапроса (Sub-query) (Claim 3).
• Связанного запроса (Related Query) (Claim 4).

Это позволяет системе формировать визуальный профиль даже для редких или новых запросов.

Claim 9 и 10 (Зависимые): Уточняют метод расчета сходства.

Relevance Score может определяться с использованием меры косинусного сходства (cosine similarity) между векторными представлениями наборов меток (Claim 9). Мера сходства может основываться на соответствующей Likelihood (частотности/редкости) меток (Claim 10), придавая больший вес редким совпадающим меткам.

Где и как применяется

Изобретение связывает индексирование, понимание запросов и ранжирование в контексте поиска изображений.

INDEXING – Индексирование и извлечение признаков
На этом этапе система анализирует изображения с помощью Entity Detection Model и генерирует Content Labels для каждого изображения. Эти метки сохраняются в индексе (Search Index). Это предварительная обработка (pre-computed) для снижения задержек.

QUNDERSTANDING – Понимание Запросов (Офлайн-процессы)
Система анализирует Historical Query Log для определения взаимосвязей между текстовыми запросами и визуальными сущностями на основе user selection rates. Для частых запросов Content Labels могут быть предварительно рассчитаны и сохранены офлайн. Это процесс определения «визуального интента» запросов.

RANKING – Ранжирование
Основное применение патента (возможно, на стадиях L2/L3).

• Получение меток запроса: Система извлекает (или генерирует на лету) набор Content Labels для входящего запроса путем агрегации меток из исторических изображений (связанных с запросом, его подзапросами и связанными запросами).
• Расчет сходства: Система сравнивает метки запроса с метками изображений-кандидатов (полученными из индекса) для расчета Relevance Score.
• Финальное ранжирование: Relevance Score комбинируется с другими сигналами (Additional Scores) для определения итогового рейтинга (Overall Score).

Входные данные:

• Текстовый поисковый запрос.
• Historical Query Log (включая данные о кликах).
• Изображения-кандидаты и их предварительно рассчитанные Content Labels из Search Index.

Выходные данные:

• Relevance Score для каждого изображения-кандидата, основанный на визуальном сходстве с интентом запроса.
• Итоговый ранжированный список изображений.

На что влияет

• Типы контента: В первую очередь влияет на вертикаль Поиска по Картинкам (Image Search) и блоки с изображениями в универсальном поиске.
• Специфические запросы: Наибольшее влияние на запросы с четким визуальным интентом (товары, места, объекты), где текстовые сигналы могут быть неоднозначными (например, запрос "jaguar" – животное или автомобиль).
• Ниши и тематики: Критично для e-commerce, дизайна, туризма, где точное визуальное соответствие имеет первостепенное значение.

Когда применяется

Алгоритм применяется при обработке запросов в поиске по картинкам.

• Условия работы: Наличие достаточных данных в Historical Query Log для определения визуального интента (для самого запроса или его вариаций) и наличие проиндексированных изображений с распознанными Content Labels.
• Временные рамки: Расчет Relevance Score происходит в реальном времени во время ранжирования, но полагается на данные, вычисленные предварительно (офлайн).

Пошаговый алгоритм

Процесс А: Ранжирование в реальном времени

1. Получение запроса: Система получает текстовый поисковый запрос.
2. Получение меток запроса: Система определяет набор Content Labels для запроса (См. Процесс Б).
3. Получение меток кандидатов: Для набора изображений-кандидатов извлекаются их предварительно рассчитанные Content Labels из индекса.
4. Расчет релевантности: Для каждого кандидата вычисляется Relevance Score путем сравнения его меток с метками запроса. Используется мера сходства, например, $cosine similarity$. Сходство может быть взвешенным на основе Likelihood меток.
5. Расчет дополнительных оценок (Опционально): Вычисляются другие факторы ранжирования (Additional Scores), такие как визуальное качество, совпадение метаданных, исторический CTR изображения.
6. Определение ранжирования: Relevance Score и Additional Scores комбинируются в Overall Score, на основе которого формируется итоговый рейтинг.
7. Генерация результатов: Формируется страница поисковой выдачи.

Процесс Б: Генерация меток контента для запроса (Офлайн/Кэш)

1. Идентификация меток из прямых совпадений: Система идентифицирует метки из изображений, которые ранее были результатами для данного запроса. Учитываются user selection rates – метки из более кликабельных изображений имеют больший вес.
2. Идентификация меток из подзапросов: Система идентифицирует метки из изображений, которые ранее были результатами для sub-queries.
3. Идентификация меток из связанных запросов: Система идентифицирует метки из изображений, которые ранее были результатами для related search queries.
4. Агрегация меток: Система агрегирует все идентифицированные метки для формирования финального набора Content Labels для запроса.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные из Historical Query Log. Используются user selection rates (клики) и hover data (данные о наведении курсора). Эти данные определяют визуальный интент запроса.
• Мультимедиа факторы (Визуальные данные): Пиксельные данные изображений (исторические и кандидаты), которые обрабатываются Entity Detection Model для извлечения Content Labels.
• Технические факторы: Упоминается возможность использования визуального качества изображения (например, разрешения) в качестве Additional Scores.
• Контентные факторы (Текстовые): Упоминается возможность использования совпадения терминов запроса в метаданных изображения в качестве Additional Scores.

Какие метрики используются и как они считаются

• Content Labels (Метки контента): Генерируются с помощью Entity Detection Model (например, нейронной сети). Представляют собой список сущностей, обнаруженных на изображении.
• Relevance Score (Оценка релевантности): Рассчитывается как мера сходства между наборами меток.
  • Метод расчета: Упоминается cosine similarity measure между векторными представлениями меток.
  • Взвешивание (Likelihood): При расчете может учитываться частотность метки. Редкие совпадающие метки могут иметь больший вес, чем частые (используя взвешенное косинусное сходство).
• User Selection Rate (Частота выбора): Используется для взвешивания влияния исторических изображений при формировании набора меток запроса.
• Алгоритмы машинного обучения: Object detection neural network используется для анализа содержания изображений.

1. Визуальная релевантность как ключевой фактор в Image SEO: Патент подтверждает, что Google активно использует машинное зрение для ранжирования. Релевантность определяется тем, насколько объекты на изображении (Content Labels) соответствуют ожидаемому визуальному содержанию, а не только тексту.
2. Исторические клики определяют визуальный интент: Система учится тому, что пользователи хотят видеть, анализируя, на какие изображения они кликали ранее (user selection rates). Поведение пользователей напрямую формирует «визуальный профиль» текстового запроса.
3. Машинное распознавание объектов (Entity Detection): Основой механизма является способность системы точно распознавать объекты, характеристики и сцены с помощью нейронных сетей. Изображения должны быть оптимизированы для машинного восприятия.
4. Важность специфичности (Likelihood): Система придает больший вес редким и специфичным объектам при расчете релевантности. Совпадение по уникальной метке дает преимущество.
5. Обработка длинного хвоста запросов: Система может определять визуальный интент даже для новых или редких запросов путем агрегации данных из подзапросов (sub-queries) и связанных запросов (related queries).

Best practices (это мы делаем)

• Оптимизация под машинное зрение (Четкость): Убедитесь, что ключевые объекты на изображении четкие, хорошо освещенные и легко распознаваемые Entity Detection Model. Избегайте абстрактных или перегруженных композиций. Ключевой объект должен быть в фокусе.
• Соответствие визуальному интенту (Анализ SERP): Анализируйте текущую выдачу по изображениям для целевых запросов, чтобы понять коллективный визуальный интент. Ваши изображения должны содержать те объекты (Content Labels), которые доминируют в топе, так как они отражают ожидания пользователей.
• Повышение кликабельности (CTR) изображений: Поскольку user selection rates используются для определения визуального интента, критически важно создавать привлекательные изображения, которые мотивируют пользователей кликать. Высокий CTR поможет закрепить связь между вашим визуальным контентом и запросом.
• Фокус на специфичных сущностях: Если возможно, используйте изображения, содержащие специфичные объекты. Распознавание редкой, но релевантной сущности (низкая Likelihood) даст больший буст к Relevance Score, чем общие объекты.

Worst practices (это делать не надо)

• Использование нерелевантных изображений (Кликбейт/Mismatch): Размещение изображений, которые не соответствуют визуальному интенту запроса, даже если они оптимизированы по тексту. Система распознает объекты и понизит изображение, если его Content Labels не совпадают с профилем запроса.
• Игнорирование качества и четкости объектов: Использование размытых, темных или слишком стилизованных изображений, на которых алгоритмам сложно распознать ключевые сущности. Это приведет к неполному набору Content Labels и низкому Relevance Score.
• Фокус исключительно на тексте: Полагаться только на Alt-text и окружающий текст. Без соответствующего визуального содержания изображение не будет считаться релевантным в рамках этого механизма.
• Перекрытие контента: Размещение крупных водяных знаков или текста поверх ключевых объектов может помешать модели правильно их идентифицировать.

Стратегическое значение

Этот патент подчеркивает стратегический сдвиг в поиске изображений от анализа текста к прямому анализу визуального контента на основе сущностей. Для SEO-специалистов это означает необходимость интеграции визуального анализа в процесс оптимизации. Понимание того, как Google «видит» изображения (например, с помощью инструментов типа Google Vision API или Lens), становится необходимым навыком. Стратегия должна быть направлена на создание качественного, привлекательного и визуально релевантного контента.

Практические примеры

Сценарий: Оптимизация карточки товара для E-commerce (Кроссовки)

1. Анализ интента: SEO-специалист анализирует выдачу по запросу «Nike Air Max 270 black». Он замечает, что в топе преобладают изображения кроссовок крупным планом, сбоку, а также lifestyle-фото на ногах. Это формирует ожидаемый набор Content Labels (кроссовок, логотип Nike, черный цвет, человек).
2. Создание контента: Создаются высококачественные фотографии товара, соответствующие этому интенту. Особое внимание уделяется тому, чтобы модель кроссовка и логотип были четко видны и легко распознаваемы.
3. Ожидаемый результат:
   • Entity Detection Model точно распознает объекты на изображении.
   • Relevance Score будет высоким, так как Content Labels изображения совпадают с визуальным профилем запроса, сформированным историческими кликами.
   • Высокое качество изображения привлечет клики (высокий User Selection Rate), что усилит связь этого типа изображения с запросом.