Как Google использует визуальное сходство для связывания изображений и видео, кластеризации выдачи и обогащения метаданных

Термины и определения

Association Data Store (Хранилище данных ассоциаций)

База данных, хранящая информацию о связях между изображениями и видео, которые были определены как визуально похожие, а также силу этой связи (strength of relationship).

Canonical digital image (Каноническое цифровое изображение)

Изображение (или репрезентативный кадр видео), выбранное системой для представления целого кластера визуально похожих результатов. Согласно Claim 1, выбор основан на поисковом ранге (search rank).

Features (Признаки)

Визуальные характеристики, извлекаемые из изображений и видеокадров для сравнения. Упоминаются алгоритмы SIFT, SURF, GLOH, а также признаки вроде краев, углов, цвета и сигнатур лиц (face signatures).

Metadata Augmentation (Аугментация/Обогащение метаданных)

Процесс переноса метаданных (например, геолокации, ключевых слов, ассоциированных запросов) от одного ресурса к другому, если они визуально связаны.

Representative Frames (Репрезентативные кадры)

Подмножество кадров видео, выбранное для суммирования его содержания. Извлекаются путем анализа сцен и границ планов (shot boundaries).

Scene Score (G(s)) (Оценка сцены)

Метрика для оценки важности сцены в видео, основанная на ее репрезентативности, а также на наличии движения (M(s)) и аудио (A(s)).

Strength of relationship (Сила связи)

Метрика, оценивающая степень визуального сходства между изображением и видео.

Ключевые утверждения (Анализ Claims)

Патент описывает как офлайн-процессы ассоциации (в Description), так и онлайн-процессы кластеризации (в Claims). Финальные Claims (B2) сосредоточены на онлайн-кластеризации.

Claim 1 (Независимый пункт): Описывает метод обработки поискового запроса путем кластеризации результатов в реальном времени.

1. Система получает поисковый запрос.
2. Получает набор цифровых изображений, релевантных запросу.
3. Критический момент 1: После получения запроса (т.е. в реальном времени) система извлекает признаки (features) из каждого релевантного изображения.
4. Критический момент 2: До предоставления страницы результатов (SERP) система выполняет:
   1. Сравнение признаков каждого изображения с другими в наборе.
   2. Назначение каждого изображения в кластер на основе этого визуального сравнения.
   3. Выбор канонического цифрового изображения (canonical digital image) для каждого кластера на основе поискового ранга (search rank) этого изображения.
5. Система предоставляет SERP, включающую представление канонического изображения для кластеров.

Ядро изобретения — динамическая визуальная кластеризация результатов, где группировка основана на визуальном сравнении, но выбор представителя кластера (канонического элемента) основан на его стандартном поисковом ранге.

Claim 2 (Зависимый от 1): Уточняет, что каноническим элементом может быть выбрано видео, и в этом случае его представление — это эталонный кадр (reference frame) этого видео.

Claim 4 (Зависимый от 1): Детализирует процесс выбора видео в качестве канонического элемента, подтверждая использование методов суммирования видео (идентификация репрезентативных сцен и кадров) для эффективного сравнения видео с изображениями.

Claim 6 (Зависимый от 1): Уточняет, что выбор канонического изображения может быть основан на определении того, что оно является наиболее визуально похожим на другие изображения в кластере (визуальный центр кластера, концепция VisualRank). (Примечание: Это предлагает альтернативный или дополнительный метод к выбору на основе search rank из Claim 1).

Где и как применяется

Изобретение связывает офлайн-процессы анализа контента с онлайн-процессами формирования выдачи.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит офлайн-анализ (по Description):

• Анализ видео, извлечение Representative Frames.
• Извлечение визуальных Features из изображений и кадров.
• Вычисление Strength of relationship и сохранение связей в Association Data Store.
• Аугментация метаданных: перенос Metadata (геолокация, ключевые слова) между связанными ресурсами.

RANKING – Ранжирование
Система определяет базовый search rank для ресурсов. Аугментированные метаданные могут использоваться для улучшения ранжирования контента, у которого изначально было мало собственных данных.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Основное применение патента на этапе формирования SERP (по Claims и Description):

• Смешивание (Blending): Использование Association Data Store для добавления связанных ресурсов в выдачу (например, добавление видео в результаты поиска по картинкам).
• Кластеризация (Clustering): Система в реальном времени кластеризует результаты на основе визуального сходства.
• Каноникализация: Выбирается Canonical digital image для представления кластера, преимущественно на основе search rank.

На что влияет

• Типы контента: Статичные изображения и видео.
• Специфические запросы: Запросы, где визуальная составляющая является ключевой (товары, достопримечательности, персоны) и запросы, возвращающие много визуально похожих результатов.
• Ниши и тематики: E-commerce (фото товаров и видеообзоры), Travel/Local (связывание фото и видео локаций, использование геолокации), Медиа (постеры и трейлеры).

Когда применяется

• Офлайн-процесс (Ассоциация): Постоянно во время индексирования мультимедийного контента.
• Онлайн-процесс (Кластеризация): При обработке запросов к визуальному поиску (например, Google Images) для организации выдачи и дедупликации.
• Онлайн-процесс (Смешивание): Когда система идентифицирует сильные кросс-модальные связи и решает обогатить выдачу.

Пошаговый алгоритм

Процесс А: Офлайн-ассоциация и обогащение (на основе Description)

1. Сбор данных: Получение набора изображений и видео.
2. Обработка видео (Извлечение кадров):
   1. Идентификация границ планов (Shot Boundaries) путем сравнения смежных кадров.
   2. Объединение планов в сцены на основе схожести.
   3. Кластеризация сцен и выбор репрезентативных сцен (используя оценку G(s), учитывающую движение и аудио).
   4. Извлечение репрезентативного кадра (Representative Frame) из каждой сцены.
3. Извлечение признаков: Извлечение визуальных Features (SIFT, SURF и т.д.) из изображений и кадров. Может включать категоризацию контента для выбора оптимального метода.
4. Сравнение и Ассоциация:
   1. Сравнение признаков изображения с признаками кадров видео (например, используя хэш-ключи и расстояние Хэмминга).
   2. Вычисление Strength of relationship. Если она превышает порог, ресурсы считаются связанными.
5. Сохранение и Обогащение:
   1. Запись связей в Association Data Store.
   2. Аугментация метаданных: копирование Metadata между связанными ресурсами.

Процесс Б: Онлайн-обработка запроса и кластеризация (на основе Claims)

1. Получение запроса и результатов: Определение набора релевантных изображений (и видео) и их search rank.
2. Извлечение признаков (Real-time): Извлечение Features из релевантных результатов.
3. Сравнение и Кластеризация (Real-time): Сравнение признаков результатов между собой и группировка визуально похожих элементов в кластеры.
4. Выбор канонического элемента: Для каждого кластера выбирается Canonical digital image. Выбор основывается преимущественно на наивысшем search rank среди элементов кластера.
5. Формирование SERP: Генерация страницы результатов, где кластеры представлены их каноническими элементами.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные данные): Пиксельные данные изображений и видеокадров. Используются для извлечения визуальных признаков (Features), таких как края, углы, цвета, текстуры, дескрипторы (SIFT, SURF), сигнатуры лиц.
• Мультимедиа факторы (Аудио и Движение): Аудиодорожка (A(s)) и движение в кадре (M(s)) используются для анализа структуры видео и выбора репрезентативных сцен.
• Контентные/Текстовые факторы (Metadata): Текст, окружающий медиа, анкорный текст ссылок, метки (Labels), комментарии, текст, извлеченный с помощью OCR. Используются для категоризации и аугментации.
• Пользовательские/Поведенческие факторы: Текст запросов (query text) из логов, связанных с ресурсом. Используется для категоризации и аугментации.
• Географические факторы (Metadata): Данные о геолокации. Могут передаваться между связанными ресурсами.
• Системные данные: Search rank (поисковый ранг) результата. Критически важен для выбора канонического элемента в кластере.

Какие метрики используются и как они считаются

• Расстояние между кадрами (d(FA, FB)): Метрика визуального различия между двумя кадрами. Используется для определения границ планов. В патенте приводится формула: $d(F_A, F_B) = 1 - \frac{F_A \cdot F_B}{|F_A||F_B|}$
• Сходство планов/сцен (S(s1, s2)): Рекурсивная формула для определения сходства между двумя последовательностями кадров.
• Оценка сцены (G(s)): Метрика для оценки важности сцены. Учитывает репрезентативность/уникальность сцены, а также может включать оценку движения (M(s)) и аудио (A(s)). $G(s) = w_{rep}(\sum_{j} |S(s, s_j) - \mu|) + w_{motion}M(s) + w_{audio}A(s)$
• Strength of relationship (Сила связи): Оценка визуального сходства. Может рассчитываться как расстояние Хэмминга между хэшами признаков (используя LSH или другие методы).

1. Google глубоко анализирует визуальный контент для установления связей: Система не полагается только на текст. Она активно анализирует пиксели и сравнивает визуальные признаки (features) для понимания содержания и установления кросс-модальных связей между изображениями и видео.
2. Аугментация метаданных (Metadata Augmentation) как фактор ранжирования: Критически важный механизм. Если контент визуально связан, система может передавать между ним метаданные (ключевые слова, геолокацию). Это позволяет ранжировать контент, у которого изначально не было достаточных текстовых сигналов.
3. Эффективная обработка видео через суммирование: Google анализирует видео не покадрово, а использует сложные техники выбора репрезентативных кадров (Representative Frames) через анализ сцен, планов, движения и аудио.
4. Визуальная кластеризация в реальном времени: Патент (Claims) защищает метод кластеризации визуально похожих результатов непосредственно в момент запроса (query-time). Это используется для организации выдачи и дедупликации.
5. Ранг определяет видимость в кластере: Ключевой вывод из Claim 1: хотя кластеризация основана на визуальном сходстве, canonical digital image (представитель кластера) выбирается на основе поискового ранга (search rank). Чтобы изображение представляло кластер, оно должно иметь высокий ранг.

Best practices (это мы делаем)

• Максимизация базового Search Rank: Поскольку канонический элемент выбирается по search rank, необходимо применять все стандартные методы SEO для изображений и видео (релевантность страницы хоста, авторитетность сайта, alt-текст, скорость загрузки). Цель — иметь наивысший рейтинг среди визуально похожих ресурсов.
• Создание уникального визуального контента: Используйте уникальные, высококачественные изображения. Это повышает шанс сформировать собственный кластер, где ваше изображение будет каноническим, вместо того чтобы быть скрытым за более авторитетным конкурентом, использующим то же стоковое фото.
• Обеспечение визуальной синергии активов: Создавайте изображения и видео, которые визуально связаны (например, фото продукта и его видеообзор с тем же продуктом в кадре). Это усиливает кросс-модальные связи и способствует аугментации метаданных между вашими ресурсами.
• Оптимизация ключевых кадров и тамбнейлов видео: Поскольку Google анализирует representative frames, убедитесь, что важные моменты видео и тамбнейл визуально информативны, четкие и качественные.
• Добавление полных метаданных (Особенно геолокации): Максимально насыщайте медиафайлы метаданными (включая геолокацию, Schema.org). Это не только помогает их ранжированию, но и позволяет системе распространять эти данные на связанные ресурсы через механизм аугментации.

Worst practices (это делать не надо)

• Использование исключительно стоковых или скопированных изображений: Такие изображения будут кластеризованы вместе с конкурентами. Если у конкурента выше search rank, его версия станет канонической, а ваша будет скрыта.
• Манипуляции для псевдо-уникальности: Незначительные изменения (зеркалирование, легкое кадрирование) могут быть неэффективны, так как алгоритмы извлечения признаков (SIFT, SURF), упомянутые в патенте, устойчивы к таким трансформациям и все равно определят сходство.
• Использование кликбейтных тамбнейлов: Использование миниатюр, которые визуально не соответствуют содержанию видео или связанным изображениям. Это нарушает процесс ассоциации и ухудшает пользовательский опыт.
• Низкое качество медиафайлов: Размытый или низкокачественный контент затрудняет извлечение признаков, что может привести к некорректным ассоциациям или игнорированию контента системой.

Стратегическое значение

Патент подтверждает стратегию Google на глубокое понимание контента за пределами текста и создание единого индекса, где тип контента вторичен. Для SEO это означает необходимость интегрированного подхода к созданию контента, где текст, изображения и видео работают вместе. Стратегия должна быть направлена на доминирование в визуальных кластерах (за счет высокого search rank и уникальности) и использование кросс-модальных связей для усиления ранжирования.

Практические примеры

Сценарий 1: Доминирование в кластере E-commerce (на основе Claims)

1. Ситуация: Пользователь ищет "Кроссовки Nike Air Max 270 black". 50 сайтов используют одно и то же официальное фото от Nike.
2. Обработка: Google находит эти 50 результатов. В реальном времени система анализирует их визуальные признаки и объединяет в один кластер.
3. Выбор канонического элемента: Система сравнивает search rank всех 50 результатов. Сайт Nike.com имеет наивысший рейтинг.
4. Результат: В выдаче Google Images отображается один результат для этого фото, ведущий на Nike.com. Остальные скрыты.
5. Действие для SEO: Небольшому магазину необходимо использовать собственные уникальные фотографии товара, чтобы сформировать отдельный визуальный кластер и получить видимость.

Сценарий 2: Обогащение метаданных в локальном поиске (на основе Description)

1. Ситуация: Ресторан загружает видеообзор нового блюда без геолокации. Отдельно есть фотографии этого же блюда с точными гео-тегами.
2. Обработка: В процессе индексирования Google анализирует фото и кадры видео и обнаруживает сильное визуальное сходство.
3. Результат: Система ассоциирует видео с фото и переносит геоданные с фото на видео (Аугментация метаданных). Видео получает возможность ранжироваться в локальном поиске или на картах по запросам, связанным с этим местоположением.