Как Google рассчитывает «VisualRank» для изображений и медиафайлов, используя виртуальные ссылки на основе схожести и поведения пользователей

Термины и определения

Click-data (Данные о кликах)

Данные, собранные о поведении пользователей, фиксирующие, какие объекты пользователи выбирают или просматривают последовательно в рамках одной сессии.

Content-based Similarity Metric (Метрика схожести контента)

Числовое значение, определяющее степень схожести между двумя объектами на основе их содержания (например, визуальных признаков изображений).

Conversion Function (Функция конвертации)

Функция (например, Бета-распределение), преобразующая Similarity Metric в Transitional Probability. Она разработана так, чтобы увеличивать вероятность перехода при росте схожести, но резко снижать её после определенного порога (Cutoff Point), чтобы штрафовать дубликаты.

Image Features (Признаки изображения)

Характеристики изображения, используемые для сравнения. Включают гистограммы интенсивности, цвета, краев, текстуры, а также инвариантные признаки (например, SIFT).

LINKSIM(A,B) (Hyperlink-induced similarity / Анализ URL)

Метрика схожести между объектами A и B, основанная на анализе URL и связей между веб-страницами (документами), на которых размещены эти объекты (например, с использованием алгоритма SimRank).

Markov Network (Марковская сеть)

Модель, используемая в патенте, где объекты представлены как узлы, а Transitional Probabilities — как связи (виртуальные ссылки) между ними.

Objects (Объекты)

Элементы, подлежащие ранжированию. В первую очередь это изображения, но также упоминаются аудио, видео, книги, товары.

Quality(A) (Query-Independent Measure of Quality)

Независимая от запроса мера качества объекта A. Включает такие метрики, как резкость (focus), количество цветов или насыщенность (saturation) изображения.

Ranking Score (Оценка ранжирования / VisualRank)

Итоговая оценка качества объекта, рассчитанная с помощью алгоритма анализа ссылок на основе Transitional Probabilities. Концептуально можно назвать VisualRank.

Transitional Probability (Вероятность перехода $P(A\rightarrow B)$)

Оценка вероятности того, что пользователь, просматривающий объект A, следующим выберет объект B. Является основой для виртуальных ссылок.

Virtual Links (Виртуальные ссылки)

Связи между объектами, которые не определены явно (как гиперссылки), а рассчитываются на основе схожести контента или поведения пользователей. Представлены в виде Transitional Probabilities.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод ранжирования изображений.

1. Система определяет Transitional Probabilities между изображениями (вероятность перехода пользователя от одного к другому).
2. Эти вероятности основаны на операции конвертации (conversion operation), которая связывает меру схожести с конкретным значением вероятности.
3. Ключевой шаг: Система модифицирует Transitional Probabilities на основе анализа документов, связанных с изображениями (например, анализ URL-адресов страниц, где размещены изображения).
4. Система рассчитывает оценки качества (Ranking Scores) для изображений, используя модифицированные вероятности.
5. Система предоставляет изображения пользователям в порядке, основанном на этих оценках.

Claim 4 (Зависимый от 1): Детализирует критически важный механизм функции конвертации.

Операция конвертации включает функцию, значение которой увеличивается до достижения точки отсечения (cutoff point), а затем уменьшается после этой точки. Это реализация интуиции, что пользователи предпочитают похожие изображения, но игнорируют почти идентичные (избыточные) результаты.

Claim 5 (Зависимый от 1): Уточняет механизм модификации вероятностей из Claim 1.

Модификация Transitional Probabilities основана на анализе URL (URL analysis) документов, связанных с изображениями. Это означает, что контекст размещения (например, на одном сайте или на связанных сайтах) влияет на силу виртуальной ссылки (LINKSIM).

Claim 6 (Зависимый от 1): Добавляет еще один фактор модификации.

Модификация Transitional Probabilities также основывается на независимой от запроса мере качества изображений (query-independent measure of quality).

Claim 9 (Зависимый от 1): Описывает альтернативный источник данных для расчета вероятностей.

Определение Transitional Probabilities может быть основано на данных о кликах (click-data), собранных от пользователей.

Claim 11, 15, 29 (Независимые пункты): Обобщают процесс для различных типов объектов (изображения, аудио, видео, книги, товары) и описывают базовый механизм расчета оценки на основе схожести и конвертации.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, влияя на индексирование, сбор данных и ранжирование медиафайлов.

CRAWLING – Сбор данных (Data Acquisition)
На этом этапе система собирает поведенческие данные (Click-data) из журналов взаимодействия пользователей с поисковой выдачей или другими интерфейсами. Эти данные фиксируют последовательности просмотра объектов.

INDEXING – Индексирование и извлечение признаков
Основная часть предварительных вычислений происходит здесь:

1. Извлечение признаков: Система анализирует медиафайлы и извлекает Image Features (гистограммы, SIFT и т.д.).
2. Оценка качества: Рассчитываются независимые от запроса метрики качества Quality(A) (резкость, насыщенность).
3. Анализ контекста: Проводится анализ URL и структуры ссылок между страницами (документами), содержащими объекты, для расчета LINKSIM(A,B).
4. Офлайн-расчет VisualRank: Ranking Scores могут быть предварительно рассчитаны для всего корпуса объектов или для отдельных категорий (Query-Independent).

RANKING – Ранжирование
Алгоритм может применяться на этапе ранжирования двумя способами:

1. Использование офлайн-оценок: Использование предварительно рассчитанных Ranking Scores (VisualRank) в качестве сигнала качества при ранжировании результатов, отобранных по текстовой релевантности.
2. Динамический расчет (Query-Dependent): Система может динамически рассчитывать Ranking Scores только для набора объектов, отобранных в ответ на конкретный запрос. Это позволяет получить более точную оценку качества в контексте данного запроса.

Входные данные:

• Набор объектов (изображений).
• Извлеченные признаки (Image Features) для каждого объекта.
• (Опционально) Click-data.
• Метрики Quality(A) и LINKSIM(A,B).

Выходные данные:

• Ranking Score (VisualRank) для каждого объекта в наборе.

На что влияет

• Конкретные типы контента: В первую очередь влияет на изображения, видео и аудиофайлы. Также применимо к товарам и книгам.
• Специфические запросы: Наибольшее влияние оказывается на запросы, где важна визуальная составляющая, а не только текстовое описание (например, поиск товаров, достопримечательностей, произведений искусства).
• Вертикали поиска: Критически влияет на Google Images, Google Video, Google Shopping (Product Search). Также может использоваться в Google News или основном поиске для выбора наиболее репрезентативного изображения для сниппета.
• Мобильный поиск: Патент упоминает, что система полезна для мобильных устройств с ограниченным размером экрана, где важно показать самые качественные результаты в топе.

Когда применяется

• Условия применения: Применяется всякий раз, когда необходимо упорядочить набор медиафайлов по качеству, авторитетности или репрезентативности.
• Частота применения: Может применяться как офлайн (периодический пересчет для всего индекса или категорий), так и в реальном времени (динамический расчет для результатов конкретного запроса).
• Пороговые значения: Используется порог (Cutoff Point) в Conversion Function. Если сходство превышает порог (например, 0.8 в примере из патента), вероятность перехода резко снижается для борьбы с дубликатами.

Пошаговый алгоритм

Процесс А: Расчет Ranking Scores на основе схожести контента

1. Подготовка (Офлайн/Индексирование):
   • Для каждого объекта извлекаются и сохраняются Image Features.
   • Рассчитываются и сохраняются метрики Quality(A) и LINKSIM(A,B).
2. Получение набора объектов: Система получает набор объектов для ранжирования (например, результаты поискового запроса).
3. Расчет метрик схожести: Для каждой пары объектов (A, B) в наборе рассчитывается Content-based Similarity Metric путем сравнения их признаков.
4. Конвертация в Вероятности Перехода:
   • Метрики схожести преобразуются в Transitional Probabilities $P(A\rightarrow B)$.
   • Применяется Conversion Function, которая штрафует значения схожести выше порога (Cutoff Point), чтобы снизить вероятность перехода к дубликатам.
5. Пост-обработка и Модификация:
   • Вероятности корректируются с учетом Quality(A) и LINKSIM(A,B). Патент предлагает формулу: $P(A\rightarrow B) \approx \text{Quality}(A) \cdot \text{LINKSIM}(A,B) \cdot \text{SIMILARITY}(A,B)$.
   • Вероятности нормализуются.
6. Расчет Ranking Scores (VisualRank): Система использует матрицу модифицированных Transitional Probabilities для расчета итоговых оценок ранжирования. Это делается путем решения Марковской сети (аналогично PageRank), например, путем нахождения главного собственного вектора (dominant eigenvector) матрицы переходов.
7. Применение оценок: Полученные Ranking Scores используются для упорядочивания объектов при показе пользователю.

Процесс Б: Расчет на основе Click-data

1. Сбор данных: Система собирает Click-data, фиксируя последовательности кликов пользователей.
2. Расчет Вероятностей Перехода: Transitional Probabilities рассчитываются напрямую из Click-data. Например, если после просмотра A пользователи перешли к B в 10% случаев, то $P(A\rightarrow B) = 0.10$. (Эти вероятности также могут быть модифицированы, как в шаге 5 Процесса А).
3. Расчет Ranking Scores: Аналогично шагу 6 Процесса А.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные признаки): Это основные данные для расчета схожести. Используются Image Features: гистограммы интенсивности, цвета, краев, текстуры; вейвлет-анализ; инвариантные признаки, такие как SIFT (Scale-Invariant Feature Transform).
• Поведенческие факторы (Click-data): Последовательности кликов и просмотров объектов пользователями в рамках одной сессии. Используются для расчета или корректировки Transitional Probabilities.
• Технические факторы (Качество): Метрики технического качества изображения: резкость, насыщенность (для Quality(A)).
• Контекстные и Ссылочные факторы (URL Analysis): URL-адреса страниц, на которых размещены объекты, и структура гиперссылок между этими страницами. Используется для расчета LINKSIM(A,B).

Какие метрики используются и как они считаются

• Content-based Similarity Metric: Рассчитывается путем сравнения Image Features двух объектов с использованием функций сравнения.
• Quality(A) (Независимое качество): Метрики, оценивающие техническое качество объекта (резкость, насыщенность).
• LINKSIM(A,B) (Контекстуальная схожесть): Оценка схожести на основе анализа URL и связей между хост-страницами (документами).
• Transitional Probability $P(A\rightarrow B)$: Рассчитывается одним из способов или их комбинацией:
  • Из Similarity Metric через Conversion Function (с порогом отсечения дубликатов).
  • Напрямую из Click-data.
  • Путем обязательной модификации базовой вероятности с помощью Quality(A) и LINKSIM(A,B).
• Ranking Score (VisualRank): Итоговая метрика. Рассчитывается как решение уравнения, где оценки ранжирования являются главным собственным вектором матрицы Transitional Probabilities (аналогично расчету PageRank).

1. VisualRank как аналог PageRank для медиа: Google применяет принципы анализа ссылок для ранжирования объектов без явных ссылок (изображений, видео). Это позволяет определить «авторитетность» медиафайла в сети похожих объектов.
2. Виртуальные ссылки многофакторны и учитывают контекст: Основой для виртуальных ссылок (Transitional Probabilities) являются не только визуальная схожесть или Click-data. Они обязательно модифицируются с учетом технического качества объекта (Quality(A)) и контекста размещения на сайте/в сети (LINKSIM(A,B) / URL Analysis).
3. Критический механизм: Штраф за избыточность (Anti-Redundancy): Система намеренно снижает вероятность перехода к объектам, которые слишком похожи (почти дубликаты). Conversion Function с точкой отсечения (Cutoff Point) гарантирует, что предпочтение отдается похожим, но различным результатам.
4. Поведение пользователей формирует связи: Если пользователи часто просматривают объекты A и B последовательно, между ними формируется сильная виртуальная связь, что делает Click-data мощным сигналом ранжирования.
5. Контекст размещения критически важен (Claim 1): Объекты, размещенные на авторитетных сайтах или на страницах, тесно связанных ссылками, получают более сильную связь благодаря LINKSIM(A,B). Это подчеркивает важность авторитетности хост-страницы и структуры сайта для Image SEO.

Best practices (это мы делаем)

• Создавайте уникальные и разнообразные медиафайлы: Поскольку система штрафует избыточность (дубликаты), крайне важно создавать уникальный визуальный контент. Если вы освещаете продукт, используйте разные ракурсы и детали, а не небольшие вариации одного и того же кадра, чтобы избежать попадания под Cutoff Point.
• Оптимизируйте техническое качество изображений: Используйте резкие, хорошо экспонированные и насыщенные изображения. Фактор Quality(A) (резкость, насыщенность) напрямую влияет на Transitional Probability и, следовательно, на итоговый VisualRank.
• Размещайте изображения на авторитетных и связанных страницах: Контекст размещения критичен (LINKSIM / URL Analysis). Размещайте ключевые изображения на сильных страницах сайта и используйте четкую структуру URL и перелинковку. Изображения на тесно связанных страницах усиливают друг друга.
• Стимулируйте вовлеченность пользователей (Engagement): Поскольку Click-data является источником для расчета виртуальных ссылок, необходимо оптимизировать изображения для получения кликов в поиске (CTR) и стимулировать дальнейшее взаимодействие (например, просмотр связанных изображений в галереях). Последовательности кликов укрепляют виртуальные ссылки.

Worst practices (это делать не надо)

• Использование стандартных стоковых или чужих изображений: Использование тех же изображений, что и у конкурентов (например, стандартных фотографий товара от производителя), рискованно. Из-за высокой схожести такие изображения могут попасть под штраф за избыточность (Cutoff Point).
• Создание почти дубликатов: Генерация множества изображений с минимальными изменениями (например, небольшое изменение цвета или размера) неэффективна, так как система идентифицирует их как слишком похожие.
• Игнорирование технического качества: Размещение размытых, тусклых или плохо обрезанных изображений приведет к низким оценкам Quality(A) и снизит итоговый VisualRank.
• Изоляция изображений на сайте: Размещение важных изображений на страницах-сиротах, слабых страницах или в глубине структуры сайта ослабляет сигнал LINKSIM(A,B).

Стратегическое значение

Этот патент подтверждает, что ранжирование медиафайлов — это сложный процесс, выходящий далеко за рамки анализа тегов ALT и окружающего текста. Google активно использует машинное зрение, поведенческие данные и анализ контекста размещения (URL analysis) для определения авторитетности изображений и видео. Стратегия SEO должна включать создание уникального, высококачественного визуального контента, его правильное размещение на сайте и оптимизацию пользовательского опыта.

Практические примеры

Сценарий: Ранжирование изображений товара в E-commerce (VisualRank в действии)

1. Ситуация: 20 интернет-магазинов продают одну модель кроссовок. 18 из них используют стандартные фотографии от производителя. 2 магазина сделали собственные уникальные студийные фотографии высокого качества и разместили их на сильных карточках товара.
2. Анализ схожести и Конвертация: Система определяет высокую схожесть между 18 стандартными фотографиями и применяет штраф за избыточность (Cutoff Point), ослабляя виртуальные ссылки между ними. Уникальные фото достаточно различны, чтобы избежать штрафа.
3. Модификация (Quality и LINKSIM): Уникальные фотографии имеют высокое техническое качество (Quality(A)) и размещены на сильных страницах (высокий LINKSIM). Эти факторы значительно усиливают их Transitional Probabilities.
4. Влияние Click-data: Если пользователи также часто кликают на уникальные фото (Click-data), это дополнительно укрепляет виртуальные ссылки, ведущие к ним.
5. Результат (VisualRank): Уникальные, высококачественные фотографии с хорошим контекстом размещения получают значительно более высокий Ranking Score и ранжируются выше в Google Images и Product Search, чем стандартные фото.