Как Google использует визуальное сходство изображений для проверки качества перевода и улучшения кросс-язычного поиска (CLIR)

Термины и определения

Candidate Translation / Candidate Related Phrases (Кандидат перевода / Кандидатные связанные фразы)

Предполагаемый перевод исходной фразы на другой язык или связанная фраза (в том же или другом языке), которая требует валидации концептуального соответствия.

Click Data (Данные о кликах)

Данные о поведении пользователей, показывающие, как часто пользователи выбирают определенный результат поиска. Используются для выбора репрезентативных VMSR.

Cross-Lingual Information Retrieval (CLIR) (Кросс-язычный информационный поиск)

Процесс поиска информации, написанной на языке, отличном от языка запроса пользователя.

Dwell Time (Время пребывания)

Время, которое пользователь проводит за просмотром результата поиска после клика. Используется при расчете Quality of Results Statistic.

Feature Score (Оценка признака)

Численная оценка визуального сходства между двумя отдельными изображениями (парой), основанная на сравнении их визуальных признаков (цвет, форма, текстура и т.д.).

Quality of Results Statistic (Статистика качества результатов)

Метрика, оценивающая качество или полезность поисковой выдачи для данного запроса. Основывается на данных о поведении пользователей (например, CTR, Dwell Time).

Similarity Score (Оценка сходства)

Агрегированная метрика, оценивающая общую визуальную схожесть между набором VMSR для исходной фразы и набором VMSR для кандидата перевода.

Translation Validator (Валидатор перевода)

Система, описанная в патенте, которая проверяет точность переводов или связанных фраз.

Visual Media Search Results (VMSR) (Результаты поиска по визуальным медиа)

Изображения, видео или другие визуальные объекты, возвращаемые поисковой системой в ответ на текстовый запрос.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод валидации перевода, включая двойную проверку.

1. Система получает фразу (Язык A) и кандидатов перевода (Язык B).
2. Получается первая группа VMSR (для фразы) и вторая группа VMSR (для кандидата).
3. Для каждого кандидата генерируется Quality of Results Statistic. Эта статистика оценивает качество поисковой выдачи по запросу, соответствующему кандидату.
4. Для каждого кандидата вычисляется Similarity Score (оценка визуального сходства между первой и второй группой VMSR).
5. Выбор кандидатов основывается одновременно на их Similarity Score И их Quality of Results Statistic.
6. Выбранные кандидаты ассоциируются с фразой как валидные переводы.

Критически важный момент: Валидация требует соответствия двум критериям одновременно — визуальному сходству И качеству выдачи по переводу. Перевод не будет валидирован, если он ведет на низкокачественную выдачу.

Claim 2 (Зависимый от 1): Детализирует расчет Similarity Score.

1. Генерируются Feature Scores для пар VMSR (один из первой группы, один из второй). Feature Score оценивает визуальное сходство конкретной пары.
2. Итоговый Similarity Score генерируется на основе агрегации этих Feature Scores.

Claim 5 (Зависимый от 1): Уточняет метод выбора VMSR.

Группы VMSR идентифицируются на основе данных, указывающих на поведение пользователей (data indicative of user behavior), т.е. Click Data. Для сравнения берутся наиболее востребованные пользователями (кликабельные) изображения.

Claim 6 (Зависимый от 1): Описывает применение валидированного перевода (CLIR).

1. Система получает новый поисковый запрос, соответствующий исходной фразе.
2. Идентифицируются ранее валидированные переводы.
3. Генерируется набор поисковых результатов, основанный как на исходном запросе, так и на валидированных переводах (смешивание кросс-язычной выдачи).

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, фокусируясь на понимании запросов и расширении поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходят офлайн-процессы:

• Извлечение и индексация визуальных признаков (features) из изображений и видео.
• Анализ журналов поиска и агрегация поведения пользователей (User Search Histories, Click Data) для определения популярности результатов.

QUNDERSTANDING – Понимание Запросов
Это основная область применения. Система использует описанный механизм для построения базы данных валидированных переводов (Translation Database). Это улучшает понимание соответствия между терминами в разных языках на основе визуальных данных (Visual Grounding). Также этот механизм используется для расширения запроса (Query Expansion) в рамках CLIR и потенциально для генерации подсказок (Query Suggestions).

METASEARCH – Метапоиск и Смешивание
Применение валидированных переводов (Claim 6). Когда пользователь вводит запрос, система может идентифицировать валидный перевод и выполнить параллельный поиск по обоим запросам в соответствующих языковых индексах, а затем смешать (Blending) результаты для улучшения полноты выдачи.

Входные данные:

• Исходная фраза и кандидаты перевода.
• User Search Histories (включая Click Data и Dwell Time).
• Индекс визуальных медиа с извлеченными визуальными признаками.

Выходные данные:

• Валидированные переводы, сохраненные в Translation Database.
• (При использовании в CLIR): Расширенный набор поисковых результатов, включающий контент на разных языках.

На что влияет

• Конкретные типы контента: В первую очередь влияет на поиск по изображениям и видео (Visual Search). Также влияет на веб-поиск через механизм кросс-язычного смешивания результатов.
• Специфические запросы: Наиболее эффективно для запросов, связанных с конкретными, визуально представимыми концепциями (объекты, места, животные, продукты). Менее эффективно для абстрактных понятий.
• Конкретные ниши: E-commerce (названия продуктов), туризм (достопримечательности), международные сайты.
• Языковые и географические ограничения: Специально разработано для преодоления языковых барьеров и улучшения международного поиска.

Когда применяется

• Офлайн-процесс: Система периодически анализирует фразы и генерирует/обновляет базу данных валидированных переводов.
• Онлайн-процесс (CLIR): Когда пользователь вводит запрос, система может использовать ранее валидированный перевод для расширения поиска. Это особенно актуально, если результатов на языке пользователя недостаточно или если концепт более популярен на другом языке.

Пошаговый алгоритм

Процесс валидации перевода

1. Получение входных данных: Система получает исходную фразу (P) и кандидата перевода (T).
2. Выбор репрезентативных VMSR:
   1. Анализируются User Search Histories для запросов P и T.
   2. Выбираются топовые VMSR для P (Группа 1) и T (Группа 2) на основе Click Data (наиболее кликабельные изображения).
3. Расчет Quality of Results Statistic: Для запроса T вычисляется метрика качества выдачи, основанная на поведении пользователей (например, CTR, Dwell Time).
4. Расчет визуального сходства (Similarity Score):
   1. Генерация Feature Scores: Для каждой пары изображений (одно из Группы 1, одно из Группы 2) рассчитывается Feature Score на основе сравнения векторов визуальных признаков.
   2. Агрегация: Feature Scores агрегируются (например, путем усреднения топовых оценок) для получения общего Similarity Score.
5. Валидация и Выбор: Кандидат T считается валидным переводом P, если И Similarity Score удовлетворяет первому порогу, И Quality of Results Statistic удовлетворяет второму порогу.
6. Сохранение: Валидированный перевод сохраняется в Translation Database.

Какие данные и как использует

Данные на входе

Патент явно указывает на использование следующих типов данных:

• Поведенческие факторы: Критически важные данные. Используются User Search Histories для анализа взаимодействия пользователей с результатами поиска. Конкретно используются:
  • Click Data: Частота выбора результатов. Используется для выбора репрезентативных VMSR.
  • Dwell Time: Время просмотра результата (упоминаются "short clicks", "medium clicks", "long clicks"). Используется для расчета Quality of Results Statistic.
  • Click Through Rate (CTR): Используется как возможная реализация Quality of Results Statistic.
• Мультимедиа факторы: Визуальные признаки (features), извлеченные из VMSR. Упоминаются: цвета, формы, края, углы, ключевые точки. Для извлечения используются алгоритмы типа Canny, SIFT, SURF, GLOH и т.д.

Какие метрики используются и как они считаются

• Feature Score: Оценка сходства между двумя изображениями. Рассчитывается путем сравнения векторов визуальных признаков. В патенте приводится пример использования косинусного расстояния (Cosine distance) между векторами признаков X и Y:

  $\text{Cosine Distance} = \frac{X \cdot Y}{\|X\| \cdot \|Y\|}$

  Также упоминаются расстояние Хэмминга, индекс Жаккара и Евклидово расстояние.
• Similarity Score: Агрегированная оценка сходства между двумя наборами изображений. Рассчитывается путем агрегации Feature Scores. Методы включают усреднение топовых Feature Scores для снижения влияния выбросов.
• Quality of Results Statistic: Оценка качества выдачи по запросу. Рассчитывается на основе анализа поведения пользователей (CTR или анализ Dwell Time).

1. Визуальные сигналы как валидатор семантики (Visual Grounding): Google использует визуальное сходство как объективный, язык-независимый метод для подтверждения того, что фразы на разных языках (или даже в одном языке) означают одно и то же. Изображения служат мостом между языками.
2. Поведение пользователей определяет значение: Система полагается на Click Data для определения того, какие изображения лучше всего представляют значение фразы. Изображения, на которые чаще кликают в Image Search, становятся "визуальным определением" запроса.
3. Двойная валидация перевода (Сходство + Качество): Для валидации перевода недостаточно только визуального сходства (Similarity Score). Необходимо также, чтобы выдача по переведенному запросу была качественной и полезной пользователям (Quality of Results Statistic).
4. Цель — улучшение CLIR: Основное применение патента — это улучшение кросс-язычного поиска. Система позволяет расширять запрос пользователя точным переводом для поиска релевантного контента на других языках.
5. Разрешение неоднозначности (Полисемия): Механизм помогает бороться с неоднозначностью слов, используя визуальный контекст. Например, система может отличить "mouse" (животное) от "mouse" (устройство) по внешнему виду результатов и валидировать перевод только для соответствующего значения.

Best practices (это мы делаем)

• Обеспечение визуальной консистентности (International SEO): Для ключевых концепций, продуктов и брендов необходимо поддерживать согласованное визуальное представление на всех языковых версиях сайта. Если изображение продукта на французском сайте визуально идентично изображению на английском, это увеличивает Similarity Score между соответствующими запросами и укрепляет связь между переводами.
• Оптимизация изображений под репрезентативность и CTR: Необходимо стремиться к тому, чтобы именно ваши изображения становились репрезентативными VMSR для ключевых запросов. Используйте четкие, высококачественные и привлекательные изображения, которые явно иллюстрируют концепцию запроса, чтобы максимизировать их Click Data в Image Search.
• Четкая визуальная релевантность: Обеспечьте сильную корреляцию между текстовым контентом и размещенными изображениями. Визуальный контент должен однозначно иллюстрировать тему. Это помогает системе правильно интерпретировать значение ваших ключевых слов через визуальные данные.
• Мониторинг выдачи Image Search на разных рынках: Анализируйте, какие изображения ранжируются по вашим ключевым запросам в разных странах. Если наборы изображений визуально сильно различаются, это сигнал о том, что Google может не устанавливать прочную семантическую связь между этими терминами.

Worst practices (это делать не надо)

• Использование нерелевантных или общих стоковых фото: Размещение изображений, которые слабо связаны с темой, ухудшает способность системы понять контекст страницы через визуальные данные и не поможет в процессе валидации ваших ключевых фраз.
• Кликбейт в Image Search: Использование изображений, оптимизированных для привлечения кликов, но не соответствующих содержанию. Это может привести к низким показателям Quality of Results Statistics (например, низкий Dwell Time), что повредит валидации согласно Claim 1.
• Использование радикально разного визуального стиля для одного объекта: Если компания использует совершенно разные фотографии для одного и того же продукта на разных рынках без четкой связи, это может снизить Similarity Score и затруднить кросс-язычную ассоциацию.

Стратегическое значение

Патент подтверждает стратегию Google по переходу от анализа текста к пониманию концепций, используя мультимодальные данные. Визуальный контент является ключевым элементом этой стратегии, выступая в роли универсального "языка". Для SEO это означает, что оптимизация визуального контента — это не просто получение трафика из картинок, но и важный элемент для улучшения семантического понимания всего сайта, особенно в международном контексте. Успех в Image Search может влиять на общее понимание запросов (Query Understanding).

Практические примеры

Сценарий: Оптимизация карточки товара для международного E-commerce

1. Задача: Интернет-магазин продает модель кроссовок "Nebula X1" по всему миру и хочет убедиться, что Google установил связь между запросами "Nebula X1 sneakers" (EN) и "baskets Nebula X1" (FR).
2. Действия SEO-специалиста:
   1. Обеспечить, чтобы в обеих языковых версиях использовались высококачественные, идентичные или очень похожие фотографии продукта.
   2. Оптимизировать Alt-текст и окружающий контент на соответствующих языках для повышения ранжирования в Image Search.
3. Механизм Google: Пользователи в обеих странах кликают на эти консистентные изображения. Они становятся репрезентативными VMSR для обоих запросов. Система валидации сравнивает эти VMSR и видит высокий Similarity Score и хороший Quality of Results Statistic.
4. Результат: Перевод валидирован. Если пользователь во Франции ищет "Nebula X1 sneakers" (на английском), Google может использовать CLIR и подмешать результаты из французского индекса (используя валидный перевод "baskets Nebula X1"), улучшая выдачу и повышая видимость товара.