Как Google использует IDF и CTR для выбора языка перевода запросов в поиске по картинкам и видео (CLIR)

Термины и определения

Visual Media Search (Поиск по визуальным медиа)

Поиск, ориентированный на нетекстовый контент: изображения, видео, интерактивные медиа. Патент фокусируется именно на этом типе поиска.

Corpus (Корпус документов)

Коллекция документов и медиа, проиндексированная поисковой системой и ассоциированная с определенным языком.

Inverse Document Frequency (IDF) (Обратная частота документа)

Статистическая мера, используемая для оценки распространенности термина в Corpus. В патенте используется как основная метрика (score) для выбора языка перевода. Высокий IDF означает редкий термин, низкий IDF — частый термин.

Acceptable Range (Приемлемый диапазон)

Диапазон значений IDF, ограниченный двумя порогами. Термин должен быть не слишком частым и не слишком редким, чтобы язык был выбран для перевода.

Quality of Results Statistic (Статистика качества результатов)

Метрика, оценивающая предполагаемую полезность или релевантность результатов для переведенного запроса. Используется для ранжирования.

Click Through Rate (CTR) (Показатель кликабельности)

Основной пример Quality of Results Statistic. Мера того, как часто пользователи кликают на результаты после ввода запроса, достаточно похожего на переведенный.

Dwell Time (Время пребывания)

Альтернативный пример Quality of Results Statistic. Время, которое пользователь тратит на просмотр результата поиска после клика.

Confidence Bins (Корзины уверенности)

Дискретные категории (например, "высокая уверенность"), используемые для классификации качества переведенного запроса на основе его Quality of Results Statistic.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод кросс-язычного поиска медиаконтента с выбором языка.

1. Система получает первый поисковый запрос на первом языке.
2. Для каждого из множества разных языков выполняется: (i) перевод терминов исходного запроса; (ii) определение оценки (score), измеряющей распространенность каждого переведенного термина в корпусе этого языка.
3. Выбор второго языка происходит в ответ на определение того, что хотя бы одна из оценок находится между первым и вторым пороговыми значениями (т.е. термин не слишком частый и не слишком редкий – Acceptable Range).
4. Генерируется второй запрос (перевод на второй язык).
5. Генерируется объединенный поисковый запрос (combined search query), использующий исходный и второй запросы.
6. Получается финальная группа результатов. Ранжирование результатов основано частично на Quality of Results Statistic для второго (переведенного) запроса.

Ядро изобретения — двухэтапная валидация: выбор языка через анализ частотности (IDF) и ранжирование через анализ качества (CTR).

Claim 5 (Зависимый от 1): Уточняет, что оценка распространенности (score) — это Inverse Document Frequency (IDF) термина в соответствующем корпусе.

Claim 2 и 3 (Зависимые от 1): Уточняют, что языки рассматриваются в определенном порядке. Этот порядок основан на убывании размера корпуса (descending size of the corpus), связанного с каждым языком. Система отдает приоритет языкам с большим объемом контента.

Claim 6 (Зависимый от 1): Описывает возможность выбора дополнительных языков (например, третьего языка) по тем же критериям и включения их результатов в выдачу с учетом их собственной Quality of Results Statistic.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры и применяется специфично в системах поиска визуального медиа (Image Search, Video Search).

INDEXING – Индексирование и извлечение признаков
На этом этапе выполняются предварительные вычисления, необходимые для работы системы:

• Формирование языковых корпусов и определение их размеров.
• Расчет IDF для всех терминов в каждом корпусе.
• Агрегация поведенческих данных и расчет CTR / Dwell Time для запросов на разных языках.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения. При получении Visual Media Search Query активируется механизм CLIR:

1. Система определяет порядок проверки языков (по размеру корпуса).
2. Выполняется итеративный процесс перевода и проверки IDF для выбора наилучшего языка перевода.
3. Извлекается Quality of Results Statistic (CTR) для переведенного запроса.

RANKING / METASEARCH – Ранжирование / Метапоиск и Смешивание
Генерируется и выполняется объединенный запрос. На этапе смешивания (Blending) и финального ранжирования система корректирует вес результатов, полученных через перевод, используя Quality of Results Statistic (или Confidence Bins).

Входные данные:

• Исходный Visual Media Search Query.
• Данные IDF для разных языковых корпусов.
• Данные Quality of Results Statistic (CTR/Dwell Time) для запросов.

Выходные данные:

• Объединенный набор результатов поиска (смешанная выдача на разных языках) с скорректированными оценками ранжирования.

На что влияет

• Типы контента: Влияет строго на Visual Media (поиск по картинкам, видео). Патент подчеркивает, что визуальный контент часто понятен вне зависимости от языка описания.
• Специфические запросы: Наибольшее влияние на запросы о сущностях, событиях или концепциях, которые имеют разную популярность в разных языках (например, поиск локальных достопримечательностей или специфических продуктов на неродном языке).

Когда применяется

• Триггеры активации: Механизм активируется специфично для Visual Media Search Queries.
• Условия работы: Ключевое условие — нахождение языка, в котором переведенные термины имеют IDF в допустимом диапазоне (Acceptable Range).
• Пороговые значения: Критически важны два порога для IDF: нижний порог отсекает слишком частые термины (стоп-слова), верхний порог отсекает слишком редкие термины (концепция не представлена в языке).

Пошаговый алгоритм

1. Получение запроса: Система получает Visual Media Search Query на Языке 1.
2. Сортировка языков: Идентифицируется и упорядочивается список потенциальных языков для перевода по убыванию размера корпуса.
3. Итерация по языкам: Система начинает перебор языков (Язык N) по списку.
4. Перевод: Исходный запрос переводится на Язык N.
5. Оценка частотности (IDF): Для каждого переведенного термина определяется его IDF в корпусе Языка N.
6. Проверка порогов (Валидация языка): Система проверяет, находятся ли оценки IDF в допустимом диапазоне (Acceptable Range).
   • Если ДА: Язык N выбирается. Процесс итерации останавливается (или продолжается для поиска дополнительных языков, согласно Claim 6). Переход к шагу 7.
   • Если НЕТ: Система переходит к следующему языку (Шаг 3).
7. Получение статистики качества: Для переведенного запроса на Языке N извлекается Quality of Results Statistic (например, CTR). Она может быть категоризирована в Confidence Bins.
8. Генерация объединенного запроса: Создается финальный запрос, комбинирующий исходный и переведенный запросы с учетом статистики качества.
9. Выполнение поиска и Ранжирование: Генерируется финальная группа результатов. Ранжирование результатов, соответствующих переведенному запросу, корректируется на основе его Quality of Results Statistic.

Какие данные и как использует

Данные на входе

• Контентные/Лингвистические факторы: Термины исходного запроса. Статистические данные корпусов документов на разных языках (для расчета IDF). Словари или модели машинного перевода.
• Поведенческие факторы: История поисковых запросов пользователей (user search history). Данные о кликах (для расчета CTR). Данные о времени просмотра результатов (для расчета Dwell Time). Популярность запроса.
• Географические/Пользовательские факторы: Местоположение пользователя (IP-адрес, настройки, доменная зона) может использоваться для сегментации данных при расчете CTR (например, учитывать CTR только от пользователей из региона, где говорят на языке перевода).

Какие метрики используются и как они считаются

1. Inverse Document Frequency (IDF):

   Используется для выбора языка. Формула, описанная в патенте (Col 4, lines 10-14):

   $IDF(term) = log\left(\frac{\text{Общее число документов в корпусе}}{\text{Число документов, содержащих термин}}\right)$

2. Пороги IDF (Acceptable Range):

   Используются для валидации языка. Определяются эмпирически. Язык выбирается, если IDF переведенных терминов находится между нижним и верхним порогом (Claim 1).

3. Quality of Results Statistic (QRS):

   Используется для ранжирования. Основная метрика — CTR. Формула (Col 6, line 65 - Col 7, line 4):

   $CTR(query) = \frac{\text{Количество кликов по результатам}}{\text{Общее количество отправок запроса}}$

   Также могут использоваться Dwell Time и популярность запроса.

4. Confidence Bins (Корзины уверенности):

   Система может использовать дискретные значения вместо непрерывных значений QRS. Например, CTR может быть преобразован в категории: «очень низкая уверенность», «низкая», «средняя», «высокая» (Col 7, lines 58-67). Эти категории используются при ранжировании.

1. CLIR как ключевой компонент визуального поиска: Google активно использует кросс-язычный поиск (CLIR) для Visual Media Search, признавая, что ценность изображений и видео часто не зависит от языка описания.
2. Выбор языка основан на статистике корпуса (IDF): Система не переводит запрос на случайные языки. Выбор целевого языка строго контролируется через IDF. Перевод используется, только если концепция адекватно представлена в языке (термины не слишком редки) и различима (термины не слишком часты).
3. Приоритет языков с большими корпусами: Система предпочитает проверять языки с большим объемом индекса (например, английский) в первую очередь (Claim 3), что увеличивает потенциальное количество найденных результатов.
4. Поведенческие факторы валидируют перевод и определяют ранжирование: Ранжирование результатов, найденных через перевод, критически зависит от Quality of Results Statistic (CTR, Dwell Time). Только если пользователи активно взаимодействуют с результатами на целевом языке, эти результаты получат высокий ранг в смешанной выдаче.
5. Глобальная видимость локального контента: Этот механизм позволяет контенту, оптимизированному на одном языке, достигать глобальной аудитории без прямой локализации, при условии высокого качества и вовлеченности.

Best practices (это мы делаем)

• Оптимизация медиа на доминирующих языках: Обеспечьте качественную оптимизацию метаданных (alt-текст, заголовки, окружающий текст) визуального контента на языке, где ваша тематика наиболее популярна (часто это английский). Это увеличивает вероятность того, что ваш контент будет найден через механизм CLIR по запросам на других языках.
• Фокус на повышении CTR и Dwell Time: Работайте над привлекательностью сниппетов изображений и видео. Высокие поведенческие метрики на основном языке служат сигналом Quality of Results Statistic, который напрямую влияет на ранжирование этого контента при кросс-язычном поиске.
• Использование общепринятой терминологии: Описывайте контент, используя стандартные, четкие термины. Это повышает вероятность того, что IDF термина попадет в "допустимый диапазон" (Acceptable Range), и система выберет этот язык для перевода.
• Точное описание глобальных сущностей: Если контент описывает глобально известные сущности (бренды, локации, события), используйте их общепринятые названия на ключевых языках, чтобы максимизировать охват через CLIR.

Worst practices (это делать не надо)

• Игнорирование английского языка (если он доминирует в нише): Оптимизация медиа только на локальном языке. Это ограничивает охват, так как система часто предпочитает переводить на языки с большими корпусами и может не найти достаточного количества качественного локального контента.
• Использование слишком редких или жаргонных терминов: Описание контента терминами, которые используются крайне редко (слишком высокий IDF). Система может не посчитать язык подходящим для перевода, так как концепция в нем слабо представлена.
• Использование слишком общих слов: Описание контента только общими словами (слишком низкий IDF). Система отфильтрует такой перевод, чтобы избежать нерелевантных результатов (шума).
• Манипуляции с метаданными (Keyword Stuffing): Переспам в описаниях и alt-текстах может снизить CTR, что приведет к понижению в ранжировании при кросс-язычном поиске из-за низкого Quality of Results Statistic.

Стратегическое значение

Патент демонстрирует, что в поиске визуального контента границы между языками стираются. Контент конкурирует глобально. Для Senior SEO-специалистов это подчеркивает стратегическую важность International SEO и механизмов CLIR. Анализ семантики и конкуренции должен учитывать, как ключевые концепции представлены на доминирующих языках, и выстраивать стратегию оптимизации с учетом потенциального глобального охвата через автоматический перевод запросов.

Практические примеры

Сценарий: Оптимизация изображений для международного туристического сайта (на основе примера из патента FIG. 2 и FIG. 3)

1. Задача: Сайт на итальянском языке публикует фотографии Пизанской башни. Необходимо привлечь трафик из других стран.
2. Действие на основе патента:
   • Изображения оптимизируются под запрос "torretta di inclinazione famosa di Pisa" на итальянском языке.
   • Проводится работа над качеством статьи и привлекательностью изображений для максимизации CTR в итальянской выдаче (в патенте указан пример высокого CTR 0.935).
3. Работа механизма Google: Пользователь в Португалии ищет "torre inclinada famosa de Pisa". Google анализирует языки. Итальянский язык (имеющий большой корпус) рассматривается. Перевод проходит проверку IDF (термины находятся в Acceptable Range). Система видит высокий CTR для итальянского запроса (высокий Quality of Results Statistic).
4. Ожидаемый результат: Итальянская страница сайта подмешивается с высоким ранжированием в португальскую выдачу поиска по картинкам.