Как Google использует последовательность кликов пользователей (Co-selection) для классификации изображений и фильтрации контента (SafeSearch)

Термины и определения

Co-selected Image (Совместно выбранное изображение)

Изображение, выбранное пользователем в рамках той же сессии, что и эталонное изображение, и после него.

Co-selection Data (Данные о совместном выборе)

Данные, определяющие частоту или скорость последовательного выбора пар изображений. Могут быть представлены в виде Co-selection Matrix.

Label Feedback (Обратная связь по меткам)

Данные от пользователей или асессоров, подтверждающие точность метки для изображения. Используется для валидации эталонных изображений и определения их веса (reference weight).

Reference Image (Эталонное изображение)

Изображение, которое предварительно классифицировано и имеет известную тему (reference topic). Служит отправной точкой для классификации.

Reference Label (Эталонная метка)

Метка (текст или флаг), определяющая тему эталонного изображения (например, "explicit content").

Stop Condition (Условие остановки)

Критерий для завершения итеративного процесса расчета Topic Scores. Например, когда изменения оценок минимальны (сходимость) или достигнуто максимальное число итераций.

Topic Score (Оценка темы)

Показатель, представляющий вероятность принадлежности изображения к определенной теме. Рассчитывается на основе частоты и близости (proximity) совместного выбора с эталонными изображениями.

User Session (Пользовательская сессия)

Период времени или последовательность действий, в течение которых выборы изображений ассоциируются с общим идентификатором сессии.

Weighted Graph (Взвешенный граф)

Структура данных, где узлы (nodes) представляют изображения, а ребра (edges) — последовательные выборы. Вес ребра (edge weight) отражает частоту таких выборов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод классификации на основе совместного выбора.

1. Система получает эталонную текстовую метку (reference text label) для эталонного изображения (reference image), определяющую Первую тему.
2. Идентифицируется совместно выбранное изображение (co-selected image). Условие: оно было показано и выбрано пользователем в той же сессии, что и эталонное изображение.
3. Генерируется оценка темы (topic score) для совместно выбранного изображения. Оценка основана на количестве сессий, в которых пользователь взаимодействовал с обоими изображениями.
4. Совместно выбранному изображению присваивается метка Первой темы, если его topic score соответствует порогу.

Claim 2 (Зависимый): Вводит ограничение по времени (близость выбора).

В качестве co-selected images учитываются только те изображения, которые были выбраны в пределах порогового периода времени (threshold time period) после выбора эталонного изображения. Это обеспечивает учет только близких по контексту взаимодействий.

Claim 3 (Зависимый): Описывает использование взвешенного графа.

Изображения представляются как узлы во взвешенном графе. Ребра представляют последовательные выборы (sequential selections). Topic score генерируется на основе весов этих ребер.

Claim 11 и 12 (Зависимые): Определяют применение в поиске.

Сгенерированные метки используются для фильтрации (Claim 11) или изменения порядка (Claim 12) результатов поиска по запросу, относящемуся к другой теме (например, для работы SafeSearch).

Claim 13 (Зависимый): Детализирует итеративный процесс генерации Topic Score (распространение меток).

1. Получение начальных topic scores.
2. Получение co-selection data.
3. Итеративное вычисление обновленных topic scores на основе текущих оценок и co-selection data.
4. Процесс повторяется до выполнения условия остановки (stop condition).
5. Финальная классификация на основе итоговых оценок.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, преимущественно в контексте обработки данных и улучшения качества индекса изображений.

CRAWLING & DATA ACQUISITION – Сбор данных
На этом этапе система собирает логи пользовательских сессий (Historical Data), включая идентификаторы сессий, выбранные изображения (клики) и временные метки.

INDEXING – Индексирование и извлечение признаков (Офлайн-обработка)
Основная работа алгоритма (Image Classification Subsystem) происходит здесь:

1. Инициализация: Определение начальных Reference Images и их меток (используя визуальный анализ, текст или ручную разметку).
2. Обработка данных: Анализ логов для идентификации Co-selected Images.
3. Построение модели: Генерация Weighted Graph или Co-selection Matrix.
4. Вычисление оценок: Итеративный расчет Topic Scores (распространение меток).
5. Сохранение: Запись финальных меток в индекс изображений (Indexed Cache).

RANKING / RERANKING – Ранжирование и Переранжирование
На этапе формирования выдачи Search System использует предварительно рассчитанные метки для:

• Фильтрации: Удаление изображений с определенными метками (например, работа SafeSearch).
• Изменения порядка (Reordering): Корректировка позиций изображений на основе их тематической релевантности запросу.

Входные данные:

• Логи пользовательских сессий (клики, таймстампы, session ID).
• Набор Reference Images и их Reference Labels.

Выходные данные:

• Тематические метки (Labels) или Topic Scores, ассоциированные с изображениями в индексе.

На что влияет

• Типы контента: Влияет исключительно на поиск по изображениям (Image Search).
• Специфические запросы: Наибольшее влияние на неоднозначные (ambiguous) запросы, где ключевое слово может относиться к разным темам (например, "Babe", "Apple").
• Конкретные ниши или тематики: Критически важно для разделения контента для взрослых (Pornographic/Explicit content прямо упоминаются в патенте) и безопасного контента (SFW).

Когда применяется

• Триггеры активации (Офлайн): Процесс классификации запускается периодически в офлайн-режиме для обработки накопленных данных о сессиях и обновления Topic Scores.
• Триггеры активации (Ранжирование): Сгенерированные метки используются в реальном времени при обработке запросов к поиску изображений для фильтрации и ранжирования.
• Условия: Для учета совместного выбора клики должны произойти в рамках одной сессии и, как правило, в пределах короткого временного окна (threshold time period).

Пошаговый алгоритм

Патент описывает процесс построения модели взаимодействий и итеративный расчет оценок.

Процесс А: Построение взвешенного графа (Обработка сессий)

1. Инициализация: Определение эталонных изображений и представление их как узлов в графе.
2. Анализ сессий: Обработка исторических данных для идентификации сессий, в которых выбирались изображения.
3. Идентификация последовательностей: В рамках сессии определяются последовательности (клик на Изображение А, затем на Изображение Б).
4. Определение Co-selection: Изображение Б считается совместно выбранным с А, если оно выбрано после А и в пределах порогового времени.
5. Построение/Обновление графа: Создание узлов и ребер между А и Б.
6. Взвешивание ребер: Вес ребра (edge weight) увеличивается при каждом наблюдении А->Б. Вес может корректироваться на основе близости выбора. Патент приводит пример веса $1/(номер\ выбора)$, где первый выбор после эталона имеет вес 1, второй 1/2 и т.д. Также вес может корректироваться уверенностью в теме источника (reference weight).

Процесс Б: Итеративная классификация (Распространение меток)

1. Получение начальных оценок: Определяются начальные Topic Scores. Например, эталонные изображения темы получают 1.0, изображения заведомо другой темы — 0.0, остальные — 0.5 или оценку на основе анализа контента.
2. Получение Co-selection Data: Загружаются данные о совместном выборе, обычно в виде Co-selection Matrix, основанной на весах ребер графа.
3. Итеративное обновление оценок: Вычисляются обновленные Topic Scores как функция текущих оценок и данных о совместном выборе (например, путем умножения вектора оценок на матрицу).
4. Проверка сходимости: Определяется, выполнено ли условие остановки (Stop Condition) — например, изменения оценок минимальны.
   • Если НЕТ: Повторить шаг 3.
   • Если ДА: Перейти к шагу 5.
5. Классификация и маркировка: Изображениям, чья финальная оценка превысила порог, присваивается метка соответствующей темы.

Какие данные и как использует

Данные на входе

Система в первую очередь полагается на поведенческие данные и данные, полученные в результате предварительного анализа.

• Поведенческие факторы (Historical Data):
  • Выборы (Selections/Clicks): Основной сигнал взаимодействия пользователя с изображением.
  • Последовательность выборов (Sequence of selections): Порядок кликов в рамках сессии.
  • Идентификаторы сессий (Session IDs): Для группировки действий одного пользователя.
  • Временные метки (Timestamps): Для определения последовательности и близости (proximity) выборов.
  • Dwell Time: Упоминается как возможный фактор для оценки релевантности (более долгий просмотр = выше релевантность).
• Контентные и Мультимедиа факторы (для инициализации):
  • Визуальные характеристики: Анализ цвета и текстуры для идентификации эталонных изображений (например, подсчет "skin pixels" для определения контента для взрослых).
  • Текст: Текст рядом с изображением, имя файла, анкорный текст. Используются для генерации начальных меток или Initial Topic Scores.
• Пользовательские факторы (для валидации):
  • Label Feedback: Данные от асессоров или пользователей для подтверждения точности меток и определения reference weight.

Какие метрики используются и как они считаются

• Frequency of Co-selection (Частота совместного выбора): Количество раз, когда Изображение Б было выбрано после Изображения А.
• Edge Weight (Вес ребра): Числовое значение в графе, представляющее силу связи между двумя изображениями. Основано на частоте совместного выбора и может корректироваться факторами близости.
• Proximity of Selection (Близость выбора): Измеряется временем или количеством кликов между выборами. Используется для взвешивания (близкий выбор имеет больший вес).
• Reference Weight (Вес эталона): Метрика уверенности в том, что эталонное изображение принадлежит к своей теме. Может использоваться для корректировки веса исходящих ребер.
• Topic Score (Оценка темы): Вероятность принадлежности к теме. Рассчитывается итеративно через распространение меток по графу (например, умножение вектора оценок на матрицу совместного выбора).

1. Поведенческие сигналы как основа классификации: Патент демонстрирует механизм, где последовательность действий пользователя (клики) используется для определения тематики контента. Это позволяет системе преодолевать ограничения текстового и визуального анализа, особенно при неоднозначности.
2. Контекст сессии определяет тематику ("Поведенческое соседство"): Система предполагает, что изображения, просмотренные пользователем подряд в рамках короткой сессии, с высокой вероятностью относятся к одной теме. Тематика изображения определяется тем, какой контент пользователи просматривают вместе с ним.
3. Важность близости выбора (Proximity): Чем быстрее изображение выбрано после эталонного (меньше времени или промежуточных кликов), тем сильнее связь между ними и тем выше вес этого взаимодействия в алгоритме.
4. Итеративное распространение релевантности (Label Propagation): Используется графовый механизм, где тематическая оценка распространяется от известных изображений к неизвестным. Сила распространения зависит от веса ребер (частоты совместных кликов).
5. Ключевой механизм для SafeSearch и качества: Основная цель — улучшение качества выдачи путем фильтрации нерелевантного или чувствительного контента (в патенте явно упоминается порнография), что критично для работы систем фильтрации.

Best practices (это мы делаем)

• Обеспечение тематической целостности галерей и блоков рекомендаций: Убедитесь, что изображения, которые пользователь видит рядом и может выбрать последовательно (галереи, слайдеры, похожие товары), строго относятся к одной теме. Это способствует правильной ассоциации ваших изображений с релевантными эталонами в графе Google через co-selection.
• Оптимизация пути пользователя (User Flow) для Image Search: Структурируйте контент так, чтобы поощрять пользователей к последовательному просмотру тематически связанного визуального контента. Если пользователь перешел из Google Images, предоставьте ему возможность легко перейти к аналогичным изображениям/товарам.
• Четкое разделение SFW и NSFW контента: Если сайт содержит контент разных типов чувствительности, необходимо их строгое разделение. Не допускайте ситуаций, когда безопасный (SFW) контент может быть совместно выбран с контентом для взрослых (NSFW), так как это может привести к "утечке" классификации (принцип "вины по ассоциации") и фильтрации безопасного контента из выдачи.
• Повышение авторитетности изображений (Image Authority): Работайте над тем, чтобы ваши изображения становились эталонными (Reference Images) в своей нише. Это достигается за счет качества, уникальности и сильных текстовых/визуальных сигналов, позволяющих Google уверенно классифицировать их изначально.

Worst practices (это делать не надо)

• Кликбейт и вводящие в заблуждение миниатюры: Использование привлекательных превью, которые ведут к нерелевантному контенту. Это создает шумные данные о совместном выборе и может привести к неправильной классификации исходного изображения, так как контекст сессии пользователя не будет соответствовать контенту.
• Смешивание разнородного контента: Размещение на одной странице или в одном блоке изображений из кардинально разных тематик. Это увеличивает риск случайного совместного выбора и размывает тематический профиль изображений в поведенческом графе.
• Игнорирование контекста использования: Размещение одного и того же изображения в разных тематических контекстах может привести к смешанным поведенческим сигналам и затруднить четкую классификацию.

Стратегическое значение

Патент подтверждает, что Google активно использует сложные поведенческие модели для понимания семантики контента, особенно там, где традиционные сигналы слабы (как в Image Search). Для SEO-стратегии это означает, что оптимизация должна учитывать не только сам контент, но и контекст его потребления. Взаимодействие пользователя с сайтом и в рамках поисковой выдачи напрямую влияет на то, как Google классифицирует его элементы.

Практические примеры

Сценарий 1: Разрешение неоднозначности ("Ягуар")

1. Контекст: Пользователь ищет "Ягуар". Система имеет эталонные изображения для темы "Автомобили" и "Животные".
2. Действие пользователя: Пользователь кликает на Фото 1 (автомобиль), а затем в той же сессии кликает на Фото 2 (другой автомобиль Jaguar) и Фото 3 (Mercedes).
3. Результат: Система фиксирует co-selection. В графе Фото 1, 2 и 3 получают сильные связи с узлами автомобильной тематики. Их Topic Score для темы "Автомобили" растет, позволяя системе уверенно ранжировать их по запросам об автомобилях, а не о животных.

Сценарий 2: Негативное влияние на SafeSearch (Пляжная мода)

1. Контекст: Сайт продает купальники (SFW контент). Система имеет эталонные изображения, помеченные как "Explicit" (NSFW).
2. Действие пользователя: Некоторые пользователи в рамках одной сессии ищут NSFW контент, кликают на эталонные "Explicit" изображения, а затем переходят к просмотру фотографий купальников (возможно, из-за схожести или неоднозначных запросов).
3. Результат: Система фиксирует частый совместный выбор купальников с "Explicit" контентом. Topic Score для темы "Explicit" у изображений купальников превышает порог. Изображения начинают фильтроваться SafeSearch, что приводит к потере трафика.