Как Google использует данные о совместных кликах (Co-Selection) для классификации и фильтрации изображений в Image Search

Описание

Какую задачу решает

Патент решает проблему неточной или неоднозначной классификации изображений, когда традиционные сигналы (визуальный анализ, текст рядом с изображением, метаданные) ненадежны или вводят в заблуждение. Это особенно критично для различения интентов при неоднозначных запросах (в патенте приводится пример запроса «Babe») и для надежной фильтрации нежелательного (explicit) контента в системах типа SafeSearch.

Что запатентовано

Запатентована система классификации изображений, основанная на анализе поведенческих данных о совместном выборе (co-selection data). Система использует «эталонные изображения» (Reference Images) с известной тематикой и распространяет эту тематику на другие изображения, с которыми пользователи часто взаимодействуют в рамках одной и той же поисковой сессии и в ответ на один и тот же запрос.

Как это работает

Механизм основан на предположении, что изображения, совместно выбираемые в рамках одной сессии и одной выдачи, вероятно, принадлежат к одной теме.

• Инициализация: Определяются Reference Images с достоверными метками (Reference Labels).
• Анализ сессий: Система анализирует исторические логи (Historical Data), выявляя сессии, где пользователи взаимодействовали как с эталонным, так и с другим изображением в рамках одной поисковой выдачи.
• Расчет оценки темы: Для совместно выбранных изображений (Co-selected Images) рассчитывается Topic Score — мера релевантности теме эталона, основанная на частоте и временной близости кликов.
• Графовый анализ: Данные моделируются как взвешенный граф (Weighted Graph), где изображения — это узлы, а последовательные клики — это взвешенные ребра.
• Распространение меток: Система использует итеративный процесс (Label Propagation) для распространения Topic Scores по графу.
• Применение: Изображения, чьи оценки превышают порог, маркируются. Эти метки используются для фильтрации или переранжирования выдачи.

Актуальность для SEO

Высокая. Точная классификация визуального контента остается критически важной задачей для Google (Image Search, SafeSearch). Использование агрегированных поведенческих сигналов для разрешения неоднозначности и понимания контекста является фундаментальной частью современных поисковых систем, дополняющей алгоритмы машинного зрения и NLP.

Важность для SEO

Влияние на SEO значительное (7.5/10), преимущественно для Image Search. Патент демонстрирует механизм «вины по ассоциации» (Guilt by Association). Если пользователи часто просматривают ваше изображение в тех же сессиях, что и контент определенной тематики (например, Adult), ваше изображение может унаследовать эту классификацию, даже если оно само по себе безопасно. Это напрямую влияет на видимость и фильтрацию (SafeSearch).

Детальный разбор

Термины и определения

Co-selected Image (Совместно выбранное изображение)

Изображение, с которым пользователь взаимодействовал в течение User Session после взаимодействия с Reference Image. Согласно Claim 1, оба взаимодействия должны произойти с изображениями, представленными в одной выдаче по одному и тому же запросу.

Co-selection Data (Данные о совместном выборе)

Данные, определяющие частоту или скорость последовательного выбора пары изображений. Используются для заполнения Co-selection Matrix или определения весов в Weighted Graph.

Historical Data (Исторические данные)

Логи пользовательских сессий, включающие запросы, показанные результаты и взаимодействия (клики/выборы).

Label Feedback (Обратная связь по меткам)

Данные от пользователей/асессоров, подтверждающие точность меток. Используется для верификации Reference Labels.

Reference Image (Эталонное изображение)

Изображение с предварительно известной и верифицированной тематикой (Topic).

Reference Label (Эталонная метка)

Метка, определяющая тему, к которой принадлежит Reference Image.

Reference Weight (Эталонный вес)

(Упомянут в описании) Мера уверенности системы в точности Reference Label. Может использоваться для корректировки влияния эталонного изображения на другие.

Topic Score (Оценка темы)

Мера релевантности изображения определенной теме. Рассчитывается на основе Co-selection Data.

User Session (Пользовательская сессия)

Период времени или последовательность действий, в течение которого взаимодействия пользователя с изображениями группируются в единый набор.

Weighted Graph (Взвешенный граф)

Структура данных, где изображения — это узлы (Nodes), а последовательные выборы — это ребра (Edges). Вес ребра (Edge Weight) отражает частоту совместного выбора.

Ключевые утверждения (Анализ Claims)

Патент US9594826B2 является продолжением (Continuation) более ранних заявок и имеет специфические ограничения в своих Claims.

Claim 1 (Независимый пункт): Описывает основной метод классификации на основе совместных взаимодействий в рамках одной выдачи.

1. Система получает доступ к эталонной текстовой метке (reference text label), определяющей первую тему (first topic) эталонного изображения.
2. Определяется, что пользователь взаимодействовал (interacted) с Изображением А И в течение той же сессии также взаимодействовал с эталонным изображением. Ключевое условие: оба изображения были представлены в результатах поиска в ответ на один и тот же конкретный запрос (same particular query).
3. Генерируется мера релевантности (measure of relevance / Topic Score) Изображения А к первой теме. Эта мера основана на количестве сессий, в которых результаты поиска включали оба изображения в ответ на запрос, И в которых пользователь взаимодействовал с обоими.
4. Изображению А присваивается метка темы, если мера релевантности достигает порога.

Ядром является использование агрегированных поведенческих данных о совместном взаимодействии с изображениями, которые появились в выдаче по одному и тому же запросу, для распространения тематических меток.

Claim 2 (Зависимый от 1): Добавляет ограничение по времени.

В качестве co-selected images учитываются только те изображения, взаимодействие с которыми произошло в пределах порогового периода времени (specified time) после взаимодействия с эталонным изображением. Этот период меньше общей продолжительности сессии.

Claim 3 (Зависимый от 2): Описывает реализацию через Weighted Graph.

Изображения представляются как узлы, а последовательные выборы — как взвешенные ребра (weighted edges). Мера релевантности генерируется на основе этих ребер.

Claim 6 и 7 (Зависимые от 1): Описывают применение классификации в поиске.

Система использует сгенерированные метки для фильтрации (Claim 6) или переупорядочивания (Claim 7) результатов поиска, если тематика запроса отличается от тематики изображения. Это механизм для работы SafeSearch или повышения релевантности.

Где и как применяется

Изобретение в основном задействовано в офлайн-обработке данных, а его результаты применяются на этапах индексирования и ранжирования.

Офлайн-обработка данных (Ядро патента)
Основные вычисления происходят вне实时ного процесса обработки запроса, используя Historical Data (логи сессий):

• Анализ логов для идентификации событий совместного выбора в рамках одной выдачи и сессии.
• Построение Weighted Graph или Co-selection Matrix.
• Итеративное вычисление и распространение Topic Scores (Label Propagation).

INDEXING – Индексирование и извлечение признаков

• Предварительная классификация: Генерация исходных Reference Labels (например, с помощью анализа контента или Label Feedback).
• Извлечение признаков: Вычисленные Topic Scores и итоговые метки сохраняются в индексе (Indexed Cache) и ассоциируются с изображениями как признаки (features).

RANKING / RERANKING – Ранжирование и Переранжирование
Сгенерированные метки используются на финальных этапах формирования выдачи:

• Фильтрация (Claim 6): Удаление изображений, маркированных определенной темой (например, Adult), из результатов поиска, если запрос относится к другой теме или если активирован SafeSearch.
• Переупорядочивание (Claim 7): Изменение позиций изображений в выдаче на основе их тематических меток.

На что влияет

• Типы контента: Влияет исключительно на изображения (Image Search).
• Специфические запросы: Наибольшее влияние на неоднозначные запросы, где одно слово может относиться к разным темам.
• Конкретные ниши: Критически важно для ниш, связанных с деликатным контентом (Explicit/Adult), где точность классификации необходима для фильтрации.

Когда применяется

• Расчет оценок: Процесс генерации графа и расчета Topic Scores происходит в офлайн-режиме, периодически обновляя данные в индексе на основе накопленных логов.
• Применение результатов: Использование меток для фильтрации или ранжирования происходит в реальном времени при обработке поискового запроса пользователя.
• Условия для учета совместного выбора: Взаимодействия должны произойти в рамках одной сессии, по одному запросу, в одной выдаче, и в пределах заданного временного окна (Claim 2).

Пошаговый алгоритм

Патент описывает два основных процесса: Построение модели взаимодействий и Итеративный расчет оценок.

Процесс А: Построение Взвешенного Графа (Weighted Graph Construction)

1. Анализ логов сессий: Обработка Historical Data для идентификации последовательностей взаимодействий (кликов) с изображениями.
2. Фильтрация взаимодействий: Отбор взаимодействий, где два изображения были показаны в ответ на один и тот же запрос (Claim 1) и выбраны в пределах порогового времени (Claim 2).
3. Инициализация узлов: Представление каждого изображения как узла в графе.
4. Расчет весов ребер: Для каждой пары последовательных взаимодействий (A -> B) создается направленное ребро. Вес ребра (Edge Weight) увеличивается на основе частоты этого события. Вес может корректироваться с учетом близости выбора или уверенности в метке источника (Reference Weight).

Процесс Б: Итеративная генерация Topic Scores (Label Propagation)

1. Инициализация оценок: Получение начальных Topic Scores. Reference Images получают высокую оценку (например, 1.0), другие — нейтральную (например, 0.5) или предварительную оценку.
2. Формирование матрицы: Создание Co-selection Matrix на основе весов ребер графа из Процесса А.
3. Итеративное обновление: Вычисление обновленных Topic Scores на основе функции от текущих оценок и матрицы совместного выбора (например, путем умножения вектора оценок на матрицу). Информация о теме распространяется по графу.
4. Проверка условия остановки: Определение, наступило ли Stop Condition (например, сходимость оценок или лимит итераций). Если нет, возврат к шагу 3.
5. Классификация и Маркировка: Классификация изображений на основе финальных Topic Scores. Изображения, превысившие порог, получают соответствующую метку, которая сохраняется в индексе.

Какие данные и как использует

Данные на входе

Система в первую очередь полагается на поведенческие данные для распространения классификации.

• Поведенческие факторы (Ключевые данные):
  • Selection Data: Данные о взаимодействиях (кликах) с изображениями.
  • User Session Data: Группировка взаимодействий в рамках одной сессии и одного запроса.
  • Временные данные (Time data): Время взаимодействий для определения последовательности и близости (Proximity).
  • Dwell time (Время пребывания): Упоминается в описании как возможный фактор для оценки релевантности.
• Данные для инициализации (Источники Reference Labels):
  • Label Feedback: Данные от асессоров/пользователей.
  • Визуальные характеристики: Анализ изображения (например, определение «skin pixels» для Adult контента).
  • Текстовые факторы: Текст рядом с изображением, имя файла, анкорный текст.

Какие метрики используются и как они считаются

• Topic Score (Оценка темы): Мера релевантности изображения к теме (например, от 0.0 до 1.0). Рассчитывается итеративно на основе оценок связанных изображений и данных о совместном выборе.
• Co-selection Rate (Частота совместного выбора): Как часто Image B выбирается после Image A. Используется для определения весов в графе/матрице.
• Edge Weight (Вес ребра): Количественное представление силы связи между двумя изображениями в Weighted Graph.
• Proximity of Selection (Близость выбора): Время или количество действий между двумя кликами в сессии. Может использоваться как весовой коэффициент для Edge Weight.
• Reference Weight (Эталонный вес): Метрика уверенности в точности метки эталонного изображения. Может использоваться для нормализации влияния этого эталона на другие изображения.

Выводы

1. Поведение пользователей как классификатор: Патент подтверждает, что Google использует агрегированные поведенческие данные (последовательность взаимодействий) как сильный сигнал для определения тематики изображений, дополняя или корректируя визуальный и текстовый анализ.
2. Критичность контекста (Сессия + Запрос + SERP): Классификация зависит не просто от совместного выбора в рамках сессии, а от совместного выбора изображений, представленных в одной выдаче по одному и тому же запросу (Claim 1). Это сильно контекстуализирует сигнал.
3. Временная близость усиливает связь: Клик, произошедший вскоре после предыдущего, является более сильным сигналом тематической связи (Claim 2).
4. «Вина по ассоциации» (Guilt by Association): Изображение может унаследовать классификацию (например, Adult), если пользователи часто просматривают его в том же контексте, что и контент с этой классификацией, даже если само изображение безопасно.
5. Графовая модель и Label Propagation: Система использует Weighted Graph и итеративные вычисления для масштабного распространения меток от небольшого набора эталонов на весь корпус изображений.
6. Механизм работы SafeSearch: Описанная технология является вероятным механизмом для идентификации и маркировки нежелательного контента, что позволяет системам фильтрации (SafeSearch) эффективно работать даже при неоднозначных запросах (Claims 6 и 7).

Практика

Best practices (это мы делаем)

• Оптимизация под четкий интент и User Satisfaction: Создавайте изображения, которые полностью удовлетворяют интент пользователя. Если пользователь доволен вашим изображением, он с меньшей вероятностью вернется в SERP и кликнет на другое изображение (особенно нерелевантное или деликатное), тем самым минимизируя нежелательные связи co-selection.
• Мониторинг классификации изображений (SafeSearch): Регулярно проверяйте видимость ключевых изображений с включенным и выключенным SafeSearch. Если безопасное изображение фильтруется, это может быть результатом нежелательных поведенческих ассоциаций, сформированных через механизм co-selection.
• Обеспечение тематической однородности: Поддерживайте четкий тематический фокус на уровне страницы и сайта. Это помогает формировать чистые поведенческие паттерны, где ваши изображения совместно выбираются с другим релевантным контентом той же темы.
• Использование недвусмысленных метаданных и тамбнейлов: Оптимизируйте тамбнейлы и текстовые данные (alt-text, заголовки), чтобы привлекать только целевую аудиторию. Это формирует правильные паттерны кликов и снижает риск нерелевантных ассоциаций.

Worst practices (это делать не надо)

• Смешивание SFW и NSFW контента: Размещение безопасного (SFW) контента рядом с контентом для взрослых (NSFW) или пограничным контентом. Это крайне рискованно, так как поведенческие паттерны могут связать эти типы контента, что приведет к «заражению» SFW контента меткой NSFW и его фильтрации.
• Использование кликбейтных или вводящих в заблуждение изображений: Применение метаданных или изображений для привлечения кликов от пользователей с другим интентом (например, ищущих деликатный контент). Это приведет к тому, что ваше изображение будет ассоциироваться с нецелевой тематикой через co-selection.
• Игнорирование контекста в Image Search: Пренебрежение анализом того, с какими изображениями ваш контент соседствует в выдаче по ключевым запросам. Соседство с нежелательным контентом увеличивает риск формирования нежелательных поведенческих связей.

Стратегическое значение

Патент подчеркивает стратегическую важность понимания пути пользователя (User Journey) и контекста сессии в классификации контента. Для Google тематика определяется не только содержанием, но и тем, как этот контент потребляется в связке с другим контентом. SEO-стратегия должна учитывать оптимизацию сессии и стремиться к формированию чистых поведенческих сигналов, подтверждающих релевантность контента заявленной теме.

Практические примеры

Сценарий: Мисклассификация безопасного изображения как Adult из-за Co-Selection

1. Ситуация: На сайте модного бренда размещена фотография модели в купальнике (SFW). Заголовок использует неоднозначное ключевое слово.
2. Поведение пользователей: Пользователи, ищущие Adult-контент (NSFW), видят это фото в выдаче по неоднозначному запросу рядом с известными NSFW изображениями (Reference Images). Они кликают на фото модели и на NSFW изображения в рамках одной сессии.
3. Анализ Google: Система фиксирует частый паттерн совместного выбора (co-selection) между фото модели и NSFW эталонами в контексте этого запроса (Claim 1).
4. Результат: Фотография модели получает высокий Topic Score для темы «Adult». Несмотря на то, что фото безопасно, оно начинает фильтроваться SafeSearch (Claim 6), теряя трафик.
5. Действия SEO: Изменить заголовок и метаданные на более точные и менее двусмысленные, чтобы прекратить привлечение нецелевой аудитории и разорвать поведенческую связь с NSFW контентом.

Вопросы и ответы