Как Google собирает и структурирует данные о поведении пользователей в Поиске по картинкам (включая ховеры, клики и 2D-позицию)

Термины и определения

Hover (Наведение курсора)

Взаимодействие, при котором указатель (курсор) находится над результатом поиска. Отслеживается как сигнал интереса.

Image Query Model (Модель запросов изображений)

Агрегированная структура данных, содержащая статистику событий поиска изображений по множеству пользователей. Включает счетчики взаимодействий (клики, ховеры) для пар запрос-изображение, часто с учетом их 2D-позиции (quasi-two dimensional model).

Image Search Session Data Object (Объект данных сеанса поиска изображений)

Промежуточная структура данных, содержащая информацию о событиях поиска изображений для конкретного идентификатора пользователя за определенный период. Включает упорядоченный список Query data items.

Interaction data item (Элемент данных о взаимодействии)

Часть Query data item, описывающая конкретное взаимодействие (клик или ховер). Включает тип, длительность (time duration value) и позицию результата.

Pointer element (Указывающий элемент)

Курсор мыши, стилус или палец на сенсорном экране.

Query data item (Элемент данных запроса)

Структура внутри сессионного объекта, содержащая всю информацию, относящуюся к одному конкретному запросу (показанные результаты, их позиции и взаимодействия).

Query Log (Лог запросов)

База данных, хранящая сырые данные обо всех поисковых событиях (Search Event Data Items).

Search Event (Поисковое событие)

Любое действие, связанное с поиском: получение запроса, предоставление результатов, взаимодействие пользователя с результатом или интерфейсом (например, изменение размера окна браузера).

Two-dimensional display position / Viewport location (Двухмерная позиция отображения / Положение в области просмотра)

Точное местоположение результата в интерфейсе, определяемое как номер страницы, номер строки (row number) и номер столбца (column number).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод преобразования данных от логов к модели.

1. Система идентифицирует поисковые события (с метками времени и идентификаторами).
2. Выделяется подмножество событий, относящихся именно к поиску изображений (image search).
3. Для идентификаторов, участвовавших в поиске изображений, генерируются Image Search Session Data Objects.
4. Ключевой шаг: Генерируется Image Query Model на основе этих объектов сессий. Эта модель указывает: (a) какие изображения получили взаимодействие и (b) какова была two-dimensional display position (двухмерная позиция отображения) изображения на странице результатов в момент взаимодействия.

Ядром изобретения является структурирование данных таким образом, чтобы анализировать взаимодействие в контексте 2D-интерфейса поиска картинок.

Claim 2 (Зависимый): Уточняет типы взаимодействий и длительность.

Взаимодействие включает выбор (клик) ИЛИ наведение курсора (hover). Также фиксируется time duration value (значение длительности) этого взаимодействия.

Это прямое подтверждение логирования ховеров и длительности взаимодействия (Dwell Time для кликов, время наведения для ховеров).

Claim 3 (Зависимый): Описывает структуру сессии.

Image Search Session Data Object представляет собой упорядоченный по времени список Query Data Items.

Claims 9, 10 (Зависимые): Детализируют данные о позиции.

Каждый Query Data Item включает viewport location для каждого результата. Это может быть указано как номер страницы, номер столбца и номер строки.

Claims 11, 12 (Зависимые): Уточняют факт показа.

Система фиксирует, был ли результат фактически показан пользователю. Это определяется на основе viewport location (например, находился ли результат в видимой области экрана).

Claim 13 (Зависимый): Уточняет данные о курсоре.

Query Data Item включает информацию о местоположении pointer element (курсора) в момент первоначального предоставления результатов поиска.

Это важно для фильтрации случайных ховеров, когда курсор уже находился в определенной точке экрана до загрузки результатов.

Где и как применяется

Изобретение является инфраструктурным и затрагивает этапы сбора и обработки данных для ранжирования.

CRAWLING – Сбор данных (Data Acquisition)
На этом этапе происходит сбор «сырья». Все взаимодействия пользователей (клики, ховеры, движение курсора, изменение размера окна) фиксируются в реальном времени и сохраняются в Query Logs.

INDEXING – Извлечение признаков (Feature Extraction)
Основное применение патента. Описанный механизм (Query Information Subsystem) обрабатывает Query Logs офлайн:

1. Фильтрация и структурирование: Преобразует сырые логи в Image Search Session Data Objects (очистка и организация данных по пользователям и сессиям).
2. Агрегация и генерация признаков: Преобразует объекты сессий в Image Query Model. Эта модель является набором извлеченных поведенческих признаков (например, CTR, Hover Rate) для пар запрос-изображение.

RANKING – Ранжирование
Алгоритмы ранжирования используют Image Query Model как один из входных сигналов (например, для расчета relevance feedback score) для определения релевантности и ранжирования изображений при будущих запросах.

Входные данные:

• Сырые Query Logs (search event data items).
• Идентификаторы пользователей (анонимизированные).
• Временные метки, данные о взаимодействиях (тип, длительность, позиция).

Выходные данные:

• Image Search Session Data Objects (промежуточный результат).
• Image Query Model (конечный результат для ранжирования).

На что влияет

• Конкретные типы контента: Влияет исключительно на результаты поиска изображений (Image Search Vertical).
• Специфические запросы: Влияет на все типы запросов, по которым ищут изображения.
• Форматы контента: Влияет на результаты, представленные в виде миниатюр (thumbnails) в двумерной сетке.

Когда применяется

• Сбор логов: Происходит непрерывно в реальном времени при каждом взаимодействии пользователя с поиском.
• Обработка логов: Генерация Image Search Session Data Objects и Image Query Model происходит офлайн в пакетном режиме, обрабатывая логи за определенные периоды (например, 24 часа, неделя).
• Фильтрация шума: При генерации модели могут применяться пороги длительности для фильтрации коротких ховеров или кликов.

Пошаговый алгоритм

Фаза 1: Сбор данных и Логирование (Реальное время)

1. Мониторинг событий: Система отслеживает Search Events (получение запроса, предоставление результатов, взаимодействие пользователя).
2. Логирование: Информация о событии сохраняется в Query Log. Запись включает идентификатор, временную метку, тип события.
   • Для показов: Фиксируется 2D-позиция (строка/столбец) результата и начальное положение курсора.
   • Для взаимодействий: Фиксируется тип (клик/ховер) и длительность (Time Duration Value).

Фаза 2: Генерация объектов сессий (Офлайн/Пакетный режим)

1. Доступ к логам: Система получает доступ к Query Logs.
2. Фильтрация событий: Выделение событий, связанных с поиском изображений.
3. Группировка: Информация группируется по идентификаторам пользователей и временным периодам.
4. Генерация Image Search Session Data Object:
   1. Идентификация уникальных запросов пользователя за период.
   2. Генерация Query Data Item для каждого уникального запроса, включая показанные результаты и их позиции.
   3. Идентификация взаимодействий (клики, ховеры).
   4. Генерация Interaction Data Item внутри соответствующего Query Data Item (тип, длительность, позиция).
   5. Организация Query Data Items в хронологическом порядке.
5. Сохранение объекта сессии.

Фаза 3: Генерация модели запросов (Офлайн/Пакетный режим)

1. Получение объектов сессий: Загрузка сгенерированных Image Search Session Data Objects для множества пользователей.
2. Идентификация уникальных запросов: Составление списка всех уникальных запросов.
3. Агрегация данных: Для каждого уникального запроса агрегируется информация из всех соответствующих Query Data Items. Рассчитываются суммарные счетчики: Impression Count, Selection Count (клики), Hover Count.
4. Фильтрация взаимодействий (Опционально): Система может отфильтровать взаимодействия с короткой длительностью (например, короткие ховеры или клики), считая их шумом.
5. Генерация Image Query Model: Создается итоговая модель (например, квази-двухмерная), содержащая агрегированную статистику для пар запрос-изображение, возможно с учетом позиции показа.
6. Сохранение модели.

Какие данные и как использует

Данные на входе

Система использует исключительно данные из логов поисковых событий.

• Поведенческие факторы:
  • Выбор результата (Selection / Клик).
  • Наведение курсора на результат (Hover).
  • Длительность взаимодействия (Time duration value): время наведения для ховеров (в миллисекундах), время пребывания на целевой странице для кликов (Dwell Time).
  • Местоположение курсора (Location of a pointer element) в момент загрузки страницы.
  • Взаимодействие с интерфейсом (запрос следующей страницы, изменение размера окна браузера - resizing).
• Структурные факторы (Интерфейс):
  • Позиция показа результата (Viewport location / Presentation position): номер страницы, строка, столбец (2D-позиция).
  • Информация о том, был ли результат фактически виден пользователю (whether the search result was presented).
• Пользовательские факторы:
  • Идентификатор пользователя (Identifier), обычно анонимизированный.
  • Географическое положение устройства.
  • Тип пользовательского агента (браузера).

Какие метрики используются и как они считаются

Патент фокусируется на генерации структурированных агрегированных метрик в Image Query Model:

• Impression Count (Счетчик показов): Количество раз, когда изображение было показано в ответ на запрос.
• Selection Count (Счетчик кликов): Количество кликов по изображению.
• Hover Count (Счетчик ховеров): Количество наведений курсора на изображение.
• Interaction Count (Счетчик взаимодействий): Сумма Selection Count и Hover Count.

Методы анализа и агрегации:

• Агрегация по позиции: Все счетчики могут рассчитываться с учетом two-dimensional display position. Это позволяет анализировать влияние позиции на взаимодействие (Position Bias).
• Фильтрация по длительности (Thresholds): При генерации модели система может применять пороговые значения к Time duration value для фильтрации шума. В описании патента упоминается возможность исключения коротких ховеров (например, менее 1 секунды) или коротких кликов (например, менее 10 секунд).

1. Инфраструктура для гранулярного трекинга в Image Search: Google обладает специализированной инфраструктурой для сбора и обработки поведенческих данных именно для Поиска по картинкам, отделяя их от общего веб-поиска.
2. Ховеры как значимый сигнал взаимодействия: Патент явно указывает (Claim 2), что наведение курсора (hover) отслеживается и логируется наравне с кликами (selection). Это рассматривается как сигнал интереса пользователя к изображению.
3. Критичность длительности взаимодействия (Duration): Система измеряет длительность как ховеров (в миллисекундах), так и кликов (Dwell Time). Эти данные используются для оценки качества взаимодействия и фильтрации шума (например, случайных движений курсора).
4. Учет 2D-позиции и позиционного баса: Google детально фиксирует двухмерное расположение (строка и столбец) каждого изображения (Claim 1, 10). Image Query Model структурирована так, чтобы учитывать эту позицию при анализе взаимодействий, что позволяет нормализовать поведенческие метрики (CTR, Hover Rate).
5. Фильтрация случайных взаимодействий: Система логирует начальное положение курсора при загрузке страницы (Claim 13), что позволяет идентифицировать и дисконтировать ховеры, произошедшие случайно, без намерения пользователя.
6. Подтверждение Relevance Feedback: Собранная Image Query Model служит основой для расчета relevance feedback score — оценки релевантности изображения на основе агрегированного поведения пользователей.

Best practices (это мы делаем)

• Оптимизация привлекательности миниатюр (Thumbnails): Миниатюры должны быть максимально привлекательными и четкими, чтобы стимулировать пользователя как минимум навести курсор (hover), а в идеале — кликнуть. Поскольку ховеры и их длительность отслеживаются, визуальная привлекательность напрямую влияет на собираемые поведенческие сигналы.
• Обеспечение соответствия миниатюры и целевой страницы: Миниатюра должна точно отражать содержание полного изображения и целевой страницы. Это критично для максимизации Dwell Time после клика. Если пользователь разочарован после перехода, короткая длительность взаимодействия (short click) будет зафиксирована.
• Использование высококачественных и уникальных изображений: Качественные изображения с большей вероятностью привлекут внимание и получат положительные взаимодействия (длительные ховеры и клики), что улучшит их показатели в Image Query Model.
• Анализ выдачи Image Search как 2D-пространства: При анализе конкурентов следует учитывать, что Google оценивает взаимодействие в контексте двухмерной сетки. Важно создавать изображения, которые выделяются на фоне соседей по строкам и столбцам.

Worst practices (это делать не надо)

• Использование кликбейтных миниатюр: Использование изображений, вводящих в заблуждение для генерации клика. Это приведет к коротким кликам (низкий Dwell Time), что будет зафиксировано системой как негативный сигнал или отфильтровано как шум.
• Низкое визуальное качество и "слепые зоны": Использование нечетких, темных или визуально непривлекательных миниатюр. Такие изображения будут игнорироваться пользователями, не получая ни кликов, ни ховеров.
• Игнорирование Image SEO: Рассчитывать только на текстовую релевантность страницы. Патент подтверждает, что для ранжирования изображений критически важны поведенческие факторы, собранные непосредственно в интерфейсе Image Search.

Стратегическое значение

Патент подтверждает, что ранжирование в Google Images в значительной степени опирается на анализ поведения пользователей. Для долгосрочного успеха в Image SEO необходимо фокусироваться не только на технических аспектах (alt-тексты, скорость загрузки), но и на визуальной оптимизации и качестве самих изображений. Система сбора данных Google настроена на выявление изображений, которые наиболее интересны пользователям в визуальном плане, и способна отфильтровывать манипуляции и случайный шум.

Практические примеры

Сценарий: Оптимизация миниатюр для E-commerce в Image Search

1. Задача: Улучшить ранжирование изображений товара "красное вечернее платье" в Google Images.
2. Анализ (с учетом патента): Понимаем, что Google отслеживает, как часто пользователи наводят курсор на наше изображение по сравнению с конкурентами в 2D-сетке (Hover Count), и как долго они изучают превью (Hover Duration) или остаются на сайте после клика (Dwell Time).
3. Действия:
   • Тестируем разные варианты миниатюр: платье на модели, платье на белом фоне, крупный план текстуры ткани.
   • Выбираем вариант с наилучшей визуальной четкостью и цветопередачей, который выделяется на фоне конкурентов.
   • Убеждаемся, что страница товара быстро загружается и сразу предоставляет детальную информацию о платье.
4. Ожидаемый результат: Выбранная миниатюра генерирует больше длительных ховеров и кликов. Эти данные агрегируются в Image Query Model, что приводит к улучшению relevance feedback score и повышению позиций изображения в Image Search.