Как Google определяет намерение поиска изображений, анализируя контент топовых веб-результатов

Термины и определения

Classification Metrics (Классификационные метрики)

Набор данных, используемый для определения measure of image intent. Включает атрибуты (ключевые слова, плотность изображений и т.д.), характерные для документов, связанных с высоким или низким намерением поиска изображений. Эти метрики генерируются путем офлайн-анализа предварительно определенных наборов документов.

Document (Документ)

Любой машиночитаемый продукт (веб-страница, файл, статья и т.д.).

Image Attributes (Атрибуты изображений)

Характеристики, извлекаемые из документа, связанные с изображениями. Ключевые атрибуты, упомянутые в патенте:

• Quantity of keywords (Количество ключевых слов, связанных с изображениями).
• Keyword density (Плотность ключевых слов).
• Quantity of images or videos (Количество изображений или видео).
• Image-to-text ratio (Соотношение изображений к тексту).
• Image density (Плотность изображений – площадь, занимаемая изображениями, относительно общей площади документа).

Image Intent (Намерение поиска изображений)

Вероятность того, что пользователь, вводя запрос, намеревался получить результаты в виде изображений или видео.

Image Intent Score (Оценка намерения поиска изображений)

Числовая оценка, рассчитанная для документа или группы документов, отражающая measure of image intent. Может быть основана на комбинации различных оценок (например, Keyword Score, Image Density Score).

Image Result (Результат изображения)

Любая ссылка на изображение или видео, релевантное запросу (например, миниатюра, ссылка, заголовок).

Measure of Image Intent (Мера намерения поиска изображений)

Оценка, представляющая вероятность того, что для данного запроса предназначены результаты в виде изображений.

Search Result (Поисковый результат)

Ссылка на документ (например, веб-страницу), идентифицированный как релевантный запросу. Обычно включает заголовок, ссылку и сниппет.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения необходимости показа изображений.

1. Система получает запрос от клиента.
2. Получаются поисковые результаты (документы), релевантные запросу.
3. Идентифицируются image attributes одного или нескольких из этих документов.
4. Получаются classification metrics, которые содержат информацию для определения measure of image intent и идентифицируют набор ключевых слов.
5. Определяется measure of image intent для запроса на основе сравнения image attributes документов и classification metrics. При этом image attributes для конкретного документа включают как минимум одно из: (i) количество ключевых слов в документе, совпадающих с набором из classification metrics, или (ii) плотность этих ключевых слов в документе.
6. Определяется, удовлетворяет ли measure of image intent пороговому значению (threshold).
7. Генерируется страница результатов поиска (search results document), которая выборочно включает результаты изображений или стандартные поисковые результаты в зависимости от того, был ли достигнут порог.
8. Страница результатов предоставляется клиенту.

Claim 6 (Зависимый от 5, который зависит от 1): Детализирует процесс расчета measure of image intent путем присвоения отдельных оценок (scores) по разным атрибутам.

Система рассчитывает комбинированную оценку (combined score) для документа, основываясь как минимум на двух из следующих действий:

• Присвоение первой оценки на основе количества совпадающих ключевых слов.
• Присвоение второй оценки на основе плотности ключевых слов.
• Присвоение третьей оценки на основе количества изображений/видео.
• Присвоение четвертой оценки на основе image-to-text ratio.
• Присвоение пятой оценки на основе image density.

Claim 7 (Зависимый от 1): Определяет три возможных исхода форматирования выдачи на основе image intent score (который является measure of image intent) и двух порогов (First Threshold и Second Threshold, где Second < First).

1. Если оценка удовлетворяет Первому порогу (высокий интент): Выдача включает image results БЕЗ стандартных search results.
2. Если оценка НЕ удовлетворяет Второму порогу (низкий интент): Выдача включает стандартные search results БЕЗ image results.
3. Если оценка НЕ удовлетворяет Первому порогу, НО удовлетворяет Второму (средний интент): Выдача включает комбинацию search results и image results.

Claim 9 (Зависимый от 1): Описывает офлайн-процесс генерации classification metrics (обучение классификатора).

1. Получение первых результатов поиска по запросам, которые заведомо связаны с намерением поиска изображений.
2. Получение вторых результатов поиска по запросам, которые заведомо НЕ связаны с намерением поиска изображений.
3. Идентификация атрибутов изображений (first image attributes) для первой группы документов.
4. Идентификация атрибутов изображений (second image attributes) для второй группы документов.
5. Генерация classification metrics на основе сравнения первых и вторых атрибутов.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя данные, рассчитанные на этапе индексирования, для принятия решений на этапе метапоиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе система может предварительно (офлайн) анализировать документы для извлечения image attributes (плотность изображений, соотношение к тексту, наличие ключевых слов) и сохранять их в индексе. Также на этом этапе (или в рамках отдельного офлайн-процесса) происходит обучение классификатора и генерация Classification Metrics.

RANKING – Ранжирование
На этом этапе генерируется первичный набор веб-результатов (search results), релевантных запросу.

METASEARCH – Метапоиск и Смешивание (Universal Search & Blending)
Основное применение патента происходит здесь. Это механизм триггеринга (Triggering) вертикали изображений.

1. Анализ результатов ранжирования: Система анализирует документы, полученные на этапе RANKING (или извлекает их image attributes из индекса).
2. Определение интента: Вычисляется measure of image intent для всего набора топовых документов.
3. Принятие решения о смешивании: На основе этой меры и пороговых значений система решает, нужно ли запрашивать результаты из вертикали изображений (image results) и как форматировать итоговую выдачу (только веб, только изображения или смешанно).

Входные данные:

• Поисковый запрос.
• Набор релевантных веб-документов (Search Results).
• Image Attributes для этих документов (извлеченные на лету или из индекса).
• Classification Metrics (предварительно рассчитанные).

Выходные данные:

• Сформированная страница результатов поиска (Search results document) с определенным форматированием (включая или исключая image results).

На что влияет

• Форматы SERP (Universal Search): Напрямую влияет на появление, формат и позицию блока изображений в основной поисковой выдаче.
• Специфические запросы: Влияет на любые запросы, где интент может быть неоднозначным (например, "Hollywood glamour", который может подразумевать статьи о стиле или фотографии актрис).
• Конкретные типы контента: Влияет на видимость контента, богатого изображениями (галереи, портфолио), и текстового контента (статьи, исследования). Структура контента определяет вероятность триггеринга блока картинок.

Когда применяется

Алгоритм применяется при обработке поискового запроса для определения оптимального формата выдачи.

• Триггеры активации: Активируется после получения первичного набора веб-результатов для анализа их контента.
• Пороговые значения: Ключевым элементом являются пороги (Thresholds) для Image Intent Score. Патент определяет как минимум два порога, которые разделяют выдачу на три типа: высокий интент (порог 1), средний интент (порог 2) и низкий интент (ниже порога 2).

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени

1. Получение запроса: Система получает поисковый запрос.
2. Генерация веб-результатов: Система генерирует первичные поисковые результаты (документы), релевантные запросу.
3. Выборка документов: Отбираются документы, ассоциированные с выбранными топовыми результатами.
4. Идентификация атрибутов: Идентифицируются Image Attributes (количество и плотность ключевых слов, количество и плотность изображений, соотношение изображений к тексту) для этих документов. Это может происходить на лету или путем извлечения из индекса.
5. Получение метрик: Извлекаются предварительно рассчитанные Classification Metrics.
6. Расчет оценок для документов: Для каждого документа генерируются оценки (scores) на основе сравнения его Image Attributes и Classification Metrics. Может использоваться модель вероятности (например, Байесовская модель). Генерируется комбинированная оценка (combined score) для каждого документа.
7. Расчет общей оценки интента: Определяется общая оценка намерения поиска изображений (Total Image Intent Score) для запроса на основе оценок отдельных документов (например, путем усреднения или суммирования).
8. Принятие решения о форматировании выдачи: Общая оценка сравнивается с порогами:
   • Если оценка удовлетворяет Первому порогу (Высокий интент): Предоставить Image Results БЕЗ Search Results.
   • Если оценка НЕ удовлетворяет Второму порогу (Низкий интент): Предоставить Search Results БЕЗ Image Results.
   • Если оценка между порогами (Средний интент): Предоставить Search Results И Image Results (смешанная выдача).

Процесс Б: Офлайн-обучение классификатора (Генерация Classification Metrics)

1. Инициация обучения: Получение инструкции на обучение классификатора для определения вероятности image intent.
2. Сбор данных для обучения: Получение предопределенных наборов документов для категорий, связанных с вероятностью image intent (например, набор документов с высоким интентом и набор с низким интентом).
3. Анализ документов: Анализ документов в каждой категории.
4. Идентификация метрик: Идентификация Classification Metrics (характерных значений атрибутов, порогов, ключевых слов), ассоциированных с каждой категорией на основе проанализированных документов.
5. Сохранение метрик: Сохранение Classification Metrics для использования в Процессе А.

Какие данные и как использует

Данные на входе

Система использует конкретные контентные и структурные факторы для определения интента.

• Контентные факторы (Текст): Текст документов анализируется для выявления специфических ключевых слов (Keywords), которые коррелируют с намерением поиска изображений (например, "image", "picture", "photograph", "movie", "video", "camera"). Также рассчитывается общее количество текста для определения плотности и соотношений.
• Мультимедиа факторы (Изображения/Видео): Определяется количество изображений или видео (Quantity of images or videos) в документе.
• Структурные факторы: Анализируется структура и верстка документа для определения площади, занимаемой изображениями, и площади, занимаемой текстом.

Какие метрики используются и как они считаются

Система вычисляет несколько ключевых метрик на основе входных данных:

• Keyword Density (Плотность ключевых слов): Рассчитывается на основе количества ключевых слов, связанных с изображениями, и общего количества текста в документе.
• Image-to-text Ratio (Соотношение изображений к тексту): Рассчитывается на основе количества изображений/видео и количества текста.
• Image Density (Плотность изображений): Рассчитывается на основе площади, занимаемой изображениями/видео, и общей площади документа или площади, занимаемой текстом.

На основе этих метрик вычисляются оценки (Scores):

• Keyword Score (KW), Keyword Density Score (KD), Image Score (I), Image Ratio Score (IR), Image Density Score (ID).
• Методы расчета оценок: Патент упоминает возможность использования дискриминативных классификаторов (например, SVM) или вероятностных моделей (например, Наивный Байес). В случае Байеса, оценка рассчитывается как вероятность принадлежности документа к классу "высокий image intent" при наличии определенных атрибутов.