Как Google смешивает результаты из разных вертикалей (Новости, Картинки, Видео) в основную веб-выдачу, используя данные о кликах пользователей

Описание

Какую задачу решает

Патент решает задачу предоставления пользователю наиболее релевантных и разнообразных результатов поиска, независимо от того, в каком индексе (корпусе) они находятся. Он устраняет необходимость пользователю вручную переключаться между вертикалями (Веб, Новости, Картинки) и решает проблему, как справедливо сравнить и ранжировать разнородные типы контента в единой выдаче (SERP).

Что запатентовано

Запатентована система (Universal Search) и метод для переплетения (смешивания) результатов поиска из разных поисковых движков или корпусов. Система использует Results Mixer для объединения результатов, полученных от специализированных движков (например, Generic Search Engine и News Search Engine). Ключевым элементом изобретения является механизм корректировки ранжирования на основе исторических данных о поведении пользователей: результаты из вертикали, которую пользователи предпочитают для данного запроса, получают повышенные оценки (enhanced search result scores).

Как это работает

Система направляет запрос одновременно в несколько поисковых движков. Каждый движок возвращает результаты со своими оценками качества (Search Result Quality Scores), рассчитанными на основе специфических для вертикали признаков (scoring features). Results Mixer анализирует исторические данные о кликах (historical user click data) для этого запроса. Если данные показывают предпочтение определенной вертикали, результаты из этой вертикали получают бустинг. Затем Results Mixer объединяет все результаты и ранжирует их на основе скорректированных оценок, вставляя вертикальные результаты между основными веб-результатами.

Актуальность для SEO

Критически высокая. Универсальный поиск является фундаментом современной выдачи Google. Механизмы смешивания результатов и использования поведенческих данных для определения предпочтительного типа контента активно используются и развиваются. Учитывая участие Amit Singhal (бывший глава Google Search), этот патент описывает ключевые принципы ранжирования Google.

Важность для SEO

Патент имеет фундаментальное значение для SEO (95/100). Он объясняет, как различные типы контента конкурируют за видимость в основной SERP. Для SEO-специалистов это означает, что оптимизация должна быть кросс-форматной. Понимание того, какой тип контента предпочитают пользователи по конкретному кластеру запросов (Веб, Видео, Новости), становится критически важным, так как предпочтительный тип получит алгоритмическое преимущество (enhanced score) при смешивании.

Детальный разбор

Термины и определения

Generic Search Engine (Основной поисковый движок)

Движок, осуществляющий поиск по основному корпусу неструктурированных веб-страниц (Generic web pages).

News Search Engine (Новостной поисковый движок)

Специализированный движок, осуществляющий поиск по корпусу новостных ресурсов. В патенте также упоминаются движки для книг, видео и изображений.

Results Mixer (Смеситель результатов)

Компонент системы, отвечающий за объединение, пересчет оценок и финальное ранжирование результатов из разных поисковых движков.

Search Result Quality Score (Оценка качества результата)

Числовая оценка, рассчитываемая поисковым движком для каждого результата. Используется для ранжирования.

Scoring Features (Признаки ранжирования)

Параметры, используемые для расчета Search Result Quality Score. Некоторые признаки могут быть уникальными для конкретного движка (например, news freshness для новостей).

Interleaving / Blending (Переплетение / Смешивание)

Процесс вставки результатов из одного источника (например, Новости) между результатами из другого источника (например, Веб-поиск) в финальной выдаче.

Historical User Click Data (Исторические данные о кликах пользователей)

Данные о том, на какие типы результатов пользователи кликали в прошлом в ответ на определенный запрос или тип запроса. Используются для определения предпочтений.

Enhanced Search Result Scores (Повышенные оценки результатов поиска)

Оценки, которые увеличиваются для результатов из определенной вертикали, если historical user click data показывают, что пользователи предпочитают эту вертикаль для данного запроса.

Ключевые утверждения (Анализ Claims)

Анализ сосредоточен на Claims патента US9002817B2, который является продолжением более ранних заявок и фокусируется на использовании поведенческих данных при смешивании.

Claim 1 (Независимый пункт): Описывает метод смешивания результатов с учетом предпочтений пользователей.

1. Система получает запрос (query text).
2. Выполняется поиск по первой коллекции ресурсов (получение первых результатов и их оценок).
3. Выполняется поиск по второй коллекции веб-ресурсов (получение вторых результатов и их оценок). Коллекции различны.
4. Определяется на основе historical user click data, что ресурсы из первой коллекции более вероятно будут выбраны пользователями в ответ на этот query text.
5. Генерируются enhanced first search result scores (повышенные оценки) для первых результатов вследствие этого определения.
6. Генерируется порядок представления, основанный на повышенных оценках первых результатов и стандартных оценках вторых результатов.
7. Предоставляется финальная выдача.

Ядро изобретения — это не просто смешивание, а использование исторических данных о кликах для активного повышения (бустинга) того типа контента, который статистически предпочитают пользователи для конкретного запроса.

Claim 3 (Зависимый от 1): Уточняет механизм определения предпочтений через персонализацию.

Определение предпочтения первой коллекции может основываться на характеристиках пользователя (user characteristics). Система определяет, что пользователи с похожими характеристиками предпочитают первую коллекцию.

Claim 8 (Зависимый от 1): Описывает механизм модификации оценок вторых результатов.

Система может вычислять модифицированные оценки для вторых результатов путем уменьшения (decreasing) вклада признака ранжирования (scoring feature), уникального для ресурсов второй коллекции.

Это может использоваться для корректировки оценок при смешивании (нормализации), чтобы обеспечить более справедливое сравнение разнородных результатов или для повышения разнообразия (Dampening).

Где и как применяется

Изобретение является основой системы Universal Search и применяется на финальных этапах обработки запроса.

INDEXING – Индексирование и извлечение признаков
На этом этапе для каждого корпуса (Веб, Новости, Книги и т.д.) извлекаются специфические Scoring Features. Некоторые оценки могут быть предварительно рассчитаны (pre-calculated score).

QUNDERSTANDING – Понимание Запросов
Система анализирует query text и может классифицировать запрос (например, «how to»). Также на этом этапе или чуть позже система обращается к данным о пользовательских предпочтениях (historical user click data), связанным с этим запросом или классом запросов.

RANKING – Ранжирование
Запрос направляется параллельно в соответствующие специализированные движки (Generic Search Engine, News Search Engine и т.д.). Каждый движок выполняет поиск в своем корпусе и рассчитывает базовые Search Result Quality Scores, используя как общие, так и уникальные Scoring Features.

METASEARCH – Метапоиск и Смешивание
Это основной этап применения патента, реализуемый компонентом Results Mixer.

• Агрегация: Сбор результатов и оценок от всех движков.
• Анализ предпочтений: Использование historical user click data для определения предпочтительной вертикали для данного запроса (и, возможно, пользователя).
• Корректировка оценок (Boosting): Генерация enhanced search result scores для результатов из предпочтительной вертикали (Claim 1).
• Корректировка оценок (Recalculation/Dampening): Пересчет оценок, возможно, путем уменьшения вклада уникальных признаков для обеспечения сравнимости или разнообразия (Claim 8 и Description).
• Смешивание (Blending/Interleaving): Формирование единого ранжированного списка и вставка вертикальных результатов между веб-результатами.

Входные данные:

• Запрос пользователя (query text).
• Метаданные пользователя (для персонализации).
• Ранжированные списки результатов с оценками от каждого поискового движка.
• Historical user click data, связанные с запросом.

Выходные данные:

• Единый смешанный список результатов (SERP) с пересчитанными оценками, готовый к отображению в различных форматах.

На что влияет

• Все типы контента и форматы: Патент напрямую влияет на видимость Новостей, Изображений, Видео, Книг в основной веб-выдаче.
• Специфические запросы: Наибольшее влияние оказывается на запросы, где интент пользователя может быть удовлетворен разными типами контента (например, информационные запросы, где полезны и статьи, и видео; или свежие запросы, где важны новости).
• Конкуренция за SERP Features: Определяет, какой контент займет позиции в блоках вертикального поиска (карусели новостей, видео и т.д.) и как высоко эти блоки будут расположены.

Когда применяется

• Триггеры активации: Алгоритм смешивания активируется, когда система определяет, что результаты из специализированных вертикалей могут быть релевантны запросу. В патенте описано, что запрос направляется в разные движки (например, Веб и Новости) одновременно.
• Условия для бустинга: Повышение оценок (enhanced scores) применяется, когда historical user click data показывают явное статистическое предпочтение пользователями определенного типа контента для данного запроса.
• Условия для вставки: Вертикальный результат вставляется в основную выдачу, если его итоговая (возможно, повышенная) оценка достаточно высока, чтобы конкурировать с оценками веб-результатов.
• Ограничения: Results Mixer может накладывать ограничения на позиции вставки (например, не выше 3-й позиции) или на расстояние между результатами одного типа для обеспечения разнообразия.

Пошаговый алгоритм

Процесс смешивания результатов (Universal Search)

1. Получение запроса: Search service front-end получает запрос и метаданные пользователя.
2. Параллельный поиск: Запрос направляется в несколько поисковых движков (например, Generic Search Engine и News Search Engine).
3. Генерация результатов и оценок: Каждый движок независимо генерирует результаты и рассчитывает Search Result Quality Scores, используя свои Scoring Features (включая уникальные, например, news freshness).
4. Ранжирование внутри вертикалей: Каждый движок ранжирует свои результаты.
5. Анализ исторических данных (Ключевой этап по Claim 1): Results Mixer получает результаты и анализирует historical user click data. Определяется, есть ли статистическое предпочтение определенной вертикали для этого запроса (или для этого пользователя).
6. Корректировка оценок (Boosting): Если предпочтение выявлено, для результатов из этой вертикали генерируются enhanced search result scores.
7. Корректировка оценок (Recalculation/Dampening): Results Mixer определяет, нужно ли пересчитать оценки для обеспечения разнообразия или сравнимости. Это может включать уменьшение вклада уникальных Scoring Features для результатов, ранжирующихся ниже первого места в своей вертикали (например, на 10% для второго результата, 20% для третьего).
8. Объединенное ранжирование: Results Mixer использует итоговые (повышенные и/или пересчитанные) оценки для ранжирования всех результатов в едином списке.
9. Смешивание (Interleaving): Results Mixer формирует финальную выдачу, вставляя вертикальные результаты (или группы результатов) между веб-результатами в соответствии с объединенным ранжированием и возможными ограничениями по позициям.
10. Представление: Search service front-end отображает результаты пользователю, используя специфические форматы для разных типов контента (например, дата публикации для новостей).

Какие данные и как использует

Данные на входе

Патент фокусируется на механизме смешивания и предполагает использование следующих данных:

• Поведенческие факторы (Критические): Historical user click data. Эти данные используются для определения предпочтений пользователей относительно типа контента для конкретных запросов. Упоминается использование user-click-data для обучения характеристикам запросов, которые коррелируют с высококачественными кликами (high-quality clicks).
• Пользовательские факторы: Характеристики пользователя (user characteristics) или кластеры пользователей. Используются для персонализации предпочтений (например, пользователь всегда предпочитает новости).
• Системные данные: Search Result Quality Scores, полученные от каждого поискового движка.
• Признаки ресурсов (Scoring Features): Используются для расчета базовых оценок. Включают атрибуты ресурсов и исторические данные об их использовании. Упоминаются уникальные признаки, такие как news freshness.
• Контентные/Мультимедиа факторы: Атрибуты результатов, используемые для отображения (заголовки, сниппеты, изображения, даты публикации, авторы и т.д.).

Какие метрики используются и как они считаются

• Search Result Quality Score: Рассчитывается путем суммирования (или умножения) оценок по различным Scoring Features. Часть оценок может быть рассчитана динамически на основе запроса, часть — предварительно.
• Вероятность выбора (Likelihood of Selection): Метрика, основанная на historical user click data, определяющая предпочтение вертикали для запроса.
• Enhanced Score: Повышенная оценка. Рассчитывается путем увеличения базового Quality Score, если вероятность выбора для данной вертикали высока.
• Recalculated Score (Dampening): Пересчитанная оценка. Может рассчитываться путем уменьшения вклада уникальных Scoring Features. Например, вклад уникальных признаков может быть уменьшен на 10% для второго результата и на 20% для третьего результата из той же вертикали.

Выводы

1. Universal Search как стандарт: Патент описывает фундаментальную архитектуру современного поиска Google, где результаты из разных корпусов (вертикалей) смешиваются в единой выдаче.
2. Поведенческие данные определяют видимость вертикалей: Ключевым механизмом (согласно Claims B2) является использование historical user click data для определения предпочтительного типа контента для запроса. Это не предположение интента, а статистический анализ реального поведения.
3. Бустинг предпочтительного контента: Если пользователи систематически кликают на определенный тип контента (например, Видео) по запросу, этот тип контента получит enhanced scores и будет ранжироваться выше при смешивании.
4. Сравнимость и разнообразие оценок (Dampening): Система использует механизм пересчета оценок (Recalculation). Чтобы обеспечить разнообразие и избежать доминирования одной вертикали, вклад уникальных признаков (unique scoring features) может быть уменьшен для результатов, следующих за лидером в этой вертикали.
5. Персонализация смешивания: Предпочтения могут быть персонализированы на уровне пользователя или кластера пользователей. Если пользователь предпочитает Новости, он будет видеть их чаще и выше.
6. Кросс-форматная оптимизация критична: SEO-стратегия не может фокусироваться только на веб-страницах. Необходимо создавать и оптимизировать контент в тех форматах, которые предпочитают пользователи в данной нише.

Практика

Best practices (это мы делаем)

• Анализ предпочтительного формата контента: Для ключевых кластеров запросов необходимо анализировать SERP и поведение пользователей, чтобы определить, какой формат контента (статья, видео, новость, карточка товара) является предпочтительным. Это тот формат, который Google будет бустить.
• Кросс-форматная стратегия контента: Создавать высококачественный контент в предпочтительных форматах. Если по запросам «how to» пользователи предпочитают видео (и Google это видит по кликам), необходимо создавать оптимизированные видео, чтобы воспользоваться enhanced scores.
• Оптимизация под вертикальные движки: Обеспечить индексацию и оптимизацию контента в соответствующих вертикалях (Google News, Google Images, YouTube/Google Video, Google Books). Базовые Quality Scores рассчитываются именно там.
• Фокус на уникальных признаках вертикалей: Понимать и оптимизировать уникальные Scoring Features для каждой вертикали (например, свежесть и авторитетность источника для Новостей; качество и метаданные для Видео).
• Повышение кликабельности (CTR) в нужном формате: Поскольку клики определяют будущие предпочтения, критически важно добиваться высоких показателей CTR для вашего контента в релевантном формате. Это создает положительную обратную связь, подтверждая системе предпочтительность данного формата.

Worst practices (это делать не надо)

• Игнорирование мультимедиа и новостей: Фокусироваться только на «10 синих ссылках». Веб-страницы конкурируют с другими типами контента, которые могут иметь алгоритмическое преимущество из-за предпочтений пользователей.
• Создание контента в «неправильном» формате: Инвестировать ресурсы в создание длинных статей, если пользователи явно предпочитают короткие видео или изображения по данной теме. Исторические данные о кликах приведут к понижению непредпочтительного формата.
• Манипуляции с форматами ради присутствия: Попытки выдать стандартный контент за специализированный (например, статья, замаскированная под новость без реальной новостной ценности) не дадут эффекта, так как базовое ранжирование происходит в специализированных движках с учетом их уникальных факторов.

Стратегическое значение

Патент подтверждает, что Google является мета-поисковой системой, которая стремится дать лучший ответ в лучшем формате. Стратегическое значение для SEO заключается в переходе от оптимизации страниц к оптимизации присутствия во всех релевантных вертикалях. Долгосрочная стратегия должна строиться вокруг понимания интента пользователя и того, как этот интент лучше всего удовлетворяется с точки зрения формата контента. Поведение пользователей напрямую формирует выдачу, определяя, какие вертикали получат приоритет.

Практические примеры

Сценарий 1: Оптимизация запроса «Как завязать галстук» (Предпочтение формата)

1. Анализ: SEO-специалист анализирует выдачу и данные, видя, что видео-результаты занимают высокие позиции и собирают большинство кликов.
2. Интерпретация по патенту: Google определил на основе historical user click data, что для запроса «Как завязать галстук» пользователи предпочитают Видео (Первая коллекция), а не текстовые инструкции (Вторая коллекция).
3. Действия: Принимается решение создать высококачественное, короткое видео, оптимизированное под YouTube и Google Video Search.
4. Ожидаемый результат: При следующем смешивании результатов, Google применит enhanced scores к видео-результатам. Качественное новое видео имеет высокие шансы занять лидирующие позиции в основной выдаче, опередив даже очень авторитетные текстовые гайды.

Сценарий 2: Влияние персонализации на выдачу по запросу «Apple» (Персонализация)

1. Пользователь 1 (Инвестор): Регулярно ищет финансовые отчеты и новости акций Apple.
2. Пользователь 2 (Покупатель): Регулярно ищет обзоры продуктов и магазины Apple.
3. Интерпретация по патенту (Claim 3): Система анализирует user characteristics. Для Пользователя 1 предпочтительной вертикалью становятся Новости и Финансы. Для Пользователя 2 — Веб-страницы (обзоры) и Товары/Карты.
4. Результат: По одному и тому же запросу «Apple» Пользователь 1 увидит выше блок Новостей и котировки акций (получившие enhanced scores для него), а Пользователь 2 увидит выше ссылки на магазин и обзоры продуктов.

Вопросы и ответы