Как Google использует статистику поиска и кликов по разным вертикалям (Web, Картинки, Видео) для определения предпочтительного типа контента и ранжирования в Универсальном Поиске

Термины и определения

Corpus (Корпус)

Коллекция контента с общими характеристиками (Вертикаль). Примеры: Web, Images, News, Video, Maps.

Base Corpus (Базовый корпус, CP1)

Основной корпус, доминирующий в выдаче (обычно Web), относительно которого происходит сравнение.

Under-represented Corpus (Второстепенный корпус, CP2)

Корпус, результаты которого показаны в меньшем количестве (например, блок Картинок в Веб-поиске).

Corpus Search Fraction (R(Q,CP))

Доля поиска. Популярность запроса Q внутри корпуса CP. Рассчитывается как: $S(Q,CP) / S(CP)$ (Число поисков Q в CP / Общее число поисков в CP).

Relative Search Fraction (RSF)

Относительная доля поиска. Сравнение популярности запроса между корпусами: $R(Q, CP2) / R(Q, CP1)$.

OCTR и BaseCTR

Показатели кликабельности (CTR) для результатов из Второстепенного корпуса (OCTR) и Базового корпуса (BaseCTR) в смешанной выдаче.

Measure of Relative Relevance (Мера относительной релевантности)

Итоговый показатель для модификации ранжирования. Может основываться на RSF, отношении OCTR/BaseCTR или их комбинации.

Key (k)

Набор признаков для сегментации статистики, например, k=(Q, L, C) – Запрос, Язык, Страна.

Smoothing (Сглаживание)

Техника комбинирования статистики разной гранулярности (например, глобальной и локальной) для обеспечения надежности данных при их недостатке.

Exponential Moving Average (EMA)

Метод расчета метрик, придающий больший вес свежим данным для учета трендов.

Ключевые утверждения (Анализ Claims)

Основные независимые пункты патента (Claims 1, 9, 17) фокусируются на методе определения релевантности, основанном на анализе кликов (CTR) в смешанной выдаче с учетом контекста пользователя.

Claim 1 (Независимый пункт): Описывает метод расчета относительной релевантности на основе сравнения CTR разных корпусов с учетом языка.

1. Система определяет количество показов и кликов для результатов из Базового корпуса (Base Corpus) в ответ на запрос Q.
2. Система определяет количество показов и кликов для результатов из Второго корпуса (Second Corpus) для того же запроса Q. (Уточняется, что результатов из второго корпуса меньше).
3. Ключевое условие сегментации: Эти данные собираются для поисков, инициированных пользователями, использующими определенный Язык (L) в разных странах.
4. Вычисляется CTR для Базового корпуса (BaseCTR).
5. Вычисляется CTR для Второго корпуса (OCTR).
6. Вычисляется Мера относительной релевантности, основанная на отношении CTR Второго корпуса к CTR Базового корпуса ($OCTR / BaseCTR$).
7. Эта мера передается в систему ранжирования для использования при обработке новых поисков.

Ядром изобретения является использование сравнительного CTR между разными типами контента в смешанной выдаче как прямого сигнала предпочтений пользователей для конкретного запроса и языкового контекста. Если пользователи систематически кликают на результаты из второго корпуса (например, Видео) чаще, чем на результаты из базового (Web), система повысит релевантность второго корпуса.

Claim 7 (Зависимый от 1): Уточняет механизм сглаживания данных по языку и стране.

Данные для расчета CTR берутся как из языковых (L), так и из страновых (C) сегментов. Итоговый расчет основывается на взвешенной комбинации (weighted combination) этих данных. Это позволяет системе комбинировать данные разной гранулярности (например, глобальные, языковые и страновые) для обеспечения статистической надежности метрик, особенно при недостатке данных в конкретном сегменте.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя офлайн-анализ для влияния на онлайн-ранжирование.

INDEXING – Индексирование
Контент должен быть классифицирован и отнесен к соответствующим корпусам (Web, Images, News и т.д.).

QUNDERSTANDING (Офлайн-анализ)
Основная вычислительная работа происходит офлайн. Система анализирует Session Logs для расчета статистики RSF и CTR Ratios для множества запросов, языков и стран. Применяются механизмы EMA и Smoothing. Данные сохраняются в базе данных.

RANKING – Ранжирование (Онлайн)
Генерируются кандидаты из различных корпусов и рассчитываются их базовые IR scores.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Ключевой этап применения. При получении нового запроса система извлекает рассчитанную Меру относительной релевантности для разных корпусов. Эта мера используется для модификации (бустинга или понижения) базовых IR scores результатов перед их финальным смешиванием в единую выдачу (SERP).

Входные данные:

• Запрос (Q), Язык (L), Страна (C).
• Базовые IR scores результатов из разных корпусов.
• База данных статистики по корпусам (RSF, CTR данные).

Выходные данные:

• Скорректированные IR scores.
• Финальный смешанный список результатов (Blended SERP).

На что влияет

• Специфические запросы: Наибольшее влияние на запросы, где интент пользователя сильно склоняется к определенному типу медиа (визуальные, новостные, инструкционные запросы) или где интент неоднозначен.
• Конкретные типы контента: Напрямую влияет на видимость и позиционирование блоков из вертикальных поисков (Картинки, Видео, Новости, Карты) в основной выдаче.
• Языковые и географические ограничения: Предпочтения корпусов рассчитываются с учетом контекста (L/C), поэтому выдача для одного и того же запроса может сильно отличаться по составу корпусов в разных странах.

Когда применяется

• Условия применения: Алгоритм применяется, когда система формирует смешанную (универсальную) выдачу и должна определить относительную важность результатов из разных корпусов.
• Триггеры активации: Наличие в базе данных достаточного объема статистики (выше порога T) для данного запроса, позволяющей рассчитать надежные показатели RSF или CTR Ratios.

Пошаговый алгоритм

Процесс А: Офлайн-анализ и генерация статистики (Периодический)

1. Сбор данных: Обработка логов сессий. Сбор данных о запросах (Q), корпусах (CP), показах, кликах, языке (L) и стране (C).
2. Агрегация и Сегментация: Агрегация данных по ключам разной гранулярности: (Q), (Q, L), (Q, L, C).
3. Расчет базовых метрик: Вычисление Corpus Search Fraction (R(Q,CP)) и CTR (OCTR, BaseCTR) для каждого сегмента.
4. Применение временного взвешивания (EMA): Обновление метрик с использованием Exponential Moving Average для придания большего веса свежим данным и учета трендов.
5. Сглаживание (Smoothing): Комбинирование статистики разной гранулярности для компенсации недостатка данных на детальных уровнях (например, если данных по стране мало, используются глобальные данные).
6. Расчет относительной релевантности: Вычисление RSF и отношений CTR между корпусами.
7. Фильтрация и Хранение: Фильтрация статистики ниже порога T и сохранение результатов в мастер-базе данных.

Процесс Б: Обработка запроса в реальном времени

1. Получение запроса и контекста: Получение Q, L, C от пользователя.
2. Генерация кандидатов: Поиск результатов в релевантных корпусах и расчет базовых IR scores.
3. Извлечение статистики: Запрос к базе данных для получения показателей относительной релевантности для данного Q, L, C.
4. Трансформация в бустинг-фактор: Преобразование показателей релевантности в множители для ранжирования (например, с помощью Squashing Function).
5. Модификация ранжирования: Применение бустинг-факторов к базовым IR scores результатов в зависимости от их корпуса.
6. Смешивание (Blending): Формирование итоговой смешанной выдачи на основе модифицированных оценок.

Какие данные и как использует

Данные на входе

Система полагается исключительно на поведенческие и контекстуальные данные, агрегированные из логов поиска.

• Поведенческие факторы:
  • Количество поисков запроса в определенном корпусе (S(Q,CP)).
  • Общее количество поисков в корпусе (S(CP)).
  • Показы (Impressions) и Клики (Clicks) на результаты из разных корпусов в смешанной выдаче.
• Пользовательские и Географические факторы: Язык (L) и Страна (C), используемые для сегментации всей статистики (Key k).
• Временные факторы: Дата/время действий используются для расчета EMA и приоритизации свежих данных.

Какие метрики используются и как они считаются

• Corpus Search Fraction (R(Q,CP)): Нормализованная популярность запроса внутри корпуса. $R(Q,CP) = S(Q,CP) / S(CP)$.
• Relative Search Fraction (RSF): Сравнение популярности между корпусами. $RSF = R(Q, CP2) / R(Q, CP1)$.
• CTR Ratio: Сравнение кликабельности в смешанной выдаче. $OCTR / BaseCTR$.

Методы обработки метрик:

• Exponential Moving Average (EMA): Используется для учета временной динамики. Формула, описанная в патенте, учитывает количество недавних поисков (N) как меру значимости недавних изменений: $R_{[d]} \leftarrow \alpha^{N}R_{[d-1]} + (1-\alpha^{N})(S_{d}(k)/S_{d}(k'))$ (упрощенное представление для R(k,CP)).
• Smoothing (Сглаживание): Используется для комбинирования данных разной гранулярности (например, глобальной и локальной) с использованием предопределенных констант (K) для взвешивания.
• Squashing Function: Используется для преобразования RSF в бустинг-фактор, ограничивая максимальное влияние. Пример из патента: $RSF*J / (RSF + J - 1)$, где J – константа.

1. Релевантность формата контента определяется поведением пользователей: Google активно измеряет и использует предпочтения пользователей относительно типа контента (корпуса) для конкретных запросов. Релевантность определяется не только темой, но и форматом подачи информации.
2. Два ключевых сигнала: Ожидание и Удовлетворенность: Система различает, где пользователи ожидают найти информацию (измеряется через Relative Search Fraction) и что они фактически выбирают (измеряется через отношение CTR разных корпусов в смешанной выдаче).
3. Критичность локализации и языка (Контекст): Статистика сегментируется по языку и стране. Поведение пользователей в одном регионе напрямую влияет на ранжирование в этом регионе. Механизм Smoothing обеспечивает надежность данных, комбинируя локальные и глобальные тренды при необходимости.
4. Адаптация к трендам (Свежесть): Использование Exponential Moving Average позволяет системе быстро реагировать на изменения в поведении пользователей и актуальные события, придавая больший вес недавним данным.
5. Инфраструктура Универсального Поиска: Этот механизм напрямую управляет составом универсальной выдачи и определяет видимость и позиционирование вертикальных блоков (картинки, видео, новости).

Best practices (это мы делаем)

• Комплексный анализ SERP и интента формата: Для ключевых запросов анализируйте, какие корпуса (вертикали) Google считает релевантными. Доминирование видео или картинок указывает на высокие показатели RSF и CTR Ratio для этих корпусов.
• Создание контента в предпочтительных форматах: Стратегия должна соответствовать предпочтениям пользователей. Если для запроса предпочтительнее видео (например, инструкции "How-to"), необходимо создавать и оптимизировать видеоконтент, а не только текст.
• Оптимизация под вертикальные поиски (VSEO, Image SEO): Уделяйте внимание оптимизации контента для Google Images, Google Video/YouTube, Google News. Высокая релевантность и хорошие поведенческие сигналы в этих вертикалях увеличивают вероятность бустинга в основном универсальном поиске.
• Максимизация CTR в смешанной выдаче: Оптимизируйте элементы, влияющие на кликабельность (миниатюры видео и картинок, заголовки). Высокий CTR вашего контента в блоках Universal Search напрямую сигнализирует системе о его релевантности (влияя на OCTR).
• Учет региональных особенностей (International SEO): Адаптируйте стратегию для разных рынков. Поскольку система использует сегментацию (Q,L,C), предпочтения форматов могут отличаться в зависимости от языка и страны.

Worst practices (это делать не надо)

• Игнорирование формата контента: Попытки ранжировать текстовый контент по запросам, где поведение пользователей явно указывает на предпочтение других медиаформатов. Система предпочтет результаты из более релевантного корпуса.
• Пренебрежение оптимизацией мультимедиа: Размещение неоптимизированных изображений или видео низкого качества. Такой контент не будет конкурентоспособен в вертикалях и не получит бустинга в универсальном поиске.
• Игнорирование трендов: Полагаться на устаревшее понимание интента. Благодаря EMA, система быстро реагирует на изменения. Если тренд смещается (например, к новостному контенту), нужно своевременно адаптироваться.

Стратегическое значение

Патент подтверждает стратегическую важность диверсификации контента и оптимизации под Универсальный Поиск. Он демонстрирует, что Google интерпретирует интент не только на семантическом уровне, но и на уровне формата подачи информации, основываясь на данных о поведении пользователей. Долгосрочная стратегия должна включать мониторинг предпочтений форматов и инвестиции в производство разнообразного контента для всех релевантных вертикалей.

Практические примеры

Сценарий: Оптимизация запроса "Как завязать галстук"

1. Анализ поведения (Данные Google): Система фиксирует, что пользователи часто ищут этот запрос в YouTube или Google Images (высокий RSF для Видео и Картинок). Также в смешанной веб-выдаче пользователи чаще кликают на видео или схемы-картинки, чем на текстовые инструкции (высокий OCTR по сравнению с BaseCTR).
2. Расчет релевантности: Google вычисляет высокую Measure of Relative Relevance для корпусов Видео и Картинки.
3. Действие SEO-специалиста: Приоритет отдается созданию короткого видео-руководства и пошаговой инфографики, а не длинной текстовой статьи.
4. Оптимизация: Видео и инфографика оптимизируются для соответствующих вертикалей. Особое внимание уделяется привлекательности миниатюр (Thumbnails) для повышения CTR в смешанной выдаче.
5. Результат: Система применяет бустинг к результатам из корпусов Видео и Картинки. Контент сайта занимает лидирующие позиции в соответствующих блоках универсального поиска, часто выше стандартных веб-результатов.