Как Google классифицирует запросы о медиа (фильмы, книги, музыка), используя данные из разных вертикалей поиска и поведенческие сигналы

Термины и определения

Candidate Queries (Кандидатские запросы)

Термины или фразы, связанные с исходным запросом. Могут включать подсказки (suggestions), предлагаемые пользователю при вводе запроса, или уточнения (refinements), которые пользователи добавляют к запросу вскоре после его отправки.

Media Category Keyword List (Список ключевых слов медиа-категории)

Предварительно сгенерированный список слов, тесно связанных с определенной категорией медиа. Например, для категории "Фильмы" это могут быть "DVD", "Blu-ray", "cast" (актерский состав), "movie".

Media Query (Медиа-запрос)

Поисковый запрос, который система классифицировала как относящийся к определенному типу медиа-контента.

Products Search Index (Индекс товарного поиска)

Специализированный индекс, содержащий информацию о документах, связанных с продуктами (товарами) и их категориями.

Search Probability Ratio (SPR) (Соотношение вероятности поиска)

Метрика, рассчитываемая путем деления Second Ratio на First Ratio. First Ratio отражает относительную частоту запроса в веб-поиске. Second Ratio отражает относительную частоту запроса в специализированном поиске.

Specialized Search Engine (Специализированная поисковая система)

Вертикальный поиск, сфокусированный на определенном типе информации (например, Товары, Книги, Новости, Изображения).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации медиа-запроса, комбинирующий данные товарного поиска и анализ частотности.

1. Система получает запрос.
2. Получает результаты из Products Search Index.
3. Определяет категорию этих результатов.
4. Идентифицирует Candidate Queries.
5. Проверяет, совпадает ли категория с одним из Candidate Queries.
6. Определяет First Ratio (на основе частоты в веб-поиске).
7. Определяет Second Ratio (на основе частоты в специализированном поиске, связанном с медиа или новостями).
8. Идентифицирует запрос как связанный с типом медиа, если категория совпала (шаг 5) И основываясь на First Ratio и Second Ratio (т.е. SPR).
9. Предоставляет специализированный result document.

Claim 3 (Зависимый от 1): Добавляет обязательную проверку по списку ключевых слов.

Идентификация происходит, только если выполнены условия Claim 1 И Candidate Queries совпадают со словами в Keyword List для данного типа медиа.

Claim 16 (Независимый пункт): Описывает альтернативную систему, полагающуюся на Keyword List и SPR, без обязательного использования товарного индекса для определения категории.

1. Система получает запрос и идентифицирует Candidate Queries.
2. Проверяется, совпадают ли Candidate Queries со словами в Keyword List (связанном с категорией медиа).
3. Определяются First Ratio и Second Ratio.
4. Запрос идентифицируется как медиа-запрос, если есть совпадение с Keyword List И основываясь на First Ratio и Second Ratio.
5. Предоставляется result document.

Где и как применяется

Изобретение применяется преимущественно на этапе понимания запроса для классификации интента.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система в реальном времени анализирует входящий запрос, используя данные из различных источников, чтобы классифицировать его как Media Query и определить его тип. Также на этом этапе (в офлайн-режиме) генерируются Media Category Keyword Lists.

INDEXING – Индексирование и извлечение признаков
Система использует данные, хранящиеся в Products Search Index и других специализированных индексах (Книги, Новости). Точность категоризации продуктов в этих индексах критически важна для работы алгоритма. Также собираются и обрабатываются логи запросов для расчета SPR.

METASEARCH – Метапоиск и Смешивание
Результатом работы алгоритма является принятие решения о показе специализированного result document. Это напрямую влияет на смешивание результатов (Universal Search) и формирование SERP, активируя показ товарных блоков, рекламы или других вертикальных результатов.

Входные данные:

• Исходный поисковый запрос.
• Результаты из Products Search Index и их категории.
• Candidate Queries (подсказки, уточнения).
• Media Category Keyword Lists.
• Логи запросов веб-поиска и специализированного поиска (для SPR).
• (Опционально) Результаты веб-поиска и списки имен.

Выходные данные:

• Классификация запроса (Media Query или нет) и тип медиа.
• Специализированный result document в SERP.

На что влияет

• Конкретные ниши или тематики: Ниши развлечений (фильмы, музыка, книги, видеоигры, ТВ-шоу) и связанный с ними E-commerce.
• Специфические запросы: Запросы, содержащие названия медиа-сущностей или имена авторов/исполнителей, особенно неоднозначные запросы.
• Типы контента: Страницы продуктов, обзоры, базы данных (IMDB, Goodreads).

Когда применяется

• Условия работы: Алгоритм активируется для запросов, которые потенциально могут быть связаны с медиа-продуктами.
• Триггеры и пороги: Финальная классификация зависит от выполнения ряда условий и достижения пороговых значений для различных метрик: Overall Score, SPR, количество совпадений с Keyword List, количество распознанных имен в запросе.

Пошаговый алгоритм

Патент описывает несколько взаимосвязанных процессов и вариантов реализации.

Процесс А: Офлайн-генерация списка ключевых слов (Media Category Keyword List)

1. Идентификация исходных запросов: Определяются частые запросы к товарному поиску, результаты по которым связаны с определенной медиа-категорией (например, Фильмы).
2. Сбор Кандидатских Запросов: Для этих запросов собираются Candidate Queries (подсказки) из веб-поиска.
3. Генерация и сортировка: Извлекаются уникальные ключевые слова из Candidate Queries и сортируются по частоте.
4. Фильтрация: Выбираются Топ-N слов. Удаляются стоп-слова и термины, не уникальные для данной категории.
5. Формирование списка: Сохраняется Media Category Keyword List.

Процесс Б: Онлайн-классификация запроса (Основной вариант)

1. Получение запроса.
2. Анализ товарных результатов: Идентифицируются результаты из Products Search Index. Определяется доминирующая Категория.
3. Получение Кандидатских Запросов: Идентифицируются Candidate Queries.
4. Оценка вероятности (Media Query Check): Определяется, является ли запрос, вероятно, медиа-запросом. Используется один из методов или их комбинация:
   • Метод 1 (Проверка совпадений): Проверяется совпадение Категории с Candidate Queries И совпадение Candidate Queries с Keyword List. Если оба условия выполнены, запрос идентифицируется как Media Query или Possible Media Query.
   • Метод 2 (Скоринг):
     1. Score 1: На основе товарных результатов (концентрация Категории).
     2. Score 2: На основе совпадения с Keyword List и Категорией.
     3. Score 3: На основе Search Probability Ratio (SPR).
     4. Score 4: На основе веб-результатов (наличие авторитетных сайтов по теме).
     5. Вычисляется Overall Score (агрегация). Если он превышает порог, запрос идентифицируется как Media Query или Possible Media Query.
5. Действие: Если запрос идентифицирован как Media Query, предоставляется специализированный result document.

Процесс В: Дополнительная верификация (для Possible Media Queries)

Если уверенность системы недостаточна (Possible Media Query), могут применяться дополнительные проверки:

1. Проверка SPR: Рассчитывается SPR. Если он превышает порог (например, для книг) или ниже порога (например, для старых фильмов, доступных для покупки), классификация подтверждается.
2. Проверка на несколько имен (для Фильмов): Определяется количество отдельных имен в запросе. Если превышает порог, классификация подтверждается.
3. Проверка по списку имен (для Музыки): Проверяется, совпадает ли имя в запросе со списком известных исполнителей. Если совпадает, классификация подтверждается.

Какие данные и как использует

Данные на входе

• Поведенческие факторы:
  • Журналы запросов (Query Logs) веб-поиска и специализированных вертикалей (Товары, Книги, Новости). Используются для расчета SPR и офлайн-генерации Keyword Lists.
  • Candidate Queries (подсказки, уточнения). Используются как индикатор коллективного интента.
• Контентные/Товарные факторы: Данные из Products Search Index, в частности, категоризация товаров.
• Веб-данные: Результаты веб-поиска используются для анализа присутствия авторитетных сайтов (co-occurring websites).
• Структурные факторы (запроса): Детекция сущностей (имен) в тексте запроса.

Какие метрики используются и как они считаются

• First Ratio (R1): Относительная частота запроса в веб-поиске. $R1 = \frac{\text{Частота запроса в Web}}{\text{Все запросы в Web}}$.
• Second Ratio (R2): Относительная частота запроса в специализированном поиске. $R2 = \frac{\text{Частота запроса в Спец. поиске}}{\text{Все запросы в Спец. поиске}}$.
• Search Probability Ratio (SPR): $SPR = \frac{R2}{R1}$. Высокий SPR указывает на сильную связь запроса со специализированной тематикой.
• Keyword Match Score: Оценка совпадения Candidate Queries с Keyword List. Может быть количеством совпадений или суммой весов совпавших слов (патент упоминает взвешивание).
• Overall Score: Агрегированная оценка (например, взвешенная сумма) различных баллов (Product Results Score, Keyword Match Score, SPR, Web Results Score).

1. Кросс-индексная классификация интента: Google активно использует сигналы из одного индекса (например, товарного, книжного, новостного) для интерпретации запроса в контексте другого (веб-поиска). То, как сущность категоризирована в одной вертикали, напрямую влияет на понимание связанных с ней запросов в основном поиске.
2. Поведенческие сигналы как ключевой индикатор интента: Candidate Queries (подсказки/уточнения) и логи запросов (для SPR) являются критически важными. Они показывают, как пользователи ассоциируют термины и в каком контексте (веб vs. вертикаль) они ищут информацию.
3. Автоматическая генерация словарей интентов: Система полагается на автоматически сгенерированные Keyword Lists, созданные путем анализа поведения пользователей. Это позволяет системе адаптироваться к изменениям языка и появлению новых терминов, связанных с медиа.
4. SPR как мера специализации: Search Probability Ratio является конкретной метрикой для определения того, насколько запрос "принадлежит" определенной вертикали.
5. Специфичные эвристики для разных категорий: Помимо общих механизмов, Google использует специфичные правила классификации, такие как обнаружение нескольких имен для фильмов или проверка по спискам исполнителей для музыки, что позволяет повысить точность классификации для разных типов медиа.

Best practices (это мы делаем)

• Обеспечение точной категоризации в товарных фидах и микроразметке: Критически важно для E-commerce. Так как система использует Products Search Index для определения категории запроса, необходимо передавать точную информацию о категории медиа-продуктов (книги, диски) в Google Merchant Center и использовать детальную разметку Schema.org (Product, Book, Movie и т.д.).
• Использование тематически релевантной лексики: При создании контента используйте терминологию, которая естественно ассоциируется с категорией и часто появляется в Candidate Queries. Например, для фильмов используйте термины "cast", "director", "blu-ray release date". Это помогает контенту соответствовать интенту, определенному через Keyword Lists.
• Оптимизация под сущности (Имена и Названия): Четко указывайте и размечайте имена актеров, авторов, исполнителей. Распознавание имен (особенно нескольких имен или имен из списков) является сильным сигналом для классификации запросов о фильмах и музыке.
• Анализ композиции SERP и подсказок: Изучайте Candidate Queries для целевых запросов. Это позволит понять, как Google классифицирует интент и какие термины он ассоциирует с данной медиа-категорией, что поможет в адаптации контент-стратегии.

Worst practices (это делать не надо)

• Неоднозначный контент без контекста: Публикация контента с неоднозначными названиями без четкого указания типа медиа (например, через разметку или контекст) затруднит классификацию запросов, ведущих на ваш сайт.
• Игнорирование товарной оптимизации при продаже медиа: Отсутствие оптимизированного товарного фида при продаже физических медиа-носителей лишает Google важного источника данных для классификации связанных запросов как Media Queries.
• Игнорирование вертикального поиска: Рассматривать веб-поиск в изоляции от других вертикалей (Google Books, Google News). Присутствие и активность в этих вертикалях влияет на расчет SPR и общее понимание системой связанных запросов.

Стратегическое значение

Патент подтверждает стратегию Google на глубокое понимание интента пользователя через анализ поведения и данных из различных вертикалей. Для SEO это означает, что успех в вертикальном поиске (например, качественный продуктовый фид) напрямую влияет на то, как Google интерпретирует и обрабатывает связанные запросы в веб-поиске. Это подчеркивает необходимость комплексной стратегии, охватывающей все релевантные индексы Google.

Практические примеры

Сценарий 1: Классификация неоднозначного запроса (Книга vs Фильм)

1. Запрос: Пользователь вводит "Dune".
2. Анализ товарных результатов: Система находит в Products Search Index результаты в категориях "Книги" и "Фильмы". Определяется доминирующая категория на основе баллов, например, "Книги".
3. Candidate Queries: Подсказки включают "Dune book", "Dune movie cast", "Dune author".
4. Проверка совпадений: Категория ("Книги") совпадает с подсказкой ("book"). Подсказки содержат слова из Keyword List для книг ("book", "author").
5. Расчет SPR: Система сравнивает частоту запроса в Google Books и Web Search. Допустим, SPR высокий.
6. Результат: Запрос классифицируется как Media Query (Книга). Google показывает специализированный блок с возможностью покупки книги (Result Document).

Сценарий 2: Использование эвристики для фильмов (Распознавание имен)

1. Запрос: "Mel Gibson and Danny Glover".
2. Предварительная классификация: Запрос идентифицируется как Possible Media Query (Фильм) на основе анализа подсказок и товарных результатов (например, DVD серии "Lethal Weapon").
3. Дополнительная верификация (Эвристика): Система применяет специфическую проверку для фильмов (Процесс В.2). Она распознает два отдельных имени: "Mel Gibson" и "Danny Glover".
4. Результат: Количество имен (2) превышает порог (например, > 1). Запрос подтверждается как Media Query (Фильм). В выдаче отображаются результаты о фильмах с участием этих актеров.