Как Google использует машинное обучение для автоматического расширения запросов о фильмах и сериалах и показа связанного контента

Термины и определения

Context Vector (Вектор контекста)

Представление запроса, сгенерированное системой обучения. Оно отражает взаимосвязь слов запроса с медиа-связанными словами в графе. Может создаваться путем анализа документов, найденных по терминам запроса, и использоваться для определения семантической близости.

Electronic Program Guide (EPG) grid (Сетка электронной программы передач)

Специализированный формат отображения результатов медиапоиска, показывающий каналы и время трансляции программ.

Graph (Граф)

Структура данных в системе машинного обучения, которая отображает связи между медиа-связанными словами или группами слов. Связи могут быть взвешены нормализованными оценками (normalized scores).

Machine learning system (Система машинного обучения)

Компонент, обученный на медиа-контенте для определения взаимосвязей между терминами и классификации запросов.

Normalized score (Нормализованная оценка)

Метрика (например, от 0 до 1), представляющая силу связи или степень корреляции между терминами в графе системы машинного обучения.

One box

Специально отформатированный блок результатов поиска для определенного типа информации, который отличается от стандартных веб-результатов.

Query Reformatter (Преобразователь запросов)

Компонент системы, который анализирует запросы и добавляет к ним медиа-связанные термины для генерации более широких запросов.

Whitelist (Белый список)

База данных запросов или терминов, которые ранее были определены как связанные с медиа. Используется для классификации входящих запросов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод расширения медиа-поиска и представления результатов.

1. Система получает поисковый запрос от пользователя.
2. Идентифицируются медиа-термины в запросе, и определяется, что запрос соответствует первой медиа-категории.
3. Идентифицируется вторая, отличная от первой, медиа-категория, основанная на первой.
4. Определяются дополнительные медиа-термины на основе второй категории.
5. Без дополнительного ввода пользователя генерируется новый запрос, включающий исходные и дополнительные термины (которые пользователь не вводил). Этот запрос шире исходного.
6. Запрос отправляется в поисковую систему.
7. Генерируется код для специализированного отображения результатов (список рядом с сеткой EPG).
8. Результаты передаются на устройство пользователя.

Система активно определяет медиа-интент (Категория 1) и находит связанные концепции (Категория 2). Запрос автоматически расширяется терминами из Категории 2 для извлечения более широкого набора результатов.

Claim 3 (Зависимый от 2): Уточняет метод идентификации медиа-терминов.

Идентификация включает определение расстояния (distance) между терминами запроса и терминами в графе взаимосвязей слов (graph of word and word group relationships) в системе машинного обучения.

Сходство и связанность терминов рассчитываются с использованием пространственного расстояния в рамках обученной модели.

Claim 4 (Зависимый от 1): Уточняет структуру расширенного запроса.

Сгенерированный запрос включает термины, соединенные открытыми булевыми коннекторами (open-ended Boolean connectors), что подразумевает использование оператора OR для расширения поиска и увеличения полноты выдачи (Recall).

Claim 6 (Зависимый от 1): Уточняет процесс генерации запроса.

Генерация включает предоставление слов или групп слов системе машинного обучения, которая была обучена на медиа-контенте. Механизм расширения специализирован для медиа-вертикали.

Claim 8 (Зависимый от 7): Описывает использование вектора контекста.

Генерация запроса включает отправку слов из запроса в систему обучения для генерации context vector. Этот вектор указывает на взаимосвязь между словами запроса и медиа-словами в графе.

Где и как применяется

Изобретение в первую очередь применяется на этапе понимания запроса и влияет на этап формирования выдачи.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система выполняет следующие действия:

1. Классификация запроса: Определяет, является ли запрос медиа-ориентированным, используя whitelists или ML-модели.
2. Расширение запроса (Query Broadening): Query Reformatter использует machine learning system (граф взаимосвязей, context vector) для поиска семантически связанных терминов.
3. Переписывание запроса: Создание нового, более широкого запроса с использованием булевых операторов.

RANKING – Ранжирование
Расширенный запрос передается поисковой системе. Система ранжирования обрабатывает этот более широкий запрос, что приводит к извлечению большего количества кандидатов, связанных как с исходным, так и с расширенным намерением.

METASEARCH – Метапоиск и Смешивание
Патент явно описывает специальное форматирование результатов. Система агрегирует результаты расширенного поиска и форматирует их для отображения в специализированных блоках (One box) или вертикальных интерфейсах (сетка EPG grid).

Входные данные:

• Исходный запрос пользователя.
• Данные machine learning system (граф взаимосвязей, обученный на медиа-контенте).
• Whitelists медиа-терминов.
• Данные веб-поиска (используемые для генерации context vectors).

Выходные данные:

• Расширенный поисковый запрос (передается в Search Engine).
• Отформатированный код для отображения медиа-результатов (например, EPG grid).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на короткие, неоднозначные запросы (например, "Lost") или запросы по узким темам/малоизвестным произведениям, где требуется дополнительный контекст.
• Конкретные ниши или тематики: Влияет исключительно на вертикаль медиа и развлечений (ТВ-шоу, фильмы, актеры, видео).
• Форматы контента: Влияет на формирование специализированных блоков выдачи (SERP Features), таких как карусели видео, панели знаний и, как описано в патенте, EPG grid.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система с достаточной степенью уверенности классифицирует запрос как медиа-связанный (media-related). Это может быть основано на наличии терминов в whitelist или на близости к медиа-концепциям в обученной модели.
• Условия работы: Применяется, когда система машинного обучения может найти дополнительные термины, которые имеют высокую степень корреляции (normalized score) с терминами исходного запроса, что позволяет расширить поиск без потери релевантности.

Пошаговый алгоритм

Процесс обработки и расширения медиа-запроса

1. Получение и парсинг запроса: Система получает запрос и разбирается на составные части (слова или группы слов).
2. Классификация запроса (Опционально): Система определяет, является ли запрос медиа-связанным (проверка по whitelist или оценка уверенности ML-модели).
3. Идентификация поисковых терминов: Выделяются ключевые термины из запроса.
4. Поиск похожих терминов (Расширение):
   • Термины передаются в machine learning system.
   • Система может генерировать context vector для запроса (например, анализируя результаты поиска по этим терминам).
   • Определяется расстояние (distance) между терминами запроса и терминами в графе взаимосвязей.
   • Выбираются термины, которые находятся близко к терминам запроса в графе (семантически похожи).
5. Конструирование расширенного запроса: Создается новый запрос, включающий исходные и похожие термины, соединенные с помощью open-ended Boolean connectors (например, OR).
6. Выполнение поиска: Расширенный запрос отправляется в поисковую систему.
7. Форматирование и предоставление результатов: Полученные медиа-результаты форматируются (например, в EPG grid) и передаются пользователю.

Какие данные и как использует

Данные на входе

• Системные данные (Модели и Списки):
  • Whitelist: Списки терминов для классификации запроса как медиа-связанного.
  • Trained Data: Данные machine learning system, включающие граф связей между медиа-терминами и normalized scores.
• Внешние данные (для Context Vectors): Упоминается использование результатов веб-поиска (dynamic search results) для генерации context vectors. Система анализирует документы, возвращаемые по частям исходного запроса, чтобы понять контекст.
• Поведенческие факторы (Косвенно): Логи прошлых поисков и поведение пользователей могут использоваться для обучения ML-системы и определения оценок уверенности (Confidence Scores) медиа-интента.

Какие метрики используются и как они считаются

• Normalized Score (Нормализованная оценка): Метрика (например, 0-1), используемая в графе машинного обучения для количественной оценки силы связи между двумя терминами или концепциями.
• Distance (Расстояние): Метрика близости между терминами запроса и терминами в графе машинного обучения. Используется для идентификации медиа-интента и поиска связанных терминов.
• Confidence Score (Оценка уверенности): Вероятностная оценка того, что запрос является медиа-связанным. Может основываться на анализе прошлых поисков и поведении пользователей.
• Context Vector Similarity (Сходство контекстных векторов): Метрика (например, косинусное расстояние или результат функции ядра, упомянутой в описании), используемая для сравнения context vector исходного запроса с векторами других терминов для определения семантической близости.

1. Автоматическое расширение запросов — ключевой механизм Query Understanding: Google может автоматически и прозрачно для пользователя переписывать узкие запросы в более широкие в специфических вертикалях (как медиа). Это делается для улучшения полноты выдачи (Recall) и удовлетворения более широкого интента.
2. Использование специализированных ML-моделей для вертикалей: Патент описывает machine learning system, специально обученную на медиа-контенте. Это указывает на то, что Google использует разные модели или графы знаний для разных вертикалей для более точного понимания контекста и взаимосвязей сущностей внутри них.
3. Семантическая близость определяется через графы и Context Vectors: Связь между концепциями определяется не по ключевым словам, а по расстоянию (distance) в семантическом графе и схожести context vectors. Это позволяет системе справляться с неоднозначностью и находить концептуально близкие сущности.
4. Ранжирование за пределами ключевых слов: Благодаря расширению запросов контент может ранжироваться по запросам, для которых он напрямую не оптимизирован, если он релевантен добавленным системой терминам.
5. Идентификация интента как триггер: Точная классификация запроса как медиа-ориентированного критически важна, так как она запускает как механизм расширения, так и специализированное форматирование выдачи (EPG grid, One box).

Best practices (это мы делаем)

Рекомендации наиболее актуальны для сайтов в медиа-вертикали (ТВ, кино, стриминг, обзоры, базы данных актеров).

• Укрепление связей между сущностями (Entity Association): Необходимо убедиться, что контент четко связывает медиа-сущности. Страница о фильме должна содержать структурированную информацию об актерах, режиссере, жанре и связанных фильмах (через перелинковку, категоризацию). Это поможет Google распознать эти связи и включить ваш контент в результаты по расширенным запросам.
• Комплексное покрытие темы (Topical Authority): Создавайте хабы контента, которые полностью охватывают медиа-франшизу или жанр. Если Google расширяет запрос от конкретного шоу до более широкого жанра, авторитетный ресурс по этой теме имеет больше шансов ранжироваться.
• Оптимизация под семантическое сходство (Context Vectors): Используйте язык и терминологию, которые естественно встречаются в контексте обсуждаемой темы. Убедитесь, что страница о сериале также содержит упоминания ключевых актеров и создателей, так как эти термины могут быть добавлены системой при расширении запроса.
• Использование микроразметки: Внедряйте максимально подробную разметку Schema.org (Movie, TVSeries, Person), чтобы явно указать поисковым системам на сущности и их взаимосвязи. Это облегчает экстракцию данных и может способствовать попаданию в специализированные форматы выдачи (современные аналоги EPG grid – карусели, панели знаний).

Worst practices (это делать не надо)

• Изолированный контент (Thin Content Silos): Создание отдельных страниц для каждой сущности без четких связей между ними. Если страница об актере не связана с фильмами, в которых он играл, система может не установить сильную ассоциацию, и страница не будет ранжироваться при расширении запроса о фильме.
• Фокус только на основном ключевом слове: Оптимизация страницы исключительно под название фильма/шоу. Поскольку система активно расширяет запрос, игнорирование связанных сущностей и контекстуальных терминов снижает потенциальный охват.
• Игнорирование неоднозначности: Не предоставлять достаточный контекст для неоднозначных названий. Если контекст неясен (например, не указано, что это фильм или сериал), система может не классифицировать запрос как медийный или расширить его неправильно.

Стратегическое значение

Этот патент подтверждает стратегическую важность семантического поиска и понимания связей между сущностями, что является основой Knowledge Graph. Для SEO в медиа-нише стратегия должна строиться не вокруг ключевых слов, а вокруг сущностей и их взаимосвязей. Google стремится отвечать на интент пользователя, даже если он не был явно выражен в запросе. Понимание механизмов Query Broadening позволяет SEO-специалистам создавать контент, который соответствует этой расширенной интерпретации запроса.

Практические примеры

Сценарий: Оптимизация сайта обзоров сериалов для Query Broadening

1. Ситуация: Пользователь ищет "Freaks and Geeks" (старый, но культовый сериал).
2. Действие Google (согласно патенту): Google классифицирует запрос как медиа. Machine learning system определяет, что сериал "Square Pegs" тесно связан с ним по жанру и тематике (используя граф связей – это пример из описания патента). Google расширяет запрос.
3. Расширенный запрос (внутренний): (Упрощенно) ["Freaks and Geeks" OR "Square Pegs"].
4. Действия SEO-специалиста:
   • На странице обзора "Freaks and Geeks" создать блок "Похожие сериалы", где явно упоминается и ссылается "Square Pegs".
   • Использовать общую категорию или тег (например, "Школьные драмеди") для обоих сериалов.
   • Убедиться, что оба сериала размечены через TVSeries Schema.org.
5. Ожидаемый результат: Страница сайта о "Square Pegs" получает шанс ранжироваться по запросу "Freaks and Geeks" (в рамках расширенного поиска), так как Google видит сильную семантическую связь, подтвержденную структурой сайта.