Как Google автоматически генерирует и выполняет поисковые запросы на основе того, что пользователь смотрит или слушает

Термины и определения

Event (Событие)

Любое живое исполнение, трансляция, воспроизведение или иная презентация живого или предварительно записанного контента (фильмы, телешоу, песни, концерты, спортивные мероприятия).

Subevent (Субсобытие) / Specific Action (Специфическое действие)

Конкретный момент или происшествие во время События. Может быть хронологическим (временная метка, глава) или нехронологическим (появление объекта, совершение действия, например, гол в матче).

Second-Screen Experience (Опыт второго экрана)

Отображение дополнительной (вторичной) информации на устройстве пользователя, синхронизированное с основным контентом.

Event Fingerprint (Цифровой отпечаток события)

Уникальный код (акустический, видео), сгенерированный на основе контента события. Используется для идентификации события и текущего субсобытия путем сравнения с окружающей средой пользователя (ambient audio or video).

Curated Flow (Курируемый поток)

Заранее определенная или динамически генерируемая последовательность поисковых запросов, запланированных для выполнения во время события.

Popular Search Queries (Популярные поисковые запросы)

Запросы, которые часто выполнялись пользователями в прошлом во время переживания определенного типа события. Основа для обучения системы.

Machine-Learned Model (Модель машинного обучения)

Модель (например, нейронная сеть, Байесовская сеть), используемая для анализа исторических данных и генерации правил, связывающих субсобытия с поисковыми запросами.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод работы системы, фокусируясь на использовании прошлых данных для генерации будущих автоматических запросов.

1. Получение данных о том, какие поиски выполнялись, когда медиа-служба транслировала различные типы событий множеству пользователей.
2. Определение на основе этих данных popular search queries, которые выполнялись во время определенного типа события.
3. Генерация правила для machine-learned model. Правило определяет конкретный запрос для выполнения, когда происходит специфическое действие (specific action) во время будущего воспроизведения того же типа события.
4. Сохранение этого запроса с идентификатором действия.
5. Определение того, что пользователь в данный момент испытывает событие того же типа. Это делается путем анализа ambient audio or video, захваченного устройством, на предмет наличия признаков, связанных с этим типом события (фингерпринтинг).
6. В ответ на это:
   • Определение, произошло ли или вот-вот произойдет специфическое действие.
   • Если да, извлечение сохраненного запроса по идентификатору действия.
   • Выполнение поиска по этому запросу.
   • Вывод на устройство индикации информации, полученной в результате поиска.

Ядро изобретения — использование агрегированных исторических данных о поведении пользователей для автоматической генерации и выполнения поисковых запросов во время будущих аналогичных событий, при этом контекст определяется через анализ окружающей среды.

Claim 2 (Зависимый): Уточняет процесс выполнения поиска.

Перед выполнением поиска система может получить дополнительную информацию (supplemental information) о текущем событии и модифицировать заранее подготовленный запрос на основе этой информации. Это позволяет уточнить запрос (например, использовать конкретное имя актера вместо общего термина).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, но его основное применение лежит в области контекстуализации и проактивного поиска.

QUNDERSTANDING – Понимание Запросов (Офлайн-анализ)
На этом этапе система работает преимущественно офлайн для подготовки Curated Flow. Она анализирует исторические логи поиска в привязке к потреблению медиаконтента. Используются модели машинного обучения для выявления паттернов (popular search queries) и генерации правил, определяющих, какие запросы следует автоматически выполнять в будущем.

RANKING / METASEARCH (Онлайн-исполнение и Презентация)
В реальном времени система выполняет следующие функции:

1. Контекстуализация: Система анализирует окружающую среду (ambient audio/video) и сравнивает с Event Fingerprints для идентификации события и субсобытия. Это требует согласия пользователя.
2. Триггеринг: При совпадении контекста с запланированным субсобытием активируется выполнение запроса.
3. Исполнение запроса: Система автоматически выполняет заранее определенный (и, возможно, модифицированный согласно Claim 2) поисковый запрос, используя стандартный поисковый движок.
4. Презентация: Результаты поиска форматируются (например, в виде карточек) и отправляются на устройство пользователя для отображения в интерфейсе "второго экрана".

Входные данные:

• Агрегированные исторические данные о поисковых запросах пользователей во время потребления медиаконтента.
• База данных Event Fingerprints.
• Контекстные данные реального времени с устройства пользователя (окружающее аудио/видео).
• Supplemental information (метаданные о событии, данные из графа знаний).

Выходные данные:

• Curated Flow: Набор запланированных поисковых запросов, привязанных к субсобытиям.
• Результаты поиска, автоматически предоставленные пользователю во время события.

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние оказывается на ниши, связанные с медиа (кино, музыка), спортом, новостями и крупными живыми событиями. Патент упоминает биографии, статистику, информацию о локациях, исторические справки.
• Специфические запросы: Влияет на генерацию информационных запросов о сущностях (люди, места, организации), которые появляются в контексте потребляемого медиаконтента.

Когда применяется

• Условие 1 (Согласие): Необходимо явное согласие пользователя на анализ контекстной информации (включая захват окружающего аудио/видео).
• Условие 2 (Обнаружение События): Система идентифицировала потребляемый пользователем контент (Event) через фингерпринтинг.
• Триггер активации: В этом контенте наступил определенный момент или произошло действие (Subevent / Specific Action), для которого запланирован поисковый запрос согласно правилам machine-learned model.

Пошаговый алгоритм

Процесс А: Подготовка потока запросов (Офлайн или Динамически)

1. Сбор исторических данных: Анализ данных о том, какие запросы выполнялись пользователями во время потребления различных типов медиаконтента.
2. Идентификация паттернов: Определение popular search queries, связанных с конкретными типами событий.
3. Генерация правил (ML): Использование машинного обучения для создания правил, которые связывают конкретные действия (subevents) в контенте с конкретными поисковыми запросами.
4. Уточнение запросов (Опционально): Модификация запросов на основе supplemental information о событии (например, использование конкретных имен сущностей).
5. Планирование и хранение: Сохранение поисковых запросов с идентификаторами соответствующих субсобытий (создание Curated Flow). Генерация Event Fingerprints для событий.

Процесс Б: Выполнение поиска (Реальное время)

1. Получение согласия пользователя: Запрос разрешения на анализ контекстной информации.
2. Сбор контекста: Захват окружающего аудио и/или видео (ambient audio or video) с устройства пользователя.
3. Идентификация события: Сравнение захваченного контекста с базой Event Fingerprints для определения события и синхронизации.
4. Мониторинг субсобытий: Отслеживание прогресса события для определения текущего subevent или действия. Система адаптируется к паузам и перемотке.
5. Проверка триггеров: Определение, существует ли запланированный запрос для текущего субсобытия.
6. Извлечение и Модификация запроса: Если триггер сработал, система извлекает запрос и может модифицировать его на основе актуального контекста (Claim 2).
7. Выполнение поиска: Автоматическое выполнение поискового запроса в поисковой системе в реальном времени.
8. Отображение результатов: Отправка полученной информации на устройство пользователя для отображения.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Исторические): Журналы поисковых запросов, агрегированные и анонимизированные. Ключевые данные для определения того, что искать во время событий.
• Контекстные факторы (Реальное время):
  • Окружающее аудио/видео (Ambient audio or video): Захватывается микрофоном или камерой устройства. Критически важно для создания Event Fingerprint, идентификации события и синхронизации.
  • Другие сенсорные данные: Местоположение, данные календаря могут использоваться для определения контекста (например, нахождение на стадионе).
• Контентные/Системные данные: Supplemental information (метаданные о событиях, данные из графов знаний, энциклопедий), используемые для уточнения запросов и создания отпечатков.

Какие метрики используются и как они считаются

• Популярность запросов (Popular search queries): Метрика, определяющая частоту выполнения определенных запросов во время конкретных событий в прошлом. Используется для выбора кандидатов для автоматического поиска.
• Совпадение отпечатков (Fingerprint matching): Метрика схожести между захваченным контекстом реального времени и сохраненными Event Fingerprints.
• Алгоритмы машинного обучения: В патенте упоминается использование machine-learned models для генерации правил. Примеры включают модели глубокого обучения, сети долгой краткосрочной памяти (LSTM), Байесовские сети и искусственные нейронные сети.

1. Новый источник поискового трафика (Проактивный поиск): Патент описывает механизм создания поискового спроса, который не зависит от ручного ввода запроса. Система сама генерирует и выполняет запросы на основе контекста медиапотребления пользователя.
2. Историческое поведение как основа предсказания: Система определяет, что искать, анализируя, что другие пользователи искали в аналогичных ситуациях в прошлом. Это подчеркивает важность понимания информационных потребностей аудитории во время конкретных событий.
3. Критичность распознавания контента: Эффективность системы зависит от способности точно идентифицировать событие и синхронизироваться с ним с помощью Event Fingerprints, получаемых через анализ окружающей среды (аудио/видео).
4. Динамическое выполнение и Приоритет свежести: Запросы выполняются в реальном времени, что гарантирует актуальность информации (например, текущий счет матча или свежие новости об актере), в отличие от статических "вторых экранов".
5. Возможности для уточнения запросов: Система может модифицировать заранее подготовленные запросы на лету (Claim 2), используя дополнительную информацию (supplemental information) для повышения точности.
6. Возможности для курирования: Патент предусматривает ручное, автоматическое и гибридное курирование запросов (Curated Flow), включая возможность для создателей контента (например, киностудий) управлять потоком информации.

Best practices (это мы делаем)

• Оптимизация под сущности, связанные с медиа и событиями: Это ключевая стратегия. Убедитесь, что ваш сайт предоставляет исчерпывающую и актуальную информацию о сущностях, которые могут быть интересны во время популярных событий (актеры, спортсмены, команды, локации съемок, исторические фигуры). Система будет генерировать запросы об этих сущностях.
• Актуальность и свежесть контента (Freshness): Поскольку запросы выполняются динамически во время события, критически важно поддерживать актуальность информации. Это особенно важно для спортивной статистики, новостей и трендов.
• Создание контента для "Микромоментов" событий: Анализируйте, какие вопросы возникают у зрителей в ключевые моменты (например, статистика после гола, биография актера при появлении). Создавайте контент, который точно отвечает на эти предсказуемые запросы.
• Структурирование данных (Schema.org): Используйте разметку для событий (Event, SportsEvent), людей (Person), организаций (Organization), мест (Place), а также медиаобъектов (Movie, TVSeries, MusicRecording). Это поможет поисковой системе использовать ваш контент в качестве ответа на автоматически сгенерированные запросы.
• Оптимизация под формат "карточек": Контент должен быть структурирован так, чтобы из него можно было легко извлечь краткий ответ, подходящий для отображения в формате информационных карточек (cards) на втором экране, аналогично Featured Snippets.

Worst practices (это делать не надо)

• Игнорирование медиа-контекста: Фокусироваться только на традиционном SEO и ключевых словах, игнорируя контекст, в котором ваш контент может быть востребован (например, во время трансляции Оскара или крупного матча).
• Предоставление устаревшей информации: Наличие статических страниц о сущностях или событиях без регулярного обновления снижает шансы на получение трафика от этой системы, так как она ищет актуальные данные в реальном времени.
• Создание общего, неспецифичного контента: Оптимизация только под общие запросы без создания глубокого контента о специфических сущностях (актеры, локации), которые система может искать автоматически во время просмотра.

Стратегическое значение

Этот патент подтверждает стратегическое движение Google к проактивному, контекстно-зависимому поиску, который не требует явного намерения пользователя в виде введенного запроса. Для SEO это означает расширение поля деятельности за пределы традиционной поисковой строки. Стратегия должна включать оптимизацию под "вездесущий поиск" (Ambient Computing), где любой контекст (в данном случае, медиапотребление) может стать триггером для поискового запроса. Возрастает важность оптимизации под сущности (Entity Optimization) и создания авторитетного контента.

Практические примеры

Сценарий: Оптимизация спортивного портала

1. Анализ потребностей: Изучение того, что болельщики ищут во время футбольного матча (статистика игрока, забившего гол; результаты параллельных матчей).
2. Подготовка контента: Создание детальных профилей игроков и страниц матчей с real-time обновлением статистики.
3. Техническая оптимизация: Обеспечение высокой скорости загрузки и использования структурированных данных (SportsEvent, Person).
4. Ожидаемый результат: Когда пользователь смотрит матч, система Google на его смартфоне распознает трансляцию. После гола (subevent) система автоматически генерирует запрос "[Имя Игрока] статистика сезон". Если ваш портал является лучшим ответом, он будет показан пользователю на "втором экране", генерируя трафик без ручного поиска.

Сценарий: Оптимизация сайта о кино

1. Анализ потребностей: Определение моментов в фильмах, вызывающих вопросы (место съемки экзотической сцены, актер второго плана).
2. Подготовка контента: Создание статей типа "Где снимали [Название фильма]" и биографий актеров.
3. Ожидаемый результат: Во время просмотра фильма система распознает сцену, автоматически генерирует запрос "[Название локации] фото" или "[Имя актера] другие фильмы" и показывает ссылку на ваш сайт в проактивном интерфейсе.