Как Google использует графовые нейросети для обнаружения развивающихся событий через анализ социальных сетей и поисковых запросов

Термины и определения

Alternative Query Suggestion (Предложение альтернативного запроса)

Запрос, предлагаемый пользователю, когда информация, отвечающая на его исходный запрос о развивающемся событии, еще недоступна. Может быть основан на запросах других пользователей, связанных с тем же событием.

Developing Event (Развивающееся событие)

Новое или "живое" событие (например, происшествие, срочная новость), информация о котором только начинает распространяться и еще может отсутствовать в традиционных источниках.

Diffusion of Information (Распространение информации)

Процесс распространения информации о событии через популяцию источников (например, пользователей социальных сетей).

Directed Graph (Направленный граф)

Структура данных, используемая для моделирования diffusion of information поверх underlying network model. Показывает поток информации между узлами во времени.

Embedding (Векторное представление)

Представление данных (например, текста запроса или направленного графа) в латентном пространстве (часто пониженной размерности).

GCN (Graph Convolutional Network, Графовая сверточная сеть)

Тип нейронной сети, предназначенный для обработки данных, представленных в виде графов. Упоминается как возможная реализация ML-модели.

GAN (Graph Attention Network, Графовая сеть внимания)

Тип нейронной сети для обработки графовых данных, использующий механизмы внимания. Упоминается как возможная реализация ML-модели.

GNN (Graph Neural Network, Графовая нейронная сеть)

Общий класс нейронных сетей для обработки графовых данных. Может использоваться для создания embeddings графов.

Live Data Stream (Поток данных в реальном времени)

Информационный поток, генерируемый пользователями или организациями, включающий обновления (текст, изображения, видео) с течением времени. Пример: лента в социальной сети.

Underlying Network Model (Базовая сетевая модель)

Структура данных, моделирующая связи между источниками информации. Включает узлы (источники) и ребра (пути коммуникации, например, подписки в социальных сетях).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обнаружения событий.

1. Мониторинг множества live data streams.
2. На основе мониторинга генерируется структура данных, моделирующая diffusion of information через популяцию.
3. Эта структура данных подается на вход ML-модели для генерации вывода, указывающего на вероятность (likelihood) возникновения developing event.
4. Если вероятность удовлетворяет критерию, система выводит информацию о событии.
5. Ключевое уточнение: Структура данных является графом, а ML-модель обучена с использованием исторических примеров, где каждый пример включает предшествующий граф, моделировавший распространение информации о подтвержденном прошлом событии (verified past event).

Claim 3 (Независимый пункт): Описывает метод оценки релевантности события для конкретного пользователя с использованием двухступенчатой ML-модели.

1. Мониторинг live data streams.
2. Генерация графа, моделирующего diffusion of information.
3. Применение графа к первой ML-модели для генерации embedding.
4. Применение этого embedding И предпочтений/интересов конкретного пользователя ко второй ML-модели для генерации прогнозируемой меры релевантности (predicted measure of relevancy) события для этого пользователя.
5. Если мера релевантности удовлетворяет критерию, информация о событии выводится пользователю.

Claim 4 (Независимый пункт): Аналогичен базовому процессу Claim 1, но с уточнением типа ML-модели.

• Процесс мониторинга, генерации структуры данных, применения ML-модели для оценки вероятности события и вывода информации.
• Ключевое уточнение: ML-модель является моделью, обученной для работы с графовыми входными данными (например, GNN, GCN, GAN).

Claim 5 (Независимый пункт): Аналогичен базовому процессу Claim 1, но с уточнением источника выводимой информации.

• Процесс мониторинга, генерации структуры данных, применения ML-модели для оценки вероятности события и вывода информации.
• Ключевое уточнение: Выводимая информация о событии определяется, по крайней мере частично, на основе корпуса запросов (corpus of queries), отправленных в поисковые системы и связанных с этим событием.

Где и как применяется

Изобретение охватывает несколько этапов поисковой архитектуры, фокусируясь на сборе данных в реальном времени и понимании запросов для предоставления свежей информации.

CRAWLING – Сканирование и Сбор данных
Система активно собирает данные не из традиционного веба, а из live data streams (социальные сети A, B) и потока поисковых запросов (через Query Monitor). Это механизм сбора данных в реальном времени.

INDEXING – Индексирование и извлечение признаков
Полученные данные обрабатываются для построения структур: Underlying Network Model (моделирование связей между источниками) и Directed Graph (моделирование распространения конкретной информации). Также на этом этапе (или офлайн) происходит обучение графовых ML-моделей на исторических данных.

QUNDERSTANDING – Понимание Запросов
Query Monitor анализирует входящие запросы для обнаружения кластеров семантически связанных запросов, которые могут указывать на developing event. Также система использует запросы других пользователей как источник информации для генерации alternative query suggestions (Claim 5).

RANKING / RERANKING – Ранжирование и Переранжирование
Хотя патент не фокусируется на ранжировании традиционных веб-результатов, он описывает механизм оценки актуальности и релевантности обнаруженного события для пользователя. Если событие признано релевантным (Claim 3), информация о нем предоставляется пользователю, что можно рассматривать как форму ранжирования свежего контента или ответа ассистента.

Входные данные:

• Потоки данных из социальных сетей (Live data streams).
• Поток поисковых запросов.
• Данные о связях между источниками (для построения Underlying Network Model).
• Признаки пользователя (user features, preferences or interests).
• Исторические данные о подтвержденных событиях и графах их распространения (для обучения ML).

Выходные данные:

• Оценка вероятности возникновения события (likelihood of occurrence).
• Оценка релевантности события для пользователя (measure of relevancy).
• Информация о событии, предоставляемая пользователю (например, уведомление, ответ ассистента).
• Alternative query suggestions.

На что влияет

• Конкретные типы контента: В первую очередь влияет на контент в реальном времени – посты в социальных сетях, срочные новости, обновления статусов.
• Специфические запросы: Запросы о текущих событиях, происшествиях, трендах (QDF - Query Deserves Freshness).
• Конкретные ниши или тематики: Новости, спорт, политика, чрезвычайные ситуации – любые тематики, где информация быстро устаревает.

Когда применяется

• Условия работы: Алгоритм активируется при обнаружении потенциального developing event. Это может быть вызвано всплеском семантически связанных постов в социальных сетях или кластером похожих поисковых запросов.
• Триггеры активации: Система постоянно мониторит потоки данных. Триггером для запуска анализа (построения графа и применения ML) является обнаружение паттерна распространения информации, который потенциально соответствует новому событию.
• Условия вывода: Информация выводится пользователю, только если вероятность события (Claim 1) или его релевантность для пользователя (Claim 3) удовлетворяет определенному критерию (порогу).

Пошаговый алгоритм

Процесс А: Обнаружение события и оценка вероятности (на основе Claim 1, 4)

1. Непрерывный мониторинг: Система отслеживает множество live data streams и/или поисковых запросов.
2. Идентификация потенциального события: Обнаружение кластеров семантически связанного контента или аномальной активности в потоках данных.
3. Построение базовой модели: Использование существующей или генерация Underlying Network Model, отражающей связи между источниками, участвующими в обсуждении.
4. Моделирование распространения: Генерация структуры данных (например, Directed Graph), которая моделирует diffusion of information о потенциальном событии через эту популяцию во времени.
5. Обработка графа ML-моделью: Применение структуры данных в качестве входных данных для модели машинного обучения, обученной на графах (например, GCN, GAN).
6. Генерация вывода: Получение вывода от ML-модели, указывающего на вероятность (likelihood) возникновения developing event.
7. Принятие решения: Сравнение вероятности с пороговым критерием.
8. Вывод информации: Если критерий удовлетворен, система инициирует вывод информации о событии (например, уведомление).

Процесс Б: Оценка релевантности для пользователя (на основе Claim 3)

1. Генерация графа: (Шаги 1-4 Процесса А).
2. Генерация векторного представления: Применение графа к первой ML-модели (например, GNN) для генерации embedding.
3. Сбор признаков пользователя: Получение данных о предпочтениях, интересах, местоположении пользователя.
4. Оценка релевантности: Применение embedding графа И признаков пользователя ко второй ML-модели.
5. Генерация вывода: Получение прогнозируемой меры релевантности события для пользователя.
6. Принятие решения и Вывод: Если релевантность удовлетворяет критерию, информация о событии предоставляется конкретному пользователю.

Процесс В: Использование поисковых запросов (на основе Claim 5, 6)

1. Обнаружение события: (Выполнение Процесса А или Б).
2. Сбор корпуса запросов: Идентификация корпуса поисковых запросов, связанных с обнаруженным событием.
3. Генерация ответов: Когда пользователь спрашивает о событии, а традиционные источники еще не содержат ответа, система использует собранный корпус запросов для предоставления информации.
4. Формирование альтернативных предложений: Генерация alternative query suggestions на основе запросов других пользователей для предоставления пользователю дополнительной информации или уточнения интента.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст, изображения, видео из live data streams (посты в социальных сетях). Текст поисковых запросов.
• Временные факторы: Временные метки постов и запросов критически важны для моделирования diffusion of information во времени.
• Структурные факторы (Социальные): Данные о связях между источниками (кто на кого подписан, кто кого репостит) для построения Underlying Network Model.
• Географические факторы: Местоположение источников (например, GPS координаты с мобильных устройств), упоминания локаций в постах/запросах. Используются для кластеризации информации о локальных событиях.
• Пользовательские факторы: Признаки пользователя (user features), предпочтения, интересы, демография. Используются для оценки релевантности события для конкретного пользователя.
• Данные об источниках: Предполагаемая надежность/авторитетность источников (например, официальные аккаунты служб быстрого реагирования, журналисты). Патент указывает, что ML-модель может обучаться определять надежность отдельных источников в процессе тренировки.

Какие метрики используются и как они считаются

• Likelihood of Occurrence (Вероятность возникновения): Метрика, генерируемая ML-моделью на основе анализа графа распространения информации. Указывает на уверенность системы в том, что событие действительно происходит.
• Measure of Relevancy (Мера релевантности): Метрика, прогнозирующая, насколько событие будет интересно конкретному пользователю. Рассчитывается ML-моделью на основе embedding графа и признаков пользователя.
• Критерии/Пороги: Пороговые значения для Likelihood of Occurrence и Measure of Relevancy, при превышении которых система инициирует вывод информации.
• Вероятностные модели: Патент упоминает конкретные формулы для моделирования вероятности, обусловленной признаками пользователя и структурой графа:

$P(\text{событие в узле x }|\text{ признаки пользователя}, \text{ граф})$

Или совместная вероятность:

$P(\text{событие в узле x}, \text{ пользователь наблюдает событие в узле x }|\text{ признаки пользователя}, \text{ признаки графа})$

• Методы машинного обучения: Используются специализированные архитектуры для работы с графами: GNN, GCN, GAN. Обучение происходит на исторических данных (verified past events) с использованием методов вроде градиентного спуска и обратного распространения ошибки для минимизации функции потерь (loss function).

1. Анализ распространения информации как ключевой сигнал: Google анализирует не только содержание сообщений о событии, но и то, КАК эта информация распространяется (diffusion of information). Паттерн распространения моделируется в виде графа и анализируется с помощью сложных ML-моделей (GNN/GCN/GAN).
2. Автоматическое определение надежности источников: Графовые модели обучаются распознавать надежные источники. Узлы в графе, соответствующие авторитетным источникам (например, СМИ, официальные службы), могут получать больший вес. Система также учится отличать очевидцев от источников слухов.
3. Двухэтапная оценка: Вероятность и Релевантность: Система разделяет оценку того, происходит ли событие (Likelihood of Occurrence), и оценку того, интересно ли оно конкретному пользователю (Measure of Relevancy). Для оценки релевантности может использоваться двухступенчатая модель: первая создает embedding графа, вторая использует его вместе с признаками пользователя.
4. Запросы как источник информации: Если информация о событии еще отсутствует в индексе, Google может использовать поисковые запросы других пользователей, связанных с этим событием, для генерации ответов или alternative query suggestions. Это позволяет предоставить хоть какую-то информацию в условиях ее дефицита.
5. Важность Real-Time данных: Патент подчеркивает важность мониторинга live data streams (социальных сетей) для обнаружения событий быстрее традиционных новостных агентств.

Best practices (это мы делаем)

Рекомендации сфокусированы на стратегиях для издателей новостей и создателей контента в реальном времени.

• Максимизация скорости и точности публикаций: Необходимо быть в числе первых источников, публикующих точную информацию о развивающемся событии. Это увеличивает вероятность того, что ваш контент станет основой для формирования графа распространения информации.
• Активное использование социальных сетей для распространения: Поскольку система мониторит live data streams, активное и быстрое распространение новостей через официальные социальные каналы критически важно. Необходимо стимулировать распространение информации пользователями (репосты).
• Построение авторитетности в социальных сетях: Необходимо развивать авторитетные аккаунты (узлы в Underlying Network Model). Патент указывает, что ML-модели учатся определять надежность узлов. Авторитетные аккаунты с большим количеством связей и историей достоверных публикаций будут иметь больший вес в графе.
• Мониторинг поисковых трендов и запросов: Отслеживание всплесков запросов (например, через Google Trends) помогает понять, какую именно информацию ищут пользователи (corpus of queries). Быстрое создание контента, отвечающего на эти конкретные вопросы, повышает релевантность.
• Использование геолокационных сигналов: Для локальных новостей важно указывать точное местоположение события, так как система использует географические данные для кластеризации и определения релевантности.

Worst practices (это делать не надо)

• Распространение непроверенной информации и слухов: Публикация недостоверной информации негативно скажется на надежности источника (узла в графе). ML-модели обучаются минимизировать вес ненадежных источников при анализе diffusion of information.
• Игнорирование социальных сетей как канала дистрибуции: Полагаться только на трафик из органического поиска для новостного контента неэффективно. Если информация не распространяется через live data streams, система может не обнаружить ее достаточно быстро.
• Медленная реакция на события: Задержка в публикации приводит к тому, что другие источники сформируют начальный граф распространения, и догнать их будет сложнее.
• Манипуляции с распространением (боты): Попытки искусственно ускорить распространение информации через сети ботов могут быть обнаружены при анализе графа, так как паттерны распространения будут отличаться от органических, что приведет к потере доверия к источнику.

Стратегическое значение

Патент подтверждает стратегическую важность интеграции SEO и SMM для работы с трендами и новостями. Для Google важно не просто найти контент, но и верифицировать его в реальном времени. Верификация происходит через анализ паттернов распространения информации и авторитетность участвующих узлов. Это означает, что для доминирования в Real-Time Search необходимо быть не только быстрым, но и иметь сильную, авторитетную сеть дистрибуции контента в социальных медиа. Использование графовых нейросетей для этих задач указывает на высокий уровень сложности алгоритмов, используемых Google для оценки свежего контента.

Практические примеры

Сценарий: Освещение локального происшествия новостным порталом

1. Мониторинг: Редакция отслеживает локальные группы и аккаунты служб быстрого реагирования (источники из патента). Появляются первые сообщения о крупном ДТП.
2. Быстрая верификация: Журналист быстро проверяет информацию через официальные каналы.
3. Публикация и посев: Новостной портал немедленно публикует короткую заметку с подтвержденными фактами и одновременно размещает ее в своих авторитетных социальных аккаунтах (Twitter, Facebook) с призывом делиться информацией.
4. Действие системы Google (по патенту): Google обнаруживает всплеск активности. Строится Directed Graph. Поскольку информация исходит от авторитетного новостного аккаунта (надежный узел) и быстро распространяется органически, графовая нейросеть (GCN/GAN) присваивает событию высокую Likelihood of Occurrence.
5. Результат: Новость быстро попадает в Топ-новости или другие блоки с актуальной информацией. Пользователи, ищущие информацию о ДТП, видят этот материал или получают уведомления, если система оценила событие как релевантное для них (например, из-за их местоположения).