Как Google анализирует личные фото и видео пользователей для определения их интересов и персонализации контента

Описание

Какую задачу решает

Патент решает задачу выявления интересов пользователя из неиспользуемых ранее источников данных, а именно – личных цифровых медиафайлов (фото, видео, аудио), созданных или потребляемых пользователем. Цель – улучшить персонализацию и проактивную доставку контента. Изобретение также решает проблему конфиденциальности, предлагая локальную обработку медиафайлов на устройстве, и проблему точности, внедряя механизмы для отделения реальных интересов от случайных объектов, попавших в кадр.

Что запатентовано

Запатентована система для прогнозирования тем, потенциально релевантных пользователю (Topics of Potential Relevance), путем анализа его цифровых медиафайлов. Система использует обученные модели машинного обучения (часто локально на устройстве) для распознавания объектов в этих файлах. Затем она анализирует эти объекты, учитывая их иерархию (Genus), четкость (Measure of Focus) и значимость в кадре (Measure of Prominence), чтобы вывести интересы пользователя. Эти интересы используются для курирования и предоставления персонализированного контента.

Как это работает

Система работает в несколько этапов:

• Сбор данных: Получение доступа к медиафайлам, созданным или просмотренным пользователем.
• Распознавание объектов: Применение моделей машинного обучения (например, CNN) для обнаружения объектов в файлах. Это может происходить локально на устройстве (On-device Processing) для сохранения конфиденциальности.
• Анализ признаков: Оценка четкости (Measure of Focus) и заметности (Measure of Prominence) обнаруженных объектов.
• Анализ частотности: Оценка того, насколько часто объект встречается в общем корпусе медиафайлов пользователей (Object Frequency), чтобы отфильтровать обыденные объекты (например, мебель).
• Идентификация тем: Использование иерархии тем или Knowledge Graph для группировки объектов в более широкие категории интересов (Genus).
• Доставка контента: Проактивное предоставление пользователю информации, связанной с выявленными интересами (например, через уведомления или персонализированную выдачу).

Актуальность для SEO

Высокая. Персонализация, проактивная доставка контента (например, Google Discover) и машинное зрение являются ключевыми направлениями развития Google. Акцент на обработке данных локально на устройстве (On-device ML) соответствует современным требованиям к конфиденциальности. Этот патент напрямую описывает механизмы, которые могут использоваться для формирования ленты Discover на основе анализа личных данных (например, Google Photos).

Важность для SEO

Влияние на SEO значительно, но косвенно (6.5/10). Патент не описывает алгоритмы ранжирования веб-контента, но он критически важен для понимания того, как Google формирует профиль интересов пользователя. Эти профили напрямую влияют на персонализацию поисковой выдачи и, что особенно важно, на работу Google Discover. Понимание этого механизма позволяет оптимизировать контент под интересы и сущности, а не только под ключевые слова.

Детальный разбор

Термины и определения

Digital Media Files (Цифровые медиафайлы)

Цифровые изображения, видео, аудиофайлы, созданные или полученные пользователем.

Genus (Род / Категория)

В контексте патента – более широкая категория или тема в иерархии тем (Topic Hierarchy), которая объединяет два или более обнаруженных объекта. Используется для определения интереса пользователя.

Knowledge Graph Engine (Движок Графа Знаний)

Компонент системы, предоставляющий доступ к Knowledge Graph для понимания связей между объектами и сущностями и определения иерархии тем.

Measure of Focus (Мера фокуса / Четкость)

Метрика, оценивающая четкость объекта в изображении, часто по сравнению с другими объектами (насколько размыт объект). Используется для фильтрации нерелевантных или случайных объектов.

Measure of Prominence (Мера заметности / Значимость)

Метрика, оценивающая, насколько выделяется объект в изображении. Учитывает позицию, размер относительно кадра и других объектов.

Object Frequency Engine (Движок частотности объектов)

Компонент, определяющий частоту появления объекта в корпусе медиафайлов популяции пользователей. Используется для выявления обыденных объектов.

Object Recognition Client/Engine (Клиент/Движок распознавания объектов)

Программное обеспечение (локальное или облачное), использующее модели машинного обучения для идентификации объектов в медиафайлах.

On-device Processing (Обработка на устройстве)

Выполнение анализа медиафайлов локально на клиентском устройстве с использованием локальных ML-моделей для сохранения конфиденциальности и экономии трафика.

Topic Identification Engine (Движок идентификации тем)

Компонент, который анализирует распознанные объекты, их признаки (фокус, заметность) и частотность для определения тем, потенциально релевантных пользователю.

Trained Machine Learning Models (Обученные модели машинного обучения)

Модели (например, сверточные нейронные сети – CNN), обученные распознавать объекты в медиафайлах.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации интересов пользователя на основе анализа изображений.

1. Система получает цифровые файлы изображений, к которым пользователь имел доступ.
2. Файлы обрабатываются с помощью обученных моделей машинного обучения для распознавания объектов, генерируя выходные данные с указанием множества обнаруженных объектов.
3. На основе этого множества и с использованием иерархии тем (Topic Hierarchy) система идентифицирует категорию (Genus), которая охватывает как минимум два обнаруженных объекта.
4. Ключевое условие: Идентификация категории дополнительно основывается на мере фокуса (Measures of Focus) этих объектов, которая указывает, насколько размыты эти объекты по сравнению с другими объектами на изображениях.
5. Эта категория определяется как тема, потенциально релевантная пользователю (Topic of Potential Relevance).
6. Система сохраняет связь между этой темой и предопределенным контентом в базе данных.
7. На основе этой связи система курирует (отбирает) предопределенный контент для вывода на клиентское устройство пользователя.

Ядром изобретения является не просто распознавание объектов в личных фото, а использование метрик качества изображения (четкости/фокуса) для подтверждения того, что эти объекты действительно представляют интерес для пользователя, а не являются случайным фоном.

Claim 2 (Зависимый от 1): Уточняет, что категория (Genus) может представлять собой тип локации, с которой связаны обнаруженные объекты.

Claim 6 (Зависимый от 1): Уточняет, что идентификация категории также основывается на мере заметности (Measure of Prominence), с которой изображены обнаруженные объекты.

Это подтверждает, что система использует комплексную оценку: что изображено (объект), как это связано с другими объектами (категория/локация), насколько четко это видно (фокус) и насколько это выделяется в кадре (заметность).

Где и как применяется

Патент описывает систему понимания пользователя, которая влияет на этапы персонализации и доставки контента.

INDEXING – Индексирование (Пользовательских данных)
На этом этапе происходит обработка личных медиафайлов пользователя. Object Recognition Client (локально) или Object Recognition Engine (в облаке, например, при синхронизации Google Photos) анализируют файлы, извлекают объекты и вычисляют метрики (Measure of Focus, Measure of Prominence).

QUNDERSTANDING – Понимание (Интересов пользователя)
Topic Identification Engine использует данные, полученные на этапе индексирования, для построения профиля интересов пользователя. Он взаимодействует с Object Frequency Engine для фильтрации шума и с Knowledge Graph Engine для определения иерархии тем (Genus). Результаты сохраняются в профиле пользователя (User Interest Index).

RANKING / RERANKING – Ранжирование и Переранжирование
Выявленные интересы используются на этих этапах для персонализации результатов поиска. Если пользователь ищет что-то, система может повысить в выдаче контент, соответствующий его профилю интересов, сформированному на основе анализа медиафайлов.

METASEARCH – Метапоиск (Проактивная доставка)
Основное применение патента – проактивная доставка контента (например, Google Discover, уведомления, рекомендации Ассистента). Система использует профиль интересов для формирования поисковых запросов от имени пользователя или для выбора курированного контента из базы данных для показа пользователю без явного запроса с его стороны.

Входные данные:

• Цифровые медиафайлы пользователя (фото, видео, аудио).
• Или: Данные об объектах, извлеченные локально на устройстве (векторы признаков, embeddings).
• Данные Knowledge Graph об иерархии тем.
• Данные о частотности объектов в общем корпусе.

Выходные данные:

• Идентифицированные темы, потенциально релевантные пользователю (Профиль интересов).
• Персонализированный или проактивно доставленный контент.

На что влияет

• Конкретные типы контента: Влияет на любой контент, который может быть персонализирован или доставлен проактивно – статьи, новости, видео, товары, локальные события.
• Специфические запросы: Наибольшее влияние на широкие информационные запросы, где интент неоднозначен и персонализация может помочь уточнить выдачу.
• Форматы контента: Особенно сильно влияет на форматы, используемые в Google Discover (карточки с новостями и статьями).

Когда применяется

• Триггеры активации: Создание, получение или просмотр нового медиафайла пользователем (например, при резервном копировании фото в облако или при локальном анализе галереи).
• Условия работы алгоритма: Алгоритм идентификации тем активируется, если в медиафайлах распознаны объекты, которые проходят пороги по четкости (Measure of Focus), заметности (Measure of Prominence) и не являются слишком обыденными (Object Frequency).
• Временные рамки: Анализ может происходить в реальном времени или в фоновом режиме. Доставка контента происходит проактивно после идентификации интереса.

Пошаговый алгоритм

Процесс А: Анализ медиафайлов и идентификация тем

1. Получение медиафайла: Система получает доступ к цифровому медиафайлу, созданному или просмотренному пользователем.
2. Распознавание объектов: Медиафайл подается на вход обученной модели машинного обучения (локальной или облачной). Модель генерирует список обнаруженных объектов.
3. Вычисление метрик качества изображения: Для каждого объекта вычисляются Measure of Focus (сравнение размытости объекта с другими) и Measure of Prominence (позиция, размер).
4. Анализ частотности (Опционально): Определяется частота появления объектов в общем корпусе данных для выявления обыденных объектов.
5. Фильтрация объектов: Объекты, не прошедшие пороги по фокусу, заметности или являющиеся слишком частыми, отфильтровываются.
6. Определение категории (Genus): Используя иерархию тем (Topic Hierarchy) или Knowledge Graph, система ищет категорию (Genus), которая объединяет два или более оставшихся объекта.
7. Идентификация интереса: Найденная категория определяется как тема, потенциально релевантная пользователю.
8. Обновление профиля: Интерес сохраняется в профиле пользователя.

Процесс Б: Доставка контента

1. Определение контента: Система ищет связь между идентифицированной темой и предопределенным контентом в базе данных (как описано в Claim 1). Альтернативно, система может сформулировать поисковый запрос на основе темы.
2. Курирование контента: Контент отбирается для показа пользователю.
3. Проактивный вывод: Контент выводится на устройстве пользователя без явного запроса (например, в виде уведомления, карточки в ленте, рекомендации).

Какие данные и как использует

Данные на входе

Система фокусируется на анализе пользовательского контента.

• Мультимедиа факторы: Основные входные данные. Пиксельные данные цифровых изображений и видеокадров для визуального распознавания объектов (Image Recognition). Аудиоданные для анализа речи и распознавания упомянутых объектов (Audio Analysis).
• Пользовательские факторы: Контекст взаимодействия с файлом. Патент указывает, что файлы, созданные пользователем, могут иметь больший вес, чем файлы, просто просмотренные или полученные от других.
• Географические факторы: Упоминается возможность использования координат местоположения (Position Coordinates), связанных с медиафайлами, для выбора объектов и определения тем (например, определение локации как Genus).
• Метаданные (Опционально): Упоминается возможность использования метаданных, таких как имена файлов или названия папок, как сигналов для идентификации тем.

Какие метрики используются и как они считаются

• Measure of Focus (Мера фокуса): Метрика четкости. В Claim 1 определяется как показатель того, насколько размыты объекты по сравнению с другими объектами на изображении.
• Measure of Prominence (Мера заметности): Комплексная метрика, которая может включать: позицию объекта в кадре (центр/периферия), размер объекта относительно всего изображения, размер объекта относительно других объектов.
• Object Frequency (Частотность объекта): Частота появления объекта в общем корпусе медиафайлов популяции пользователей. Упоминается возможность использования статистики типа TF-IDF (Term Frequency-Inverse Document Frequency) для определения веса объекта: чем реже объект встречается в целом, тем более он показателен для интересов конкретного пользователя.
• Topic Hierarchy / Genus (Иерархия тем / Категория): Структура данных (например, из Knowledge Graph), позволяющая объединять конкретные объекты (например, «зяблик», «орел») в общую категорию («птицы»).

Выводы

1. Google активно использует личные данные для профилирования интересов: Патент подтверждает, что Google анализирует не только поисковые запросы и историю браузера, но и личные медиафайлы (например, в Google Photos) для глубокого понимания интересов пользователя.
2. Интересы используются для проактивной доставки контента: Основная цель системы – не просто персонализация поиска, а проактивное предоставление информации (Google Discover, Ассистент). Система может курировать контент или выполнять поиск от имени пользователя.
3. Критические фильтры для точности – Фокус и Заметность: Ключевым элементом патента является использование Measure of Focus и Measure of Prominence. Google не считает любой распознанный объект признаком интереса. Объект должен быть четким и занимать значимое место в кадре, чтобы повлиять на профиль интересов.
4. Фильтрация обыденных объектов (TF-IDF подход): Система использует Object Frequency для снижения веса объектов, которые часто встречаются у всех пользователей (например, мебель, деревья), фокусируясь на уникальных интересах.
5. Приоритет конфиденциальности через On-Device ML: Патент предлагает механизм локальной обработки медиафайлов. На сервер передаются только данные о распознанных объектах или embeddings, а не сами фото/видео, что решает проблему конфиденциальности.
6. Важность Knowledge Graph: Система полагается на Topic Hierarchy (вероятно, основанную на Knowledge Graph) для перехода от конкретных объектов к общим темам интересов (Genus).

Практика

Best practices (это мы делаем)

• Оптимизация под Google Discover и Персонализацию: Поскольку система строит профили интересов на основе сущностей и тем, контент должен быть оптимизирован под них. Необходимо усиливать связь контента с узлами Knowledge Graph (используя разметку, NLP), чтобы система могла легко сопоставить контент с выявленным интересом пользователя.
• Фокус на Topical Authority: Создание авторитетного контента по широким темам (Genus) увеличивает вероятность его показа пользователям, у которых выявлен интерес к этой теме, даже если они не искали это напрямую.
• Оптимизация визуального контента для ясности (Clarity): При создании контента для веба (статьи, товары) используйте высококачественные изображения, где ключевые объекты четко сфокусированы (высокий Measure of Focus) и занимают центральное место (высокий Measure of Prominence). Это улучшает распознавание объектов системой и повышает вероятность того, что ваш контент будет признан релевантным теме.
• Использование мультимедиа для покрытия сущностей: Включайте в контент изображения и видео различных сущностей, связанных с основной темой. Если пользователь интересуется определенной маркой авто (что Google понял из его фото), ваш обзор должен содержать качественные изображения именно этой марки.

Worst practices (это делать не надо)

• Использование стоковых, размытых или нечетких изображений: Изображения, где основной объект не в фокусе или теряется на фоне, будут иметь низкие показатели Measure of Focus/Prominence. Это может снизить оценку релевантности контента для данной темы.
• Фокус только на ключевых словах без учета интересов: Стратегии, ориентированные только на реактивный поиск по ключевым словам, упускают возможности проактивной доставки контента (Discover). Нельзя игнорировать оптимизацию под сущности и интересы.
• Визуальный кликбейт и переспам объектами: Попытки манипулировать распознаванием путем добавления множества не связанных объектов могут быть отфильтрованы, так как система ищет связную категорию (Genus) и анализирует частотность (Object Frequency).

Стратегическое значение

Патент подчеркивает стратегический переход Google от реактивного поиска к проактивному предложению контента. Для SEO это означает, что Google Discover становится каналом первостепенной важности. Стратегия должна включать создание контента, который соответствует долгосрочным интересам пользователей (выявленным в том числе через анализ медиа), а не только отвечает на сиюминутные запросы. Подтверждается критическая роль Knowledge Graph и машинного зрения в понимании контента и интересов.

Практические примеры

Сценарий: Оптимизация статьи о путешествиях для Google Discover

1. Ситуация: Пользователь часто фотографирует горы и походное снаряжение. Google, анализируя эти фото (с учетом четкости и заметности объектов), определяет интерес пользователя к теме «Хайкинг» (Genus).
2. Действие SEO-специалиста: Создается статья «Лучшие маршруты для хайкинга в Альпах».
3. Применение патента в оптимизации:
   • В статью включаются высококачественные, четкие фотографии конкретных маршрутов и снаряжения. Ключевые объекты (например, треккинговые палки, виды с вершин) находятся в фокусе и заметны.
   • Текст статьи оптимизирован под сущности, связанные с хайкингом и Альпами, для четкой связи с Knowledge Graph.
4. Ожидаемый результат: Система Google Discover с высокой вероятностью проактивно покажет эту статью пользователю, так как она соответствует его выявленному интересу («Хайкинг») и оптимизирована для распознавания (качественные изображения, связь с сущностями).

Вопросы и ответы