Как Google использует распознавание объектов (например, в Google Lens) для проактивного поиска в персональных данных пользователя

Термины и определения

Assistant (Ассистент)

Программное обеспечение (например, Google Assistant), которое обрабатывает ввод пользователя (голосовой или текстовый) с использованием NLP и ASR для определения команд. Используется для сохранения ассоциаций между объектами и данными.

Data Item (Элемент данных)

Любой фрагмент информации, связанный с объектом. Примеры: текст, аудио, видео, изображение или фактические данные (fact data), введенные пользователем.

Image Processor (Процессор изображений)

Система компьютерного зрения (например, нейронные сети), обученная распознавать объекты в изображениях.

Object (Объект)

Объект, изображенный в данных изображения. В контексте патента чаще всего относится к классу или типу объекта (type of physical object), например, «велозамок», «винная бутылка».

Object Label (Метка объекта)

Метка, генерируемая системой распознавания изображений или NLP для идентификации типа объекта. Используется как ключ для связи данных пользователя с визуальными объектами.

User-specific data storage / User corpus (Персональное хранилище данных / Корпус пользователя)

Хранилище данных, специфичное для учетной записи пользователя, содержащее метаданные, связывающие Object Labels с данными, указанными пользователем.

Prompt (Уведомление / Подсказка)

Визуальный или звуковой индикатор, информирующий пользователя о наличии доступных элементов данных, связанных с объектом на изображении.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный цикл работы системы, состоящий из фазы сохранения информации и фазы ее извлечения.

Фаза Сохранения:

1. Система получает ввод от пользователя.
2. Ввод обрабатывается для определения given type of physical object (определенного типа физического объекта) и given fact data item (элемента фактических данных).
3. Система сохраняет user-specific association (пользовательскую ассоциацию) между этим фактом и типом объекта в user-specific data storage.

Фаза Извлечения:

1. Система получает данные изображения, отображаемого на устройстве.
2. Выполняется обработка изображения для идентификации типа объекта, который соответствует сохраненному типу.
3. Генерируется поисковый запрос на основе идентифицированного типа объекта. Ключевое условие: запрос генерируется автоматически (independent of a query input by the user).
4. Система определяет, что сохраненная ассоциация релевантна этому запросу.
5. Если ассоциация найдена: на дисплее генерируется подсказка (prompt).
6. В ответ на выбор подсказки пользователем, система отображает сохраненный элемент данных.

Ядро изобретения — связь между обработкой ввода (NLP) для сохранения факта о типе объекта и последующей обработкой изображения (CV) для извлечения этого факта при распознавании объекта того же типа, причем поиск строго ограничен персональными данными.

Claim 6 (Зависимый): Уточняет структуру хранилища и генерацию запроса.

Хранилище данных содержит метаданные, связывающие Object Labels с данными пользователя. Генерация поискового запроса (в фазе извлечения) заключается в создании запроса, который указывает Object Labels распознанных объектов.

Claim 2 и 3 (Зависимые): Уточняют обработку нескольких объектов. Система может идентифицировать множество объектов и сгенерировать запрос для каждого. Для каждого объекта с найденными данными может быть показан отдельный визуальный индикатор (visual indicator).

Где и как применяется

Этот патент не описывает архитектуру публичного веб-поиска Google. Он описывает функциональность на уровне приложений, таких как Google Assistant и Google Lens. Это система Персонального Поиска (Personal Search).

INDEXING – Индексирование (Персональных данных)
На этом этапе происходит индексация личного корпуса пользователя. Когда пользователь вводит команду, система применяет NLP для извлечения типа объекта и элемента данных. Эта ассоциация индексируется и сохраняется в user-specific data storage с использованием Object Labels.

QUNDERSTANDING – Понимание Запросов (Визуальных и Языковых)
Система использует два типа понимания:

• Языковое (NLP): Используется на этапе ассоциации для интерпретации команд пользователя.
• Визуальное (Computer Vision): Используется на этапе извлечения. Image Processor анализирует изображение и идентифицирует объекты. Это визуальное распознавание действует как триггер для генерации автоматического запроса.

RANKING / RETRIEVAL (Персональных данных)
Система выполняет поиск в user-specific data storage, используя сгенерированный запрос (основанный на Object Labels), чтобы найти соответствующие элементы данных.

Входные данные:

• Ввод пользователя (текст или речь) на этапе ассоциации.
• Данные изображения (фото или видеопоток с камеры) на этапе извлечения.

Выходные данные:

• Уведомление (prompt) о наличии связанной информации.
• Отображение сохраненного Data Item.

На что влияет

• Типы контента: Влияет на доступ к персональным данным пользователя: заметкам, фактам, напоминаниям, хранящимся в его аккаунте.
• Специфические запросы: Влияет на обработку визуального ввода (изображений) как триггера для поиска информации. Запросы генерируются системой автоматически.
• Ограничения: Работает только в среде пользователя (устройство, аккаунт) и ограничено данными, которые пользователь сохранил в своем персональном корпусе.

Когда применяется

• Триггеры активации (Сохранение): Когда пользователь дает команду сохранить информацию, связанную с объектом (например, «Запомни, что...»).
• Триггеры активации (Извлечение): Когда на дисплее устройства отображается изображение (активна камера/Google Lens) и система распознавания изображений идентифицирует объект, для которого в личном хранилище есть связанные данные.

Пошаговый алгоритм

Процесс А: Сохранение Ассоциации (на основе NLP)

1. Получение ввода: Система получает ввод от пользователя (например, голосовую команду Ассистенту).
2. Анализ ввода: Ассистент выполняет обработку естественного языка для идентификации типа объекта (например, «велозамок») и элемента данных (например, «1234»).
3. Определение меток: Система определяет соответствующие Object Labels для идентифицированного типа объекта.
4. Создание ассоциации: Система создает связь между элементом данных и Object Labels.
5. Сохранение: Ассоциация сохраняется в user-specific data storage.

Процесс Б: Извлечение Данных (на основе Computer Vision)

1. Получение изображения: Система получает данные изображения (например, с камеры).
2. Обработка изображения: Image Processor анализирует изображение для идентификации объектов.
3. Генерация меток: Для распознанных объектов генерируются Object Labels.
4. Генерация автоматического запроса: Система генерирует поисковый запрос, используя эти Object Labels, независимо от действий пользователя.
5. Поиск в персональном корпусе: Выполняется поиск в user-specific data storage по сгенерированному запросу.
6. Идентификация данных: Определяется, есть ли сохраненные Data Items, релевантные запросу.
7. Отображение подсказки: Если данные найдены, система генерирует проактивную подсказку (prompt) на экране вместе с изображением.
8. Отображение результата: Если пользователь выбирает подсказку, система отображает связанный Data Item.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке персональных данных и визуальной/языковой информации. Он не использует традиционные SEO-факторы (ссылки, контент публичных страниц).

• Контентные факторы (NLP): Текстовый или голосовой ввод пользователя. Используется для извлечения семантики, идентификации типов объектов и связанных с ними фактов на этапе сохранения.
• Мультимедиа факторы (Computer Vision): Данные изображения (Image data). Используются для распознавания объектов и генерации Object Labels на этапе извлечения.
• Пользовательские факторы: Вся система функционирует в контексте конкретного пользователя. Используется user-specific data storage, привязанное к учетной записи.

Какие метрики используются и как они считаются

Патент не детализирует конкретные метрики ранжирования, так как речь идет о поиске точных соответствий в ограниченном персональном корпусе.

• Object Labels: Ключевая метрика для связи между фазами сохранения и извлечения. Генерируется системами NLP и Computer Vision.
• Методы анализа текста (NLP): Используются для парсинга ввода пользователя, извлечения сущностей (типов объектов) и фактов.
• Алгоритмы машинного обучения (Computer Vision): Используются в Image Processor для распознавания объектов в изображениях и присвоения им Object Labels.

1. Персонализированный поиск, а не веб-поиск: Патент описывает инфраструктуру для поиска в личных данных пользователя (заметки, напоминания). Он не имеет прямого отношения к алгоритмам ранжирования сайтов в органической выдаче Google.
2. Интеграция NLP и Computer Vision: Система демонстрирует тесную интеграцию двух ключевых технологий ИИ. NLP используется для понимания того, что пользователь хочет сохранить, а Computer Vision — как триггер для извлечения этих данных в нужном контексте.
3. Ассоциация на уровне типов объектов (Object Labels): Ключевая особенность — ассоциация сохраняется не с конкретным изображением, а с типом объекта (Object Label). Это позволяет системе распознать любой объект данного типа в будущем.
4. Визуальный ввод как автоматический триггер запроса: Патент подтверждает использование визуальной информации как автоматического триггера для инициации поискового запроса без участия пользователя (основа работы Google Lens).
5. Стратегическое значение для Визуального Поиска (Visual Search): Хотя патент фокусируется на персональных данных, используемая технология распознавания объектов (Image Processor) является той же инфраструктурой, которую Google применяет для анализа изображений в интернете. Понимание того, как Google идентифицирует и маркирует объекты, критически важно для оптимизации под Google Lens и Google Images.

Практическое применение в SEO

Патент не дает прямых рекомендаций для повышения рейтинга сайта в веб-поиске, так как описывает поиск в персональных данных. Однако, описанная технология распознавания объектов имеет стратегическое значение для оптимизации под Визуальный Поиск (Google Lens, Google Images).

Best practices (это мы делаем)

• Оптимизация изображений для распознавания объектов: Обеспечьте высокое качество, четкость и хорошую освещенность изображений на сайте, особенно для товаров в e-commerce. Главный объект должен быть в фокусе и не перекрываться другими элементами. Это увеличивает вероятность того, что Image Processor Google корректно распознает объект и присвоит ему правильный Object Label.
• Использование структурированных данных (Schema.org): Для страниц продуктов используйте разметку Product, включая свойство image. Это помогает поисковой системе связать распознанный объект на изображении с конкретной сущностью (товаром) и его атрибутами, что критично для видимости в Google Lens.
• Создание контента, ориентированного на сущности (Entities): Патент показывает, как Google обрабатывает связи между объектами и информацией. Структурируйте контент вокруг ключевых сущностей. Это помогает системам NLP (подобным той, что используется в патенте) лучше понимать содержание вашего сайта.

Worst practices (это делать не надо)

• Обфускация объектов на изображениях: Использование чрезмерных водяных знаков, текста или графических элементов поверх ключевых объектов (например, товаров) может помешать системе корректно распознать объект и сгенерировать Object Label.
• Использование абстрактных или некачественных изображений: Если изображения не позволяют системам компьютерного зрения четко идентифицировать объекты, это снижает потенциал видимости в визуальном поиске.
• Игнорирование визуального поиска (Google Lens): Рассматривать SEO только как оптимизацию под текстовые запросы. Патент подтверждает, что визуальный контекст становится все более важным способом доступа к информации.

Стратегическое значение

Патент подтверждает стратегический приоритет Google в развитии мультимодального (текст, голос, изображение) и контекстного поиска. Компьютерное зрение позволяет превратить любое изображение в поисковый запрос. Для SEO это означает необходимость рассматривать оптимизацию изображений как самостоятельное направление для привлечения трафика через Google Lens и Google Images. Видимость в поиске все больше зависит от способности Google распознавать и понимать объекты в визуальном контенте.

Практические примеры

Сценарий: Оптимизация карточки товара для Визуального Поиска (Google Lens)

Задача: Увеличить вероятность того, что при сканировании товара через Google Lens пользователь увидит ссылку на ваш магазин.

1. Действие (Визуальная часть): Разместить на сайте высококачественные фотографии товара с разных ракурсов на нейтральном фоне. Главное изображение должно четко демонстрировать продукт.
2. Обоснование (Патент): Это позволит Image Processor Google точно распознать объект и сгенерировать корректный Object Label (например, «Кроссовки Nike Air Max 270»).
3. Действие (Техническая часть): Внедрить микроразметку Product с указанием SKU, бренда, названия, цены, наличия и ссылки на изображение.
4. Обоснование (Практика): Это связывает распознанный Object Label с конкретной сущностью товара и вашим предложением.
5. Ожидаемый результат: Когда пользователь использует Google Lens (активируя Image Processor), система распознает объект, инициирует поиск (в данном случае по веб-индексу, используя ту же технологию распознавания) и с высокой вероятностью покажет ваше предложение среди результатов.