Как Google индексирует и ранжирует AR-контент и действия в результатах визуального поиска (Google Lens)

Термины и определения

Digital Supplement (Цифровое дополнение)

Контент любого типа, который может дополнить физическую среду пользователя или сохраненное изображение. Примеры включают изображения, аудио, текст, видео, игры, приложения, структурированные документы (HTML, XML), AR-контент или инициирование рабочего процесса (например, покупка товара).

Visual-content query (Запрос визуального контента)

Поисковый запрос, основанный на изображении. Может включать само изображение, данные, извлеченные из него (текст, коды), или идентификаторы сущностей, распознанных на изображении.

Supplement Anchor (Анкорь дополнения)

Триггер в физическом мире или на изображении, с которым связано цифровое дополнение. Примеры: распознанная сущность (продукт, здание, произведение искусства, человек), текст (извлеченный OCR), QR-код, штрих-код или тип документа (например, квитанция).

Digital Supplement Server (Сервер цифровых дополнений)

Сервер (например, сторонний веб-сервер), который хранит и предоставляет digital supplement и связанные с ним метаданные.

Search Server (Поисковый сервер)

Центральный сервер (например, Google), который индексирует цифровые дополнения и отвечает на visual-content queries, направляя клиентов к соответствующим Digital Supplement Servers.

Content Crawler (Контентный краулер)

Компонент поискового сервера, который сканирует сетевые ресурсы для обнаружения метаданных о цифровых дополнениях.

Metadata (Метаданные)

Данные (например, в формате XML или JSON), размещенные на сетевом ресурсе, которые описывают digital supplement. Включают идентификаторы анкорей, имя, описание, URL доступа, ID приложения, информацию об издателе и контекстные условия (например, геолокацию).

Relevance Score (Оценка релевантности)

Метрика, определяющая релевантность цифрового дополнения конкретному анкорю или запросу. Может основываться на контенте дополнения, контенте ресурса, ссылающихся сайтах и тексте ссылок.

Prestige Score (Оценка престижа/Популярности)

Метрика популярности, основанная на количестве и качестве ссылок на цифровое дополнение или связанный с ним сетевой ресурс, а также на частоте выбора дополнения пользователями.

Supplement Anchor Identification Engine (Система идентификации анкорей)

Система (может быть на клиенте или сервере), которая анализирует изображение для идентификации supplement anchors. Может использовать OCR, распознавание кодов или нейронные сети (например, CNN) для распознавания сущностей.

Ключевые утверждения (Анализ Claims)

Патент содержит два основных независимых пункта (Claim 1 и Claim 7), которые описывают процесс с точки зрения клиентского устройства (Claim 1) и как компьютерно-реализуемый метод (Claim 7). Они описывают схожий механизм взаимодействия между клиентом, поисковым сервером и сервером дополнений.

Claim 1 и Claim 7 (Независимые пункты): Описывают основной процесс визуального поиска и получения дополнения.

1. Устройство захватывает изображение.
2. Отправляется visual-content query, основанный на изображении, на search server.
3. Получается ответ от search server, который идентифицирует digital supplement server.
4. Система инициирует передачу изображения на этот идентифицированный digital supplement server.
5. От digital supplement server получается контент цифрового дополнения.
6. Контент цифрового дополнения отображается пользователю.

Ключевым моментом здесь является архитектура: поисковый сервер действует как индекс и посредник, но фактический контент дополнения (и, возможно, его обработка, например, для AR) предоставляется отдельным сервером дополнений, которому передается исходное изображение.

Claim 2, 3, 4 (Зависимые от 1): Детализируют представление результатов.

• Ответ от поискового сервера может содержать упорядоченный список (ordered list) цифровых дополнений (Claim 2).
• Пользовательский интерфейс включает панель выбора (digital supplement selection panel) с элементами управления для выбора дополнений из списка (Claim 3).
• Элементы управления упорядочены на панели в соответствии с порядком, предоставленным в списке (Claim 4).

Это подтверждает, что поисковый сервер выполняет ранжирование дополнений.

Claim 5, 6 (Зависимые от 1): Уточняют взаимодействие с сервером дополнений.

• Устройство передает информацию на digital supplement server и получает контент, основанный на этой информации (Claim 5).
• Передаваемая информация включает контекстную информацию (contextual information) (Claim 6).

Claim 17, 18 (Зависимые от 7): Описывают варианты передачи изображения.

• Изображение может быть передано клиентом напрямую на digital supplement server (Claim 18).
• Альтернативно, если visual-content query включал изображение, клиент может отправить инструкцию поисковому серверу, чтобы тот передал изображение на digital supplement server (Claim 17). Это позволяет снизить нагрузку на сеть клиента.

Claim 19 (Зависимый от 7): Уточняет тип контента.

• Цифровое дополнение включает контент дополненной реальности (AR), размер и положение которого определяются на основе исходного изображения (Claim 19).

Где и как применяется

Изобретение охватывает практически все этапы поисковой архитектуры, создавая параллельный пайплайн для обработки визуальных запросов и цифровых дополнений.

CRAWLING – Сканирование и Сбор данных
Content Crawler активно ищет в сети network-accessible resources (веб-страницы), которые содержат метаданные (XML, JSON), описывающие digital supplements. Это сбор данных для индекса визуального поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит обработка собранных метаданных. Система создает индекс (Digital Supplement Data Store), связывая digital supplements с их supplement anchors. Также вычисляются статические сигналы качества и популярности, такие как Prestige Score (на основе ссылок на ресурс) и базовые Relevance Scores.

QUNDERSTANDING – Понимание Запросов
Когда поступает visual-content query, система должна интерпретировать визуальные данные. Это включает идентификацию supplement anchors на изображении с помощью Supplement Anchor Identification Engine (используя ML, OCR, распознавание кодов). Запрос также обогащается контекстом (например, геолокацией).

RANKING – Ранжирование
Digital Supplement Search Engine использует идентифицированные анкоря и контекст для поиска релевантных дополнений в индексе. Происходит ранжирование (ordering) результатов на основе Relevance Score, Prestige Score, частоты использования и других факторов.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Результаты предоставляются клиенту в виде упорядоченного списка, часто отображаемого в интерфейсе визуального поиска (например, Google Lens). Может происходить переранжирование на основе локального контекста клиента (например, установленных приложений – Claim 16). После выбора пользователем система координирует взаимодействие между клиентом и Digital Supplement Server, включая передачу исходного изображения и контекста.

На что влияет

• Конкретные типы контента: В первую очередь влияет на контент, который может быть представлен как действие или визуальное дополнение: AR-модели товаров, интерактивные инструкции, мультимедийные дополнения к печатному контенту.
• Специфические запросы: Влияет на визуальные запросы, где пользователь ищет информацию или взаимодействие с объектом в кадре.
• Конкретные ниши или тематики: Критическое влияние на E-commerce (визуализация товаров, покупка), локальный поиск (информация о заведениях, меню), образование (дополнения к учебникам), искусство (информация о картинах) и финансы (обработка квитанций, расчет чаевых).

Когда применяется

• Условия работы: Алгоритм применяется при получении visual-content query от клиентского устройства (например, при использовании Google Lens).
• Триггеры активации: Активируется, когда система распознает один или несколько supplement anchors (объекты, текст, коды) на изображении, для которых в индексе существуют релевантные digital supplements.

Пошаговый алгоритм

Процесс А: Индексация цифровых дополнений (Search Server - Офлайн)

1. Сканирование: Content Crawler анализирует сетевые ресурсы (веб-страницы).
2. Обнаружение метаданных: Идентификация метаданных (XML, JSON), связанных с digital supplements на ресурсе.
3. Извлечение данных: Извлечение ключевой информации из метаданных: идентификаторы анкорей (supplement anchors), описательные данные (имя, издатель, изображение) и данные доступа (URL, ID приложения, параметры).
4. Генерация структуры данных: Создание экземпляра структуры данных (записи в базе) для дополнения.
5. Расчет оценок: Вычисление или обновление Prestige Score (на основе ссылочного профиля ресурса) и базовых Relevance Scores для анкорей.
6. Индексация: Сохранение структуры данных в Digital Supplement Data Store и активация возможности поиска дополнения по визуальным запросам.

Процесс Б: Обработка визуального запроса и получение дополнения (Онлайн)

1. Захват изображения: Клиентское устройство захватывает изображение.
2. Генерация и отправка запроса: Клиент генерирует visual-content query (включая изображение и/или извлеченные данные, контекст) и отправляет его на Search Server.
3. Идентификация анкорей: Search Server (или клиент) анализирует изображение для идентификации supplement anchors.
4. Поиск дополнений: Search Server ищет в индексе digital supplements, соответствующие анкорям и контексту.
5. Ранжирование: Search Server определяет порядок (ранжирование) найденных дополнений на основе Relevance Score, Prestige Score и других факторов.
6. Ответ клиенту: Search Server отправляет клиенту упорядоченный список дополнений, включая идентификацию соответствующих Digital Supplement Servers.
7. Отображение и выбор: Клиент отображает интерфейс выбора (например, меню). Пользователь выбирает дополнение.
8. Передача данных на сервер дополнений: Исходное изображение и контекстная информация передаются на соответствующий Digital Supplement Server. (Передача может осуществляться клиентом или поисковым сервером по поручению клиента).
9. Получение контента: Клиент получает контент дополнения (например, AR-модель, HTML, данные) от Digital Supplement Server.
10. Отображение дополнения: Клиент отображает контент или запускает соответствующее приложение.

Какие данные и как использует

Данные на входе

Данные для индексации (от Content Crawler):

• Структурные факторы (Метаданные): Метаданные в формате XML или JSON, описывающие digital supplements. Ключевые поля: тип, индикатор анкоря (anchor indicator), имя, описание, сниппет, связанное изображение, URL доступа, ID приложения, информация об издателе, контекстные условия (геолокация, требования к устройству).
• Ссылочные факторы: Ссылки на сетевой ресурс, предоставляющий дополнение, и текст этих ссылок. Используются для расчета Prestige Score и Relevance Score.

Данные для поиска (от Клиентского устройства):

• Мультимедиа факторы: Изображение или видеопоток, являющиеся основой visual-content query.
• Извлеченные данные из изображения: Текст (OCR), данные QR-кодов/штрих-кодов, идентификаторы распознанных сущностей (продуктов, мест, людей).
• Географические факторы: Местоположение устройства (GPS, VPS), используемое как контекст для ранжирования и фильтрации.
• Пользовательские факторы: Идентификатор пользователя, история использования дополнений, установленные приложения.

Какие метрики используются и как они считаются

• Relevance Score (Оценка релевантности): Определяет соответствие дополнения анкорю и запросу. Учитывает контент дополнения, контент связанного ресурса, ссылочные сигналы.
• Prestige Score / Popularity Metric (Оценка престижа/Популярности): Оценка авторитетности и популярности. Рассчитывается на основе количества и качества входящих ссылок на ресурс/дополнение, а также частоты выбора (frequency of use) дополнения пользователями.
• Confidence Score (Оценка уверенности): Метрика, определяющая вероятность того, что объект на изображении действительно является распознанным supplement anchor.
• Контекстное соответствие: Оценка соответствия контекста запроса (геолокация, время) условиям, указанным в метаданных дополнения.
• Ранжирование (Ordering): Итоговый порядок определяется агрегацией вышеуказанных метрик, а также может учитывать персонализацию (частота/недавность использования конкретным пользователем) и наличие установленных приложений на устройстве.

1. Визуальный поиск как отдельный индекс: Патент подтверждает существование отдельного процесса сканирования и индексации для контента, предназначенного для визуального поиска (Digital Supplements). Этот индекс строится на основе обнаружения специфических метаданных на веб-ресурсах.
2. Важность метаданных для видимости: Чтобы контент или действие могли появиться в результатах визуального поиска (Google Lens), они должны быть описаны соответствующими метаданными (XML/JSON), доступными для Content Crawler. Отсутствие метаданных означает невидимость в этом канале.
3. Ранжирование на основе релевантности и авторитетности: Система использует классические для поиска метрики ранжирования: Relevance Score и Prestige Score (аналог PageRank для оценки авторитетности/популярности). Это означает, что традиционные SEO-сигналы (ссылки, качество контента) влияют и на ранжирование в визуальном поиске.
4. Анкоря (Anchors) как ключевые сущности: Система оперирует понятием Supplement Anchors (объекты, текст, коды) как точками привязки цифрового контента к физическому миру. SEO-стратегия должна фокусироваться на четкой идентификации и оптимизации этих анкорей.
5. Децентрализованная архитектура контента: Поисковый сервер (Google) управляет индексом и ранжированием, но сам контент предоставляется сторонними Digital Supplement Servers. Поисковый сервер выступает посредником, передавая контекст и исходное изображение на сервер дополнения.
6. Критичность контекста и AR: Контекст (особенно геолокация) играет важную роль в определении релевантности. Патент также подчеркивает важность AR-контента, который требует передачи исходного изображения для корректного позиционирования и масштабирования.

Best practices (это мы делаем)

• Оптимизация под визуальные анкоря (Supplement Anchors): Убедитесь, что ваши ключевые сущности (продукты, логотипы, локации) легко распознаются системами машинного зрения. Используйте высококачественные, четкие изображения на сайте и в каталогах. Для продуктов обеспечьте доступность изображений с разных ракурсов.
• Внедрение метаданных для Digital Supplements: Необходимо разработать и внедрить структурированные метаданные (JSON/XML), описывающие доступные цифровые дополнения. Хотя патент не указывает конкретный стандарт (например, Schema.org), он явно требует наличия этих данных для индексации. Описывайте анкоря, URL доступа, названия и контекст.
• Создание релевантных цифровых дополнений: Разрабатывайте полезные digital supplements, связанные с вашими продуктами или услугами. Примеры: AR-примерка товаров, функция «купить сейчас» при сканировании продукта в магазине, «добавить в список покупок» при сканировании рецепта, показ отзывов при сканировании товара на полке.
• Повышение Prestige Score для ресурсов с дополнениями: Поскольку ранжирование учитывает Prestige Score, необходимо применять классические SEO-стратегии (качественный контент, линкбилдинг) к страницам, которые хостят метаданные и предоставляют digital supplements.
• Оптимизация под контекст (Локализация): Для локального бизнеса критически важно указывать географические условия в метаданных, чтобы обеспечить показ дополнений пользователям в нужном месте (например, купоны, действующие только в конкретном магазине).

Worst practices (это делать не надо)

• Игнорирование визуального поиска: Рассматривать визуальный поиск как второстепенный канал. Патент показывает, что это полноценная поисковая система со своими правилами индексации и ранжирования.
• Скрытие метаданных от краулера: Блокировка доступа Content Crawler к метаданным о цифровых дополнениях приведет к их исключению из индекса визуального поиска.
• Создание низкокачественных или вводящих в заблуждение дополнений: Попытки манипулировать системой путем создания дополнений, не соответствующих анкорю или имеющих низкую ценность, вероятно, приведут к низким Relevance Scores и низкому вовлечению, что повлияет на популярность.
• Использование нечетких визуальных анкорей: Использование плохо различимых логотипов, сложных для распознавания упаковок или некачественных изображений затруднит идентификацию supplement anchors.

Стратегическое значение

Этот патент подчеркивает стратегический сдвиг в поиске от текстовых запросов к мультимодальным и визуальным взаимодействиям. Он описывает инфраструктуру, позволяющую Google стать «операционной системой» для реального мира через камеру смартфона. Для бизнеса это означает необходимость интеграции цифровых стратегий с физическими продуктами и локациями. SEO теперь включает не только оптимизацию веб-сайтов, но и оптимизацию реальных объектов и связанных с ними цифровых опытов для обеспечения их обнаружения и высокого ранжирования в среде визуального поиска.

Практические примеры

Сценарий 1: Оптимизация AR-контента для E-commerce (Мебельный магазин)

1. Задача: Обеспечить показ AR-модели дивана, когда пользователь сканирует диван в печатном каталоге или в шоуруме.
2. Действия:
   • Создать высококачественную 3D-модель дивана.
   • На веб-сайте магазина создать страницу, предоставляющую доступ к этой модели (Digital Supplement Server).
   • Внедрить на эту страницу метаданные (JSON), где указать: Supplement Anchor = идентификатор продукта (SKU) и/или визуальные характеристики дивана; Digital Supplement = URL для доступа к AR-модели; Тип = In-Home View.
   • Обеспечить индексацию этой страницы и работать над её Prestige Score.
3. Результат: Когда Google сканирует страницу, он добавляет AR-модель в индекс визуального поиска. При сканировании дивана пользователем Google Lens предлагает опцию «Посмотреть в интерьере», ранжируя её выше других менее релевантных дополнений.

Сценарий 2: Улучшение взаимодействия в ритейле (Винный магазин)

1. Задача: Показывать отзывы и рекомендации по сочетанию с едой при сканировании бутылки вина в магазине.
2. Действия:
   • На сайте магазина или агрегатора отзывов внедрить метаданные для каждой бутылки.
   • Указать Supplement Anchor = штрих-код вина или распознавание этикетки.
   • Указать Digital Supplement = URL страницы с отзывами и рекомендациями.
   • Указать контекст = геолокация магазина (если дополнение специфично для сети).
3. Результат: При сканировании бутылки Google Lens показывает средний рейтинг (как оверлей на изображении) и предлагает дополнения «Отзывы» и «Сочетания с едой» в интерфейсе.