Как Google индексирует и ранжирует контент дополненной реальности и цифровые дополнения для визуального поиска (Google Lens)

Термины и определения

Digital Supplement (Цифровое дополнение)

Контент любого типа, который дополняет объект или сущность в физической среде (или изображение этого объекта). Примеры: AR-контент, изображения, аудио, видео, текст, игры, приложения, структурированные документы (HTML, XML), купоны или инициаторы рабочих процессов (например, добавление товара в корзину).

Supplement Anchor (Анкорь дополнения)

Визуальный триггер, с которым связано цифровое дополнение. Анкорь идентифицируется в запросе визуального контента. Примеры: конкретные сущности (здания, произведения искусства, продукты, книги, люди), текст, извлеченный из изображения (OCR), штрих-коды, QR-коды или типы сущностей.

Visual-Content Query (Запрос визуального контента)

Поисковый запрос, основанный на изображении. Может включать само изображение или данные, полученные из него (например, идентификаторы распознанных сущностей или текст), а также контекстную информацию (например, местоположение).

Network-Accessible Resource (Сетевой ресурс)

Веб-страница или другой доступный через сеть ресурс, который предоставляет цифровое дополнение и содержит метаданные для его индексации.

Metadata (Метаданные)

Структурированные данные (например, XML, JSON), встроенные в сетевой ресурс. Описывают цифровое дополнение, его анкоря, информацию для доступа (URL, приложение), описание, издателя и контекстные условия (например, геолокацию).

Content Crawler (Контент-краулер)

Компонент поискового сервера, который сканирует сетевые ресурсы для обнаружения и индексации цифровых дополнений на основе метаданных.

Digital Supplement Data Store (Хранилище данных цифровых дополнений)

Индекс или база данных, хранящая информацию о цифровых дополнениях, их анкорях и оценках.

Prestige Score (Оценка престижа)

Метрика популярности или авторитетности цифрового дополнения или связанного с ним сетевого ресурса. Основана на количестве и качестве ссылок, указывающих на них (аналог PageRank).

Relevance Score (Оценка релевантности)

Метрика, определяющая релевантность цифрового дополнения конкретному анкорю. Определяется на основе контента дополнения, контента связанного ресурса, контента ссылающихся сайтов и текста ссылок.

Ключевые утверждения (Анализ Claims)

Патент включает два основных независимых пункта, описывающих процесс индексации (Claim 1) и процесс поиска/извлечения (Claim 17).

Claim 1 (Независимый пункт): Процесс индексации.

1. Поисковый сервер получает данные от сервера цифровых дополнений, определяющие цифровое дополнение и связанный с ним визуальный анкорь.
2. Поисковый сервер генерирует экземпляр структуры данных, специфицирующий это дополнение и анкорь.
3. Этот экземпляр сохраняется в базе данных поискового сервера, содержащей множество других подобных экземпляров.
4. После сохранения система активирует возможность вызова (triggering) этого цифрового дополнения в ответ на запрос визуального контента, полученный от клиентского устройства, если запрос содержит изображение с этим анкорем.

Claim 2, 3, 4 (Зависимые от 1): Механизм обнаружения.

Получение данных (из п.1) включает анализ веб-страницы и идентификацию метаданных на ней. Этому может предшествовать сканирование (crawling) множества веб-страниц или получение идентификатора (URL) веб-страницы (например, через submission API).

Claim 5, 6 (Зависимые от 2): Ассоциация с оценками.

Сгенерированная структура данных ассоциируется с оценкой популярности (popularity score) веб-страницы (Claim 5) и/или оценкой релевантности (relevance score) для визуального анкоря на основе этой веб-страницы (Claim 6).

Claim 17 (Независимый пункт): Процесс поиска и извлечения.

1. Поисковый сервер получает запрос визуального контента (включая изображение) от клиентского устройства.
2. Поисковый сервер идентифицирует визуальный анкорь в этом изображении.
3. Выполняется поиск в базе данных структур данных (индексе).
4. Идентифицируются цифровые дополнения на основе найденного анкоря и результатов поиска в базе данных.
5. Генерируется упорядоченный список (ordered list) идентифицированных цифровых дополнений.
6. Этот упорядоченный список передается клиентскому устройству.

Claim 23 (Зависимый от 17): Ранжирование.

Цифровые дополнения в списке упорядочиваются на основе оценок популярности (popularity scores) и/или оценок релевантности (relevance scores).

Где и как применяется

Изобретение охватывает все основные этапы поисковой архитектуры, формируя полноценную вертикаль визуального поиска.

CRAWLING – Сканирование и Сбор данных
Content Crawler активно ищет сетевые ресурсы (веб-страницы), которые содержат метаданные, указывающие на наличие цифровых дополнений. Также предусмотрена возможность прямой отправки URL через форму или API.

INDEXING – Индексирование и извлечение признаков
Ключевой этап. Система анализирует полученные метаданные, извлекает информацию о дополнении, его анкорях и контекстных требованиях. На этом же этапе вычисляются критически важные метрики ранжирования: Prestige Score (на основе ссылочного графа) и Relevance Score (на основе контентного и ссылочного анализа). Данные сохраняются в Digital Supplement Data Store.

QUNDERSTANDING – Понимание Запросов
Система обрабатывает Visual-Content Query. Это включает анализ изображения с использованием технологий машинного зрения (например, сверточных нейронных сетей, CNN) для распознавания сущностей, текста (OCR) или кодов, которые служат анкорями дополнений.

RANKING – Ранжирование
Digital Supplement Search Engine использует идентифицированные анкоря для поиска кандидатов в индексе. Затем применяется алгоритм ранжирования, учитывающий Prestige Score, Relevance Score и контекст запроса (например, местоположение устройства, требуемые приложения) для формирования упорядоченного списка.

METASEARCH – Метапоиск и Смешивание
Результаты этого поиска формируют выдачу для визуального поиска (например, в Google Lens), которая может быть представлена пользователю в виде списка или наложена непосредственно на изображение в виде AR-контента.

Входные данные (Индексация):

• URL сетевых ресурсов.
• Метаданные (XML/JSON) с описанием дополнений и анкорей.
• Данные ссылочного графа интернета.
• Контент сетевых ресурсов.

Входные данные (Поиск):

• Изображение (или видеопоток).
• Контекстная информация (местоположение, данные пользователя).

Выходные данные:

• Упорядоченный список цифровых дополнений, включающий данные для доступа (URL, параметры запуска приложения) и описательные данные (название, описание, изображение).

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на E-commerce (AR-просмотр товаров, купоны), локальный бизнес (информация о ресторанах, музеях), развлечения (трейлеры фильмов по постерам) и образование. Влияет на любой контент, который может быть визуально идентифицирован и дополнен цифровой информацией.
• Специфические запросы: Влияет на информационные и транзакционные запросы, инициированные через визуальный поиск (например, "что это за продукт", "купить это", "как это использовать").

Когда применяется

• Триггеры активации: Активируется при получении запроса визуального контента от пользователя (например, при использовании Google Lens).
• Условия работы алгоритма (Индексация): Применяется, когда краулер обнаруживает корректные метаданные на сетевом ресурсе.
• Условия работы алгоритма (Поиск): Применяется, когда система успешно идентифицирует один или несколько анкорей дополнений в изображении, для которых в индексе существуют релевантные цифровые дополнения, удовлетворяющие контекстным условиям.

Пошаговый алгоритм

Процесс А: Индексация цифровых дополнений (Офлайн/Непрерывный процесс)

1. Сканирование: Content Crawler обходит сетевые ресурсы (веб-страницы), используя стандартные методы краулинга или получая URL через API.
2. Анализ ресурса: Система анализирует содержимое ресурса на наличие индикаторов метаданных, связанных с цифровыми дополнениями (например, специфических тегов или структур данных JSON/XML).
3. Идентификация метаданных: При обнаружении метаданных система извлекает информацию о дополнении.
4. Извлечение данных: Извлекаются данные доступа (URL, приложение), описательные данные (название, издатель) и, самое главное, идентификаторы анкорей дополнений и контекстная информация.
5. Расчет оценок: Система вычисляет Prestige Score (на основе ссылок на ресурс/дополнение) и Relevance Score (на основе анализа контента и ссылок относительно анкоря).
6. Генерация и сохранение: Генерируется экземпляр структуры данных, объединяющий всю информацию и оценки. Он сохраняется в Digital Supplement Data Store (индекс), связывая дополнение с анкорем.
7. Активация: Дополнение становится доступным для поиска.

Процесс Б: Обработка визуального запроса (Реальное время)

1. Получение запроса: Поисковый сервер получает Visual-Content Query от клиентского устройства, включающий изображение и контекстные данные.
2. Идентификация анкорей: Система анализирует изображение для идентификации потенциальных анкорей дополнений (сущностей, текста, кодов).
3. Поиск в индексе: Идентифицированные анкоря используются для запроса к Digital Supplement Data Store.
4. Идентификация кандидатов: Система определяет набор цифровых дополнений, связанных с найденными анкорями.
5. Контекстная фильтрация: Кандидаты проверяются на соответствие контексту запроса (например, местоположению пользователя, наличию необходимых приложений на устройстве).
6. Ранжирование: Оставшиеся кандидаты ранжируются для формирования упорядоченного списка. Ранжирование основано на Prestige Score и Relevance Score.
7. Ответ: Упорядоченный список передается клиентскому устройству для отображения пользователю.

Какие данные и как использует

Данные на входе

Патент описывает использование широкого спектра данных, аналогичных тем, что используются в традиционном веб-поиске, но адаптированных для визуального контекста.

• Контентные факторы: Содержание цифрового дополнения и контент сетевого ресурса, на котором оно размещено. Используются для расчета Relevance Score.
• Структурные факторы (Метаданные): Критически важные данные. Метаданные (XML, JSON) используются для идентификации дополнения, его названия, описания, изображения, издателя, анкорей и контекстных условий.
• Ссылочные факторы: Входящие ссылки на цифровое дополнение или на сетевой ресурс, его предоставляющий. Используются для расчета Prestige Score. Также анализируется текст ссылок (anchor text) для расчета Relevance Score.
• Пользовательские и Географические факторы: Местоположение устройства, идентификатор пользователя. Используются как контекстная информация для фильтрации и ранжирования дополнений (например, купон для конкретного магазина).
• Технические факторы: Требования к устройству или необходимые приложения для доступа к дополнению (указываются в метаданных).

Какие метрики используются и как они считаются

• Prestige Score (Оценка престижа): Метрика популярности. Рассчитывается на основе комбинации количества ссылок с других сетевых ресурсов на данное дополнение и оценок престижа этих ссылающихся ресурсов. Это прямой аналог PageRank для цифровых дополнений.
• Relevance Score (Оценка релевантности): Метрика релевантности дополнения конкретному анкорю или тематике. Рассчитывается на основе анализа контента самого дополнения, контента связанного сетевого ресурса, контента ссылающихся сайтов и текста входящих ссылок.
• Confidence Score (Оценка уверенности): Метрика, используемая при распознавании анкорей в изображении. Указывает на вероятность того, что объект в изображении действительно является данным анкорем.
• Частота использования: Упоминается возможность ранжирования на основе частоты или недавности использования дополнения конкретным пользователем.

1. Создание "Интернета для AR" и Визуального Поиска: Патент описывает инфраструктуру, которая позволяет Google сканировать, индексировать и ранжировать интерактивный контент (цифровые дополнения), связанный с реальным миром, аналогично тому, как он индексирует веб-страницы. Это открывает возможности для "Visual Search SEO".
2. Критичность Метаданных для Индексации: Чтобы цифровое дополнение попало в индекс, оно должно быть описано с помощью структурированных метаданных на доступном для сканирования сетевом ресурсе. Вебмастера должны явно указывать, с какими анкорями связано дополнение.
3. Классические SEO-факторы для Ранжирования: Ранжирование цифровых дополнений основано на знакомых SEO-специалистам концепциях:
   • Авторитетность (Prestige Score): Аналог PageRank, основанный на ссылках.
   • Релевантность (Relevance Score): Основана на контенте и тексте входящих ссылок.
4. Важность Контекста: Контекст пользователя (местоположение, устройство, установленные приложения) играет ключевую роль в фильтрации и ранжировании дополнений. Дополнение может быть релевантным анкорю, но не показано, если контекст не соответствует (например, пользователь находится не в том месте).
5. Множественность Дополнений для Одного Анкоря: Один и тот же объект (анкорь) может иметь множество цифровых дополнений от разных поставщиков. Система ранжирует их, чтобы выбрать лучшие, предоставляя пользователю выбор.

Best practices (это мы делаем)

• Разработка Стратегии Цифровых Дополнений: Определите, какие цифровые дополнения могут быть полезны для ваших продуктов, услуг или локаций (например, AR-примерка, 3D-модели мебели, купоны для локального магазина, инструкции по использованию продукта, видеообзоры).
• Внедрение Структурированных Метаданных: Обеспечьте наличие на ваших веб-страницах (сетевых ресурсах) структурированных метаданных (XML/JSON), которые точно описывают ваши цифровые дополнения и связывают их с конкретными анкорями (идентификаторами продуктов, изображениями). Хотя стандарт не указан в патенте, необходимо следить за рекомендациями Google для Visual Search.
• Оптимизация под Relevance Score: Убедитесь, что контент на странице, где размещены метаданные, и контент самого дополнения максимально релевантны анкорю. Используйте релевантный текст и описания.
• Наращивание Prestige Score (Link Building): Применяйте стратегии линкбилдинга для страниц, на которых размещены ваши цифровые дополнения. Авторитетные ссылки повысят Prestige Score и улучшат ранжирование ваших дополнений в визуальном поиске по сравнению с конкурентами.
• Оптимизация Анкорей (Изображений): Убедитесь, что ваши продукты, логотипы или изображения в каталогах легко распознаются системами машинного зрения. Четкие, высококонтрастные изображения улучшают идентификацию анкорей.
• Использование Контекстных Сигналов: Для локального бизнеса используйте контекстную информацию (геолокацию) в метаданных, чтобы предоставлять дополнения (например, купоны) только пользователям, находящимся поблизости.

Worst practices (это делать не надо)

• Игнорирование Визуального Поиска: Отсутствие стратегии по созданию и индексации цифровых дополнений приведет к потере видимости в Google Lens и аналогичных сервисах.
• Создание Низкокачественных Дополнений (Spam): Попытки манипулировать выдачей путем создания бесполезных дополнений или неточного связывания их с популярными анкорями будут неэффективны из-за механизмов ранжирования по релевантности и престижу.
• Отсутствие Метаданных: Создание полезного AR-контента или приложений без предоставления метаданных для индексации не позволит поисковой системе обнаружить и предложить их пользователям визуального поиска.
• Игнорирование Ссылочного Профиля: Фокусировка только на создании дополнения без работы над авторитетностью хост-страницы приведет к низким позициям в ранжировании.

Стратегическое значение

Этот патент подтверждает, что Google строит экосистему визуального поиска, основанную на открытых веб-стандартах и классических принципах ранжирования. Это не закрытая платформа, а расширение веба в физический мир. Долгосрочная SEO-стратегия должна включать оптимизацию под визуальный поиск как отдельное направление, требующее интеграции технического SEO (метаданные), контент-стратегии (создание дополнений) и PR/Link Building (повышение престижа). Это особенно критично для E-commerce и брендов, чьи продукты существуют в физическом мире.

Практические примеры

Сценарий 1: Индексация AR-модели для E-commerce

1. Задача: Мебельный магазин хочет, чтобы пользователи могли увидеть 3D-модель дивана в своей комнате через Google Lens.
2. Действие: На странице продукта (сетевой ресурс) размещается код JSON (метаданные). В нем указывается URL 3D-модели (цифровое дополнение) и идентификатор продукта (анкорь).
3. Индексация: Google сканирует страницу, индексирует метаданные, рассчитывает Prestige Score страницы.
4. Результат: Когда пользователь сканирует диван в каталоге или в шоуруме (визуальный запрос), система распознает анкорь и предлагает опцию "Просмотр в комнате" (если ранг дополнения достаточно высок).

Сценарий 2: Локальный маркетинг и купоны

1. Задача: Сеть кофеен хочет предлагать купон посетителям.
2. Действие: На сайте кофейни создается страница с метаданными, описывающими купон (цифровое дополнение). В качестве анкоря используется логотип кофейни, а в качестве контекстного условия — геолокация магазинов.
3. Индексация: Google индексирует дополнение и его условия.
4. Результат: Когда пользователь сканирует логотип на стаканчике или вывеске, находясь рядом с кофейней, система предлагает активировать купон. Если пользователь находится в другом городе, дополнение не будет показано.