Как Google индексирует и ранжирует интерактивный контент (AR, действия) для визуального поиска (Google Lens)

Описание

Какую задачу решает

Патент решает проблему обнаружения, систематизации и предоставления пользователю релевантного интерактивного контента, функциональности или информации (Digital Supplements), связанной с объектами физического мира, распознанными через визуальный поиск. Система устраняет разрыв между простым визуальным распознаванием объекта (например, товара, документа, постера) и доступом к связанным с ним цифровым действиям (например, покупка, расчет, запуск AR-опыта).

Что запатентовано

Запатентована комплексная система для интеграции визуального поиска с индексируемым веб-контентом. Суть изобретения заключается в создании и использовании специализированного индекса Digital Supplements. Система включает краулер (Content Crawler) для обнаружения метаданных о дополнениях на веб-ресурсах, механизм индексации, связывающий эти дополнения с визуальными триггерами (Supplement Anchors), и поисковый движок, который ранжирует и возвращает дополнения в ответ на визуальный запрос (Visual-Content Query).

Как это работает

Система работает в двух режимах: индексация и поиск.

Индексация (Офлайн):

• Обнаружение: Content Crawler сканирует веб-ресурсы (network-accessible resources) в поисках метаданных (например, XML, JSON), описывающих Digital Supplements.
• Извлечение: Из метаданных извлекается информация о доступе к дополнению (URL, приложение) и связанные с ним Supplement Anchors (объекты, текст, коды, которые должны его активировать).
• Индексация и Оценка: Дополнения добавляются в индекс. Рассчитываются оценки качества, такие как Prestige Score (авторитетность источника на основе ссылок) и Relevance Score.

Поиск (Реальное время):

• Запрос: Клиентское устройство захватывает изображение и отправляет Visual-Content Query.
• Анализ: Система идентифицирует Supplement Anchors в изображении.
• Поиск и Ранжирование: Поисковый движок находит в индексе релевантные дополнения и ранжирует их на основе оценок и контекста (например, местоположения).
• Представление: Пользователю возвращается ранжированный список дополнений для выбора и активации.

Актуальность для SEO

Высокая. Визуальный поиск (например, Google Lens) является стратегическим направлением развития поисковых систем. Этот патент описывает инфраструктуру, которая позволяет не просто распознавать объекты, но и предлагать конкретные действия и интерактивный (включая AR) контент, индексируемый из открытого веба и приложений. Это критически важно для развития e-commerce и взаимодействия с пользователем в реальном мире.

Важность для SEO

Влияние на SEO значительное (85/100). Патент фактически описывает новый тип индексируемого контента — Digital Supplements. Это открывает возможности для оптимизации под визуальный поиск (VSEO). SEO-специалистам необходимо понимать, как создавать, размечать метаданными и продвигать эти дополнения, чтобы их контент или функциональность были обнаружены и высоко ранжировались при визуальных запросах, связанных с их продуктами, услугами или контентом.

Детальный разбор

Термины и определения

Digital Supplement (Цифровое дополнение)

Контент любого типа (AR-опыт, изображения, аудио, текст, видео, игры, приложения, рабочие процессы), который дополняет объект или сущность в физическом окружении. Активируется через визуальный поиск.

Supplement Anchor (Анкорь дополнения)

Визуальный триггер для активации Digital Supplement. Это может быть распознанный объект, продукт, здание, произведение искусства, текст (OCR), штрихкод, QR-код, документ (чек) или тип сущности, идентифицированный в изображении.

Visual-Content Query (Запрос на основе визуального контента)

Поисковый запрос, основанный на изображении. Может включать само изображение, извлеченные из него данные (идентификаторы Supplement Anchors) и контекстуальную информацию (например, местоположение).

Content Crawler (Краулер контента)

Компонент поискового сервера, который сканирует network-accessible resources (веб-страницы) для идентификации Digital Supplements на основе метаданных.

Metadata (Метаданные)

Структурированные данные (например, XML, JSON) на веб-ресурсе, которые описывают Digital Supplement. Включают идентификаторы анкорей, описание, имя издателя, URL доступа, требования к контексту.

Network-accessible resource (Сетевой ресурс)

Ресурс, доступный по сети (например, веб-страница), который содержит или предоставляет Digital Supplement и его метаданные.

Prestige Score (Оценка престижа/авторитетности)

Метрика популярности/авторитетности, основанная на количестве и качестве ссылок на Digital Supplement или связанный с ним сетевой ресурс. Используется при ранжировании.

Relevance Score (Оценка релевантности)

Метрика, определяющая релевантность Digital Supplement конкретному Supplement Anchor или запросу. Может основываться на контенте дополнения, ресурса и ссылающемся тексте.

Digital Supplement Server (Сервер цифровых дополнений)

Сервер (часто сторонний), который предоставляет фактический контент или функциональность Digital Supplement.

Ключевые утверждения (Анализ Claims)

Патент описывает как клиентские процессы взаимодействия, так и серверные механизмы индексации.

Client-Side Process (Claim 1 — Независимый пункт): Описывает основной сценарий визуального поиска.

1. Приложение на устройстве захватывает изображение.
2. Устройство отправляет запрос, включающий изображение, на поисковый сервер (search server).
3. Приложение получает ответ от поискового сервера. Ответ идентифицирует digital supplement server и конкретное цифровое дополнение (digital supplement), предоставляемое этим сервером.
4. Приложение отображает пользовательский интерфейс, включающий информацию из этого цифрового дополнения.

Server-Side Indexing (Описано в спецификации, FIGS. 3 и 4): Описывает процесс создания индекса, критически важный для SEO.

1. Система (Content Crawler) анализирует сетевой ресурс (network-accessible resource).
2. Внутри ресурса идентифицируются метаданные (metadata), связанные с digital supplement.
3. На основе метаданных генерируется запись в индексе.
4. После этого обеспечивается возможность поиска этого дополнения по визуальному запросу.

Сценарии использования (Зависимые пункты):

• Claims 3-8: Детализируют применение для E-commerce: идентификация продукта, отображение рейтингов, информации о покупке, характеристик и AR-визуализация (например, размещение мебели в комнате).
• Claims 9-10: Применение для событий (например, постеры фильмов): отображение превью, рейтингов, расписания.
• Claims 11-12: Применение для документов (например, чеки): выполнение расчетов (чаевые), разделение счета, сохранение документа.

Interaction with Digital Supplement Server (Claim 17): Детализирует способ получения контента.

Клиентское устройство может отправить захваченное изображение напрямую на идентифицированный digital supplement server для получения и отображения контента. Это важно для AR-приложений, требующих точного позиционирования.

Contextual Factors (Claims 19, 20):

• Ранжирование списка дополнений может зависеть от того, установлены ли у пользователя необходимые приложения (Claim 19).
• Запрос может включать контекстную информацию, в том числе информацию о местоположении (Claim 20).

Где и как применяется

Изобретение охватывает всю архитектуру поисковой системы, адаптированную для визуального поиска.

CRAWLING – Сканирование и Сбор данных
Content Crawler активно сканирует network-accessible resources в поисках специфических метаданных (XML/JSON), сигнализирующих о наличии Digital Supplements.

INDEXING – Индексирование и извлечение признаков
Система извлекает Supplement Anchors и данные доступа из метаданных. Создается специализированный индекс. Рассчитываются сигналы качества и релевантности: Prestige Score (на основе ссылок) и Relevance Score для каждого дополнения.

QUNDERSTANDING – Понимание Запросов (Визуальное)
Анализ Visual-Content Query. Система распознает объекты (используя CNN), текст (OCR) или коды в изображении, чтобы идентифицировать потенциальные Supplement Anchors.

RANKING – Ранжирование
Поисковый движок использует идентифицированные анкоря и контекст (например, местоположение) для поиска в индексе. Найденные дополнения ранжируются с использованием Relevance Scores, Prestige Scores и контекстуальных сигналов.

RERANKING – Переранжирование
Финальное ранжирование может корректироваться на основе пользовательских факторов, например, наличия установленных приложений (Claim 19).

Входные данные (Индексация): URL ресурсов, Метаданные (XML, JSON), Ссылочный граф (для Prestige Score).

Входные данные (Поиск): Изображение/видеопоток, Идентификаторы анкорей, Контекст (местоположение), Данные пользователя (установленные приложения).

Выходные данные: Ранжированный список Digital Supplements с данными доступа (URL, App ID) и описаниями.

На что влияет

• Конкретные ниши или тематики: Критическое влияние на E-commerce (товары, AR-примерка, покупка), локальный бизнес (рестораны, магазины, музеи), развлечения (фильмы, события) и продуктивность (обработка документов).
• Специфические запросы: Визуальные запросы, направленные на объекты, с которыми можно взаимодействовать или о которых нужно получить контекстную информацию.

Когда применяется

• Триггеры активации: Когда система распознает Supplement Anchor в поле зрения камеры (или на загруженном изображении) И когда в индексе существуют Digital Supplements, связанные с этим анкорем.
• Условия применения: Применение может зависеть от контекста: местоположения пользователя (Claim 20) или наличия установленных приложений (Claim 19).

Пошаговый алгоритм

Процесс А: Индексация Digital Supplements (Офлайн)

1. Сканирование ресурсов: Content Crawler анализирует сетевые ресурсы.
2. Идентификация метаданных: Система ищет метаданные (например, JSON-структуры), ассоциированные с Digital Supplement.
3. Извлечение данных: Парсинг метаданных для извлечения идентификаторов Supplement Anchors, данных доступа (URL, App ID) и описательных данных.
4. Расчет оценок: Вычисление или обновление Prestige Score ресурса и Relevance Score дополнения к анкорям.
5. Генерация индексной записи: Создание записи в индексе на основе извлеченных данных и рассчитанных оценок.
6. Активация: Дополнение становится доступным для поиска.

Процесс Б: Обработка визуального запроса и ранжирование (Онлайн)

1. Захват изображения: Клиентское устройство захватывает изображение.
2. Отправка запроса: Устройство отправляет Visual-Content Query на поисковый сервер.
3. Идентификация анкорей: Система распознает один или несколько Supplement Anchors в запросе.
4. Поиск кандидатов: Поиск в индексе дополнений, связанных с анкорями и удовлетворяющих контекстным требованиям (например, локации).
5. Ранжирование: Определение порядка дополнений на основе Relevance Score, Prestige Score, контекста и пользовательских факторов (например, установленных приложений).
6. Ответ сервера: Отправка ранжированного списка дополнений клиенту.
7. Отображение интерфейса: Клиент отображает интерфейс для выбора дополнений (например, меню или аннотации).
8. Выбор и Активация: После выбора пользователя клиент запускает дополнение (открывает URL, запускает приложение или запрашивает контент у Digital Supplement Server, возможно, передавая ему изображение).

Какие данные и как использует

Данные на входе

• Контентные факторы (Визуальные): Изображения или видеопоток. Анализируются для распознавания объектов, лиц, документов.
• Контентные факторы (Текстовые): Текст, извлеченный из изображений с помощью OCR. Текст в метаданных Digital Supplement. Текст ссылок (анкоры), ведущих на ресурс дополнения.
• Технические/Структурные факторы: Метаданные (JSON, XML) на сетевых ресурсах, определяющие Digital Supplements. Штрихкоды и QR-коды, распознанные на изображении.
• Ссылочные факторы: Входящие ссылки на сетевой ресурс, предоставляющий Digital Supplement. Критичны для расчета Prestige Score.
• Географические факторы: Местоположение устройства (GPS). Используется как контекстный фильтр и фактор ранжирования (Claim 20).
• Пользовательские факторы: Информация о том, какие приложения установлены на устройстве пользователя (Claim 19). История взаимодействия с дополнениями.

Какие метрики используются и как они считаются

• Relevance Score: Оценка релевантности дополнения запросу. Рассчитывается на основе контента дополнения, контента сетевого ресурса, контента ссылающихся сайтов и текста ссылок.
• Prestige Score: Оценка авторитетности (аналог PageRank). Рассчитывается на основе комбинации количества ссылок на дополнение/ресурс и оценок престижа ссылающихся ресурсов.
• Popularity Metrics: Метрики, основанные на том, как часто пользователи выбирают конкретное дополнение (CTR в визуальной выдаче).
• Confidence Score: Оценка уверенности системы машинного зрения в том, что объект на изображении корректно распознан как Supplement Anchor.
• Contextual Scores: Оценки, основанные на соответствии контекста запроса (местоположение, время) требованиям дополнения.

Выводы

1. Новый тип индексируемого контента: Патент подтверждает, что поисковые системы индексируют не только веб-страницы, но и интерактивные «цифровые дополнения» (Digital Supplements), привязанные к объектам реального мира. Это создает экосистему для визуального поиска (VSEO), выходящую за рамки простого распознавания.
2. Критичность метаданных для обнаружения: Для того чтобы Digital Supplement попал в индекс, он должен быть описан с помощью структурированных метаданных (JSON/XML) на сетевом ресурсе. Content Crawler ищет именно эти данные. Нет метаданных — нет видимости в визуальном поиске.
3. Ранжирование на основе авторитетности и релевантности: Система использует классические поисковые метрики для ранжирования дополнений: Relevance Score (релевантность анкорю) и Prestige Score (авторитетность источника, основанная на ссылках). Авторитетность сайта напрямую влияет на ранжирование его дополнений.
4. Визуальный поиск как точка входа для действий: Цель системы — перевести визуальный интерес в конкретное действие (покупка, просмотр, расчет, AR-опыт). Визуальный поиск становится важной частью воронки конверсии.
5. Важность контекста, локации и приложений: Местоположение пользователя (Claim 20) и наличие установленных приложений (Claim 19) являются ключевыми факторами для фильтрации и ранжирования дополнений, что критически важно для локального бизнеса и разработчиков приложений.

Практика

Best practices (это мы делаем)

• Создание Digital Supplements для ключевых продуктов/услуг: Разрабатывать полезные цифровые дополнения, связанные с вашим бизнесом. Для e-commerce это могут быть функции быстрой покупки, просмотра отзывов или AR-примерки (FIG. 9, 10). Для локального бизнеса — купоны, меню или информация о рейтинге (FIG. 7, 11).
• Внедрение структурированных метаданных: Обеспечить наличие корректных метаданных (JSON или XML, на практике часто JSON-LD/Schema.org) на ваших веб-ресурсах, которые точно описывают Digital Supplement. Необходимо четко определить Supplement Anchors (к каким объектам привязано дополнение) и указать способ доступа (URL/App).
• Повышение авторитетности (Prestige Score): Размещать Digital Supplements на авторитетных доменах и работать над получением качественных внешних ссылок на эти ресурсы, так как Prestige Score (аналог PageRank) используется при ранжировании.
• Оптимизация под локальный контекст: Для дополнений, релевантных в конкретных локациях (например, в магазине), убедиться, что в метаданных корректно указаны географические условия или привязка к локации, чтобы использовать сигнал местоположения пользователя (Claim 20).
• Обеспечение качественного пользовательского опыта: Дополнение должно быть быстрым и полезным. Если дополнение требует передачи изображения на ваш сервер для обработки (Claim 17), необходимо обеспечить быструю обработку и возврат контента.

Worst practices (это делать не надо)

• Игнорирование визуального поиска (VSEO): Отсутствие оптимизированных Digital Supplements приведет к потере трафика и конверсий из этого растущего канала, особенно в E-commerce и локальном поиске.
• Некорректная разметка или отсутствие метаданных: Ошибки в метаданных или их отсутствие приведут к тому, что Content Crawler не сможет проиндексировать дополнение.
• Создание низкокачественных или спамных дополнений: Попытки манипулировать выдачей путем создания бесполезных дополнений или нерелевантной привязки к популярным анкорям, вероятно, будут пессимизированы через метрики качества и поведенческие факторы.
• Использование «серых» методов наращивания ссылок: Использование ссылочного спама для повышения Prestige Score несет те же риски, что и в традиционном SEO.

Стратегическое значение

Патент демонстрирует, что визуальный поиск превращается в полноценную поисковую вертикаль с собственным индексом, краулингом и факторами ранжирования. Для SEO это означает необходимость адаптации стратегий для охвата этого канала. Долгосрочная стратегия должна включать разработку и оптимизацию Digital Supplements как части общего контент-плана. Это особенно критично для e-commerce и компаний, чьи продукты или услуги имеют сильную визуальную составляющую в реальном мире.

Практические примеры

Сценарий: Оптимизация для E-commerce (Магазин мебели)

1. Цель: Позволить пользователям, сканирующим мебель в каталоге, увидеть ее в своей комнате (AR) и быстро купить.
2. Действие: Разработка AR-функционала (Digital Supplement) для визуализации мебели.
3. Реализация (Индексация): На сайте магазина внедряются метаданные (JSON). В них указывается:
   • Supplement Anchors: Идентификаторы конкретных моделей мебели.
   • Описание: «Посмотреть этот диван у себя дома (AR)».
   • Данные доступа: URL, который активирует AR-режим и загружает 3D-модель.
4. Реализация (Ранжирование): Страница продвигается для повышения Prestige Score (например, через внешние обзоры и линкбилдинг).
5. Результат: Когда пользователь сканирует диван, система находит это дополнение в индексе и предлагает его пользователю в интерфейсе визуального поиска (как в FIG. 10).

Сценарий: Оптимизация для локального бизнеса (Винный магазин)

1. Цель: Предоставить покупателям в магазине экспертные оценки и рекомендации.
2. Действие: Создание Digital Supplement с рейтингами и пейрингом.
3. Реализация: На сайте магазина внедряются метаданные, связывающие Supplement Anchors (конкретные этикетки вин) с дополнением, предоставляющим данные из базы рейтингов. В метаданных может указываться контекст: применимо в локации магазина.
4. Результат: Покупатель сканирует этикетку, и система предлагает дополнение, показывающее рейтинг и рекомендованные блюда (как в FIG. 7).

Вопросы и ответы