Как Google индексирует, ранжирует и выбирает действия и AR-контент для Визуального Поиска (Google Lens)

Описание

Какую задачу решает

Патент решает проблему соединения физического мира, воспринимаемого через камеру устройства (визуальный поиск), с релевантными цифровыми действиями, контентом и опытом. Он устраняет разрыв между простым распознаванием объекта на изображении и предоставлением пользователю наиболее полезных интерактивных возможностей (Digital Supplements), связанных с этим объектом, путем создания индексируемой и ранжируемой экосистемы для визуального поиска.

Что запатентовано

Запатентована система для создания и использования индекса Digital Supplements (например, AR-контента, 3D-моделей, действий). Система включает механизм краулинга веб-ресурсов для обнаружения метаданных (Metadata), которые связывают эти дополнения с Supplement Anchors (объектами, текстом, штрихкодами). Также запатентован метод ранжирования этих дополнений в ответ на визуальный запрос, использующий глубокий анализ контекстуальных сигналов (местоположение, профиль пользователя, характеристики устройства) и авторитетности (Prestige Score).

Как это работает

Система работает в двух основных режимах:

• Индексирование (Офлайн): Content Crawler сканирует веб-ресурсы в поисках метаданных (например, XML, JSON). Эти метаданные определяют Digital Supplement и связывают его с Supplement Anchor. Эта информация индексируется, и рассчитывается Prestige Score (авторитетность на основе ссылок).
• Поиск и Ранжирование (Онлайн): Пользователь отправляет Visual-Content Query (изображение). Система обнаруживает сущности (анкоря) в изображении и ищет в индексе связанные дополнения. Ключевым является ранжирование: система вычисляет Relevance Score для каждого дополнения, учитывая Prestige Score и контекст (местоположение, профиль пользователя, спецификации устройства, установленные приложения). Упорядоченный список возвращается пользователю.

Актуальность для SEO

Критически высокая. Визуальный поиск (например, Google Lens) является стратегическим направлением развития поиска Google, интегрируясь в камеры смартфонов и будущие AR-устройства. Этот патент описывает фундаментальную архитектуру того, как Google превращает визуальный поиск из инструмента распознавания объектов в платформу для взаимодействия с цифровым миром (Camera-as-a-Query). Механизмы контекстного и персонализированного ранжирования, описанные здесь, крайне актуальны.

Важность для SEO

Патент имеет высокое стратегическое значение (85/100) для SEO, определяя основы Визуального Поиска (VSEO). Он описывает визуальный поиск как индексируемую экосистему, требующую активной оптимизации. SEO-специалистам необходимо понимать, как создавать, публиковать (через метаданные) и повышать авторитетность (Prestige Score) своих Digital Supplements, а также учитывать контекст пользователя для обеспечения видимости в интерфейсах типа Google Lens.

Детальный разбор

Термины и определения

Content Crawler (Контент-краулер)

Компонент поискового сервера, который сканирует сеть в поисках Digital Supplements, анализируя метаданные на веб-страницах.

Digital Supplement (Цифровое дополнение)

Контент или действие, предоставляемое в дополнение к объекту в физическом мире. Примеры: AR-модели (3D-модели), видео, информация о продукте, функции (калькулятор чаевых, добавление в корзину), запуск приложения.

Entity (Сущность)

Объект, распознанный в визуальном контенте (продукт, здание, человек и т.д.), который может выступать как Supplement Anchor.

Metadata (Метаданные)

Данные (например, XML, JSON), размещаемые издателями на веб-ресурсах, которые описывают Digital Supplement и определяют его Supplement Anchors и условия доступа (контекст).

Prestige Score (Оценка престижа/авторитетности)

Метрика авторитетности Digital Supplement, основанная на количестве и авторитетности других сетевых ресурсов, ссылающихся на данное дополнение или ресурс, его предоставляющий (аналог PageRank для визуального поиска). Упоминается в Claim 7.

Relevance Score (Оценка релевантности)

Метрика, определяющая порядок ранжирования Digital Supplements. Учитывает совпадение с сущностью, Prestige Score, а также контекстуальные факторы (местоположение, профиль пользователя, спецификации устройства).

Supplement Anchor (Анкорь дополнения)

Элемент визуального контента, который используется для привязки Digital Supplement. Примеры: распознанная сущность, текст (OCR), штрихкод, QR-код.

Target Entity (Целевая сущность)

Основная сущность, выбранная системой из нескольких сущностей на изображении, на основе кумулятивных оценок релевантности связанных с ней дополнений (Claim 4, 5).

Visual-Content Query (Визуальный запрос)

Запрос, основанный на изображении. Включает данные изображения и контекстуальную информацию о клиенте.

Ключевые утверждения (Анализ Claims)

Анализ основан на Claims 1-20 публикации US20240320269A1.

Claim 1 (Независимый пункт): Описывает основной процесс обработки визуального запроса и контекстного ранжирования сервером.

1. Сервер получает Visual-Content Query (включая данные изображения) от клиентского устройства.
2. Система обнаруживает сущность (entity) в данных изображения.
3. Идентифицируется множество Digital Supplements, связанных с этой сущностью.
4. Для каждого дополнения вычисляется Relevance Score. Ключевой момент: эта оценка основана на сущности И, как минимум, на одном из контекстных факторов: (i) местоположение клиента, (ii) данные профиля пользователя, (iii) спецификации клиентского устройства.
5. Дополнения ранжируются на основе этих Relevance Scores.
6. Упорядоченный список дополнений отправляется обратно клиентскому устройству.

Claim 2 и 3 (Зависимые): Бустинг для AR/3D контента.

Если Digital Supplement включает трехмерную модель (three-dimensional model), соответствующую обнаруженной сущности, ему присваивается более высокий Relevance Score.

Claim 4 и 5 (Зависимые): Обработка изображений с несколькими объектами.

1. Система обнаруживает множество сущностей на изображении.
2. Система идентифицирует Target Entity (целевую сущность). Выбор основан на кумулятивных (суммарных) оценках релевантности (cumulative relevance scores) дополнений, связанных с каждой сущностью. (Выбирается сущность с наилучшим набором дополнений).
3. Ранжирование фокусируется на дополнениях, связанных именно с этой Target Entity.

Claim 6 (Зависимый): Ранжирование на основе спецификаций устройства.

Система сравнивает требуемые возможности устройства (required device capabilities) для дополнения с фактическими возможностями клиента. Если требования удовлетворены, Relevance Score повышается; если нет — понижается.

Claim 7 (Зависимый): Включение авторитетности в ранжирование.

Relevance Score также основывается на Prestige Score, который рассчитывается на основе количества других сетевых ресурсов, ссылающихся на данное цифровое дополнение.

Claim 8, 9, 10 (Зависимые): Персонализация ранжирования.

• Claim 8: Если дополнение требует установки приложения, Relevance Score повышается, если это приложение установлено у пользователя.
• Claim 9: Если дополнение требует подписки, Relevance Score повышается, если у пользователя есть эта подписка.
• Claim 10: Relevance Score корректируется на основе предпочтений пользователя (user preferences), определенных из профиля.

Где и как применяется

Изобретение охватывает полный цикл работы системы визуального поиска (например, Google Lens).

CRAWLING – Сканирование и Сбор данных
Content Crawler активно ищет веб-ресурсы, которые содержат Metadata о Digital Supplements. Это сбор данных для индекса визуального поиска.

INDEXING – Индексирование и извлечение признаков
Система обрабатывает собранные метаданные, индексируя дополнения и их анкоря. На этом этапе также рассчитываются статические сигналы, такие как Prestige Score (на основе анализа ссылок на дополнение или ресурс, его предоставляющий).

QUNDERSTANDING – Понимание Запросов (Визуальное)
При получении Visual-Content Query система использует технологии машинного зрения (например, CNN, OCR) для распознавания сущностей, текста или кодов в изображении и идентификации соответствующих Supplement Anchors.

RANKING / RERANKING – Ранжирование
Основной этап применения логики патента.

1. Отбор кандидатов и выбор цели: Извлекает из индекса связанные Digital Supplements. Если объектов несколько, выбирается Target Entity.
2. Контекстуальное ранжирование: Вычисляет Relevance Scores, используя динамические данные (местоположение, профиль пользователя, спецификации устройства, установленные приложения) и статические данные (Prestige Score, бустинг для 3D).

Входные данные:

• Визуальный запрос (данные изображения).
• Контекстные данные: Местоположение, Профиль пользователя (предпочтения, подписки), Спецификации устройства, Установленные приложения.
• Индекс Digital Supplements (Метаданные, Prestige Scores).

Выходные данные:

• Упорядоченный список релевантных Digital Supplements.

На что влияет

• Конкретные типы контента: AR-контент, 3D-модели, интерактивные действия (покупка, бронирование), сводная информация (отзывы, рейтинги).
• Специфические запросы: Запросы, поданные через системы визуального поиска (Google Lens).
• Конкретные ниши: Критическое влияние на E-commerce (примерка, информация о продукте), локальный бизнес (рейтинги, туры, меню), медиа (трейлеры), обработку документов (чеки, визитки).

Когда применяется

• Триггеры активации: Запуск интерфейса визуального поиска пользователем и захват изображения.
• Условия работы: Алгоритм ранжирования активируется, когда система успешно идентифицирует Supplement Anchors в изображении, для которых в индексе существуют связанные Digital Supplements, и контекстуальные условия удовлетворены.

Пошаговый алгоритм

Процесс А: Индексирование Digital Supplements (Офлайн)

1. Сканирование: Content Crawler анализирует сетевые ресурсы.
2. Обнаружение метаданных: Идентификация Metadata (XML, JSON), описывающих Digital Supplement и Supplement Anchor.
3. Извлечение данных: Извлечение информации о дополнении и его контекстных требованиях (география, требуемые приложения/возможности).
4. Расчет авторитетности: Анализ ссылок на дополнение или его источник для вычисления Prestige Score (Claim 7).
5. Индексирование: Сохранение данных в индексе визуального поиска.

Процесс Б: Обработка визуального запроса и ранжирование (Реальное время)

1. Получение запроса: Сервер получает Visual-Content Query и контекстные данные (местоположение, профиль, спецификации устройства).
2. Обнаружение сущностей: Анализ изображения для идентификации сущностей (анкорей).
3. Выбор целевой сущности: Если обнаружено несколько сущностей, система выбирает Target Entity на основе кумулятивной релевантности доступных дополнений (Claim 4, 5).
4. Идентификация кандидатов: Поиск в индексе Digital Supplements, связанных с целевой сущностью.
5. Расчет Relevance Score (для каждого кандидата):
   1. Базовая релевантность и Авторитет: Оценка соответствия сущности и учет Prestige Score (Claim 7).
   2. Бустинг 3D: Повышение оценки для 3D-моделей (Claim 2, 3).
   3. Контекстуальная корректировка: Модификация оценки на основе местоположения (Claim 1).
   4. Персонализация: Учет предпочтений пользователя (Claim 10) и наличия подписок (Claim 9).
   5. Техническая корректировка: Повышение/понижение оценки, если устройство соответствует требованиям (Claim 6) и установлены нужные приложения (Claim 8).
6. Ранжирование: Сортировка кандидатов по итоговому Relevance Score.
7. Ответ: Передача упорядоченного списка клиенту.

Какие данные и как использует

Данные на входе

Система использует комбинацию статических данных из индекса и динамических контекстных данных.

• Мультимедиа факторы (Визуальные): Данные изображения из запроса. Используются для распознавания Supplement Anchors.
• Контентные и Структурные факторы: Metadata (XML, JSON) из индекса. Определяют дополнение, анкорь и требования.
• Ссылочные факторы (Авторитетность): Входящие ссылки на Digital Supplement или ресурс, его предоставляющий. Используются для расчета Prestige Score (Claim 7).
• Географические факторы (Контекст): Местоположение клиентского устройства (Claim 1).
• Пользовательские факторы (Контекст):
  • Данные профиля пользователя (предпочтения, подписки) (Claims 9, 10).
  • Список установленных приложений (Claim 8).
• Технические факторы (Контекст): Спецификации клиентского устройства (для определения возможностей) (Claim 6).

Какие метрики используются и как они считаются

• Relevance Score: Комплексная оценка, рассчитываемая в реальном времени. Определяет финальное ранжирование. Является функцией от базовой релевантности анкорю, Prestige Score и множества контекстуальных сигналов (Claims 1-10).
• Prestige Score: Рассчитывается офлайн на основе анализа ссылочного графа (Claim 7).
• Кумулятивная оценка релевантности (Cumulative Relevance Score): Сумма Relevance Scores всех дополнений, связанных с конкретной сущностью. Используется для выбора Target Entity (Claim 4).
• Required Device Capabilities: Пороговые значения технических требований, указанные в метаданных. Сравниваются со спецификациями устройства (Claim 6).

Выводы

1. Визуальный поиск (VSEO) — это отдельная экосистема с собственным индексом. Google активно сканирует веб для построения индекса Digital Supplements (действий, AR-контента), связанных с реальными объектами. Это требует специфических стратегий оптимизации, отличных от традиционного SEO.
2. Метаданные — обязательное условие индексации. Чтобы контент или функциональность появились в визуальном поиске (например, Google Lens), они должны быть описаны через структурированные Metadata на веб-ресурсе, доступном для краулера.
3. Ранжирование гипер-контекстуально и персонализировано. Патент детально описывает, как Relevance Score динамически модифицируется в зависимости от местоположения пользователя, его предпочтений, подписок, установленных приложений и даже технических характеристик его устройства (Claims 1, 6, 8-10).
4. Авторитетность (Prestige Score) применима к VSEO. Аналог PageRank, основанный на ссылках (Prestige Score), является подтвержденным фактором ранжирования для цифровых дополнений (Claim 7). Авторитетность источника критически важна.
5. Приоритет интерактивного контента (3D/AR). Система явно предоставляет бустинг в ранжировании для дополнений, включающих 3D-модели (Claims 2, 3), что указывает на стратегический приоритет AR-контента в визуальном поиске.
6. Интеллектуальный выбор цели (Target Entity). Система выбирает основной объект интереса на сложных изображениях, основываясь на качестве доступных для него дополнений, а не только на визуальной заметности объекта (Claims 4, 5).

Практика

Best practices (это мы делаем)

• Разработка и разметка Digital Supplements: Активно создавайте полезный интерактивный контент, связанный с вашими сущностями (продуктами, локациями). Для E-commerce приоритет — 3D-модели и AR-примерка (бустинг по Claim 3). Используйте структурированные метаданные (на практике — Schema.org) для разметки этих дополнений, чтобы Content Crawler мог их проиндексировать.
• Построение авторитетности (Prestige Score): Применяйте стратегии линкбилдинга и повышения E-E-A-T для страниц, которые содержат метаданные ваших Digital Supplements (например, карточек товаров). Авторитетность источника напрямую влияет на ранжирование в визуальном поиске (Claim 7).
• Оптимизация под контекстное ранжирование: Учитывайте контекст пользователя. Для локального бизнеса создавайте дополнения, привязанные к геолокации (Claim 1). Убедитесь, что технические требования дополнений соответствуют возможностям целевой аудитории, так как несовместимость приводит к понижению в ранжировании (Claim 6).
• Интеграция с приложениями и подписками: Если у вас есть приложение или контент по подписке, интегрируйте их как Digital Supplements. Система будет повышать их в ранжировании для пользователей, у которых установлено приложение или есть подписка (Claims 8, 9).

Worst practices (это делать не надо)

• Игнорирование метаданных для AR/Интерактивного контента: Создавать интерактивный опыт, но не предоставлять метаданные для его индексации. Система визуального поиска его не обнаружит.
• Фокус только на контенте без учета авторитетности: Игнорирование Prestige Score. Создание дополнения без работы над авторитетностью источника не гарантирует высоких позиций в конкурентной выдаче визуального поиска.
• Создание слишком требовательных дополнений: Разработка дополнений (например, сложного AR), которые работают только на флагманских устройствах. Это приведет к понижению Relevance Score на несовместимых устройствах (Claim 6).
• Игнорирование локального контекста: Предлагать универсальные дополнения без учета местоположения пользователя, упуская возможность высокорелевантного взаимодействия (Claim 1).

Стратегическое значение

Патент подтверждает, что Визуальный Поиск — это полноценная поисковая экосистема со своими правилами индексации и сложными алгоритмами ранжирования. Для SEO-стратегии это означает необходимость развития направления VSEO. Авторитетность источника (E-E-A-T и ссылки) переносится в эту среду, но критически важными становятся также гипер-персонализация и учет технического контекста пользователя. Бренды должны оптимизировать не только сайты, но и связь своих цифровых активов с физическими объектами.

Практические примеры

Сценарий 1: Оптимизация E-commerce (Мебель) для AR-просмотра

1. Задача: Обеспечить показ функции «Посмотреть в интерьере» при сканировании дивана в Google Lens.
2. Действия:
   • Создать 3D-модель дивана (Digital Supplement). (Получает буст по Claim 3).
   • Разместить на карточке товара метаданные (например, Schema.org), связывающие модель с товаром (Supplement Anchor) и указывающие технические требования.
   • Провести линкбилдинг для карточки товара (повышение Prestige Score по Claim 7).
3. Результат: При визуальном поиске дивана, система высоко ранжирует AR-дополнение от этого магазина, если устройство пользователя совместимо (Claim 6).

Сценарий 2: Оптимизация для локального ресторана

1. Задача: При сканировании вывески показать функцию бронирования столика.
2. Действия:
   • На официальном сайте разместить метаданные, связывающие сущность ресторана (Анкорь) с действием «Забронировать столик» (Дополнение).
   • Обеспечить привязку к геолокации.
3. Результат: Когда пользователь находится рядом и сканирует вывеску, благодаря геолокационному контексту (Claim 1), дополнение «Забронировать столик» получит высокий Relevance Score и будет показано в приоритете.

Вопросы и ответы