Как Google преобразует рисунки и изображения в текстовые поисковые запросы

Описание

Какую задачу решает

Патент решает проблему ввода поисковых запросов в ситуациях, когда набор текста затруднен (например, на мобильных устройствах с маленькими экранами) или когда пользователь может визуально представить объект поиска, но не знает его точного названия или описания. Изобретение позволяет использовать рисунок (эскиз) или загруженное изображение (фотографию) в качестве поискового запроса (drawing-based search query).

Что запатентовано

Запатентована система, которая автоматически преобразует визуальный поисковый запрос (рисунок или изображение) в текстовый запрос. Система сравнивает визуальный ввод с набором эталонных изображений (reference drawings или candidate images). После нахождения совпадения система идентифицирует ключевые слова (keywords), связанные с этим эталонным изображением. Затем эти ключевые слова используются для выполнения стандартного текстового поиска.

Как это работает

Механизм работает следующим образом:

• Получение ввода: Система получает запрос в виде изображения или рисунка, состоящего из штрихов (line strokes).
• Извлечение признаков: Система анализирует ввод и выделяет ключевые визуальные элементы (line segments).
• Сравнение: Извлеченные признаки сравниваются с признаками эталонных изображений. Сравнение происходит на уровне высокоуровневых признаков (форм и их взаимного расположения), а не на уровне пикселей.
• Идентификация совпадения: Определяется наиболее похожее эталонное изображение (candidate reference drawing).
• Идентификация ключевых слов: Система определяет ключевые слова, связанные с этим эталоном. Источники включают метаданные, анкорный текст ссылок на изображение, текст на странице с изображением и историю поисковых запросов, по которым кликали на это изображение.
• Выполнение поиска: Система автоматически выполняет поиск по наиболее релевантному ключевому слову и возвращает результаты пользователю.

Актуальность для SEO

Высокая. Технология, описанная в патенте, лежит в основе современных функций визуального поиска, таких как Google Lens и Поиск по картинке. Методы интерпретации визуального ввода и преобразования его в текстовые концепции остаются критически важными для развития мультимодального поиска.

Важность для SEO

Влияние на традиционное веб-SEO является косвенным, так как патент описывает этап понимания запроса, а не ранжирование. Однако он имеет критическое значение для Image SEO. Патент раскрывает конкретные механизмы, которые Google использует для связи изображений с текстовыми ключевыми словами. Понимание этих механизмов (особенно роли анкорного текста и поведения пользователей) необходимо для оптимизации визуальных активов и повышения их видимости в поиске.

Детальный разбор

Термины и определения

Candidate reference drawing / Candidate image (Кандидатное эталонное изображение)

Изображение из базы данных reference drawings, которое система идентифицировала как похожее на входное изображение пользователя.

Drawing-based search query (Поисковый запрос на основе рисунка)

Поисковый запрос, состоящий из одного или нескольких штрихов, графически изображающих предмет поиска. В контексте патента также относится к загруженным изображениям или фотографиям.

Fingerprints (Цифровые отпечатки)

Компактное представление уникальных характеристик изображения или его сегментов. Используется для ускорения сравнения изображений.

Keyword (Ключевое слово)

Термин, который система определила как релевантный предмету candidate reference drawing. Используется для выполнения финального текстового поиска.

Line segments (Сегменты линий)

Компоненты (прямые линии, кривые), на которые система разлагает line strokes входного рисунка для анализа.

Line strokes (Штрихи)

Траектория движущейся точки ввода (например, пальца на сенсорном экране), из которой состоит рисунок пользователя.

Locality-sensitive hash function (Локально-чувствительная хеш-функция)

Упоминаемый в описании алгоритм для генерации fingerprints, который сохраняет информацию о пространственном расположении признаков изображения.

Positioning characteristic (Характеристика позиционирования)

Данные, определяющие положение одного line segment относительно другого в рисунке.

Reference drawings (Эталонные изображения)

База данных изображений, с которыми сравнивается входной запрос пользователя. Они предварительно проанализированы и связаны с keywords.

Vector graphics representation (Векторное графическое представление)

Представление рисунка в виде его составных геометрических элементов. Используется для анализа и сравнения форм.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс обработки визуального поискового запроса.

1. Система получает поисковый запрос, идентифицирующий изображение (image).
2. Система сравнивает это изображение с множеством кандидатных изображений (multiple candidate images), чтобы найти совпадение (particular image).
3. Система идентифицирует ключевое слово (keyword), релевантное найденному изображению.
4. В ответ на запрос система предоставляет результаты поиска, релевантные этому ключевому слову. Уточнение: это происходит автоматически, без вмешательства пользователя после получения исходного запроса.

Claim 2 и 3 (Зависимые от 1): Уточняют тип входного изображения. Ввод может быть фотографией (Claim 2) или рисунком (drawing), нарисованным пользователем (Claim 3).

Claim 7 (Зависимый от 1): Детализирует один из методов идентификации ключевого слова.

Идентификация ключевого слова включает определение этого слова в анкорном тексте (anchor text) на веб-странице, которая ссылается на найденное кандидатное изображение.

Claim 9 (Независимый пункт): Описывает процесс, фокусируясь на использовании поведения пользователей для идентификации ключевого слова.

1. (Процесс аналогичен Claim 1 до момента идентификации ключевого слова).
2. Идентификация ключевого слова происходит путем определения слова, которое было присвоено кандидатскому изображению, потому что это слово использовалось в качестве термина в предыдущем поисковом запросе, для которого это изображение было (i) показано как результат поиска и (ii) выбрано пользователем (т.е. по нему кликнули).

Claim 8 (Независимый пункт): Описывает вариант с предоставлением вариантов запроса (подсказок).

1. Система идентифицирует первое и второе ключевые слова.
2. Система предоставляет результаты поиска по первому ключевому слову и предлагает второе ключевое слово для выбора на SERP.
3. Если пользователь выбирает второе ключевое слово, система предоставляет результаты поиска по нему.

Где и как применяется

Изобретение затрагивает этапы индексирования (для подготовки данных) и понимания запросов (для обработки визуального ввода).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка базы reference drawings (изображений в индексе Google). Система должна:

• Проанализировать изображения, извлечь визуальные признаки и создать fingerprints для быстрого сравнения.
• Идентифицировать и сохранить ключевые слова (keywords), связанные с каждым изображением. Это включает анализ метаданных, окружающего текста, анкорных текстов (anchor text) (Claim 7).
• Проанализировать данные из Query Logs и Click Logs для связи изображений с запросами на основе поведения пользователей (Claim 9).

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Когда пользователь отправляет визуальный запрос (рисунок или фото), система должна интерпретировать этот ввод и преобразовать его в форму, понятную для системы ранжирования.

• Система анализирует ввод (извлекает line segments или признаки).
• Сравнивает его с данными, подготовленными на этапе INDEXING.
• Определяет наилучшее текстовое представление (keyword) для этого визуального запроса.

RANKING – Ранжирование
На этом этапе система использует текстовое ключевое слово, полученное на этапе QUNDERSTANDING, для выполнения стандартного поиска по индексу.

Входные данные:

• Визуальный поисковый запрос (рисунок в виде line strokes или загруженное изображение/фото).
• База данных Reference Drawings с предварительно вычисленными признаками и связанными Keywords.

Выходные данные:

• Текстовое ключевое слово (или несколько), которое передается в систему ранжирования.
• Финальные результаты поиска (SERP), релевантные этому ключевому слову.

На что влияет

• Конкретные типы контента: В первую очередь влияет на поиск изображений и визуальный поиск (Google Lens). Позволяет находить любой тип контента (веб-страницы, товары) на основе визуального ввода.
• Специфические запросы: Влияет на запросы, где объект имеет узнаваемую визуальную форму (объекты, логотипы, достопримечательности), но пользователь может не знать его названия или испытывает трудности с текстовым вводом.

Когда применяется

• Триггеры активации: Когда пользователь явно использует функцию визуального поиска: загружает изображение, использует камеру (Google Lens) или рисует в специальном поле ввода (drawing input field).
• Условие применения: Алгоритм срабатывает, если система может найти reference drawing, достаточно похожее на входное изображение, и если для этого эталона известны релевантные keywords.

Пошаговый алгоритм

Процесс А: Обработка визуального запроса в реальном времени

1. Получение запроса: Система получает данные поискового запроса, содержащие изображение (рисунок или фотографию).
2. Идентификация признаков: Система анализирует ввод. Если это рисунок, идентифицируются line segments и создается векторное представление (vector graphics representation). Могут быть сгенерированы fingerprints.
3. Сравнение с эталонами: Извлеченные признаки сравниваются с признаками reference drawings. Сравнение учитывает форму и относительное позиционирование (positioning characteristics) элементов.
4. Идентификация кандидата: Определяется одно или несколько candidate reference drawings, которые наиболее похожи на ввод пользователя.
5. Идентификация ключевых слов: Для выбранного кандидата система извлекает связанные с ним keywords из своей базы данных.
6. Выбор ключевого слова: Если ключевых слов несколько, система ранжирует их (например, по частоте ассоциации) и выбирает лучшее.
7. Предоставление результатов: Система выполняет текстовый поиск по выбранному ключевому слову и предоставляет результаты пользователю. (Альтернативно, как в Claim 8, может предложить несколько ключевых слов для уточнения).

Процесс Б: Офлайн-подготовка базы эталонных изображений и ключевых слов

1. Анализ изображений: Система анализирует изображения в индексе, извлекает визуальные признаки и генерирует fingerprints.
2. Сбор ассоциаций (Контент и Ссылки): Система анализирует веб-страницы, извлекая ключевые слова из метаданных, подписей и окружающего текста. Также анализируются анкорные тексты ссылок, ведущих на изображение (Claim 7).
3. Сбор ассоциаций (Поведение пользователей): Система анализирует Query Logs и Click Logs. Она ищет запросы, по которым изображение было показано и получило клик. Эти запросы становятся сильными кандидатами в keywords (Claim 9).
4. Ранжирование и сохранение: Собранные ключевые слова взвешиваются, и наиболее релевантные сохраняются в ассоциации с reference drawing.

Какие данные и как использует

Данные на входе

Патент описывает использование следующих данных для понимания эталонных изображений (reference drawings) и ассоциации их с ключевыми словами:

• Контентные факторы: Термины, которые появляются на той же веб-странице, что и изображение (например, подписи к изображению, окружающий текст). Метаданные изображения (например, поле «Title»).
• Ссылочные факторы: Анкорный текст (anchor text) гиперссылок на других ресурсах, которые ссылаются на кандидатное изображение (Claim 7).
• Поведенческие факторы: Термины в поисковых запросах (Query Logs), по которым результаты поиска, ссылающиеся на кандидатное изображение, были выбраны пользователями (Click Logs) (Claim 9).
• Мультимедиа факторы (Визуальные признаки): Line segments, vector graphics representations, positioning characteristics. Используются для сравнения входного изображения с эталонным.

Какие метрики используются и как они считаются

• Similarity Measure (Мера схожести): Метрика для оценки визуального сходства между входным изображением и reference drawings. Может рассчитываться через сравнение векторов признаков или fingerprints.
• Keyword Ranking (Ранжирование ключевых слов): Метрика для выбора наилучшего текстового запроса. Может основываться на частоте ассоциации ключевого слова с изображением по всем источникам (метаданные, подписи, анкоры, клики) или с использованием алгоритмов взвешивания (например, TF-IDF).
• Threshold Value (Пороговое значение схожести): Значение, которое должна превысить Similarity Measure, чтобы изображение считалось кандидатом.

Выводы

1. Визуальный поиск — это перевод в текст: Фундаментальный вывод заключается в том, что система визуального поиска (в рамках этого патента) работает не путем прямого ранжирования контента по визуальным признакам, а путем перевода визуального ввода в текстовый запрос (keyword), который затем обрабатывается стандартной поисковой системой.
2. Критичность ассоциаций для понимания изображений: Патент подтверждает, что Google активно использует внешние сигналы для понимания содержания изображений. То, как изображение используется и контекстуализируется в вебе, определяет его релевантность.
3. Многообразие источников ассоциаций: Для определения keywords используются разнообразные источники: контент вокруг изображения, метаданные и, что важно, анкорные тексты ссылок на изображение (Claim 7).
4. Поведенческие данные как ключевой сигнал (Claim 9): Это критически важный вывод. Патент прямо указывает, что запросы, по которым пользователи кликают на изображение, становятся его ключевыми словами. Это мощный механизм обратной связи, подтверждающий релевантность.
5. Универсальность ввода: Система спроектирована для обработки как нарисованных эскизов (Claim 3), так и фотографий (Claim 2), что делает ее основой для современных систем типа Google Lens.

Практика

Best practices (это мы делаем)

Практические выводы напрямую касаются оптимизации изображений (Image SEO), так как патент раскрывает, как Google формирует базу reference drawings и понимает их смысл.

• Оптимизация контекста изображения: Размещайте изображения в релевантном текстовом окружении. Используйте описательные подписи (captions), заголовки и текст на странице, которые точно описывают содержание изображения. Это помогает системе сформировать правильные ассоциации (keywords).
• Оптимизация метаданных и атрибутов: Используйте описательные имена файлов и атрибуты alt. Патент упоминает использование метаданных (например, «Title») для идентификации ключевых слов.
• Стимулирование ссылок на изображения: Поощряйте использование ваших изображений на других сайтах с релевантными анкорными текстами. Claim 7 прямо подтверждает, что anchor text ссылок на изображение используется для определения его ключевых слов.
• Создание четких и узнаваемых изображений: Изображения должны иметь четкие формы и узнаваемые объекты. Это повышает вероятность того, что они будут правильно сопоставлены с reference drawings и послужат качественным эталоном.
• Интеграция Image SEO и Web SEO (Claim 9): Убедитесь, что страница и изображение хорошо ранжируются по целевым запросам и имеют высокий CTR в поиске по картинкам. Согласно Claim 9, клики пользователей по определенным запросам напрямую обучают систему ассоциировать эти запросы с изображением.

Worst practices (это делать не надо)

• Изоляция изображений: Размещение важных изображений на страницах без релевантного текстового контекста затрудняет для Google ассоциацию изображения с ключевыми словами.
• Игнорирование ссылочного профиля изображений: Использование изображений преимущественно на спамных или нерелевантных ресурсах может привести к неверным ассоциациям из-за некорректного anchor text или окружающего контента.
• Манипуляция поведенческими факторами: Попытки искусственно накрутить клики по изображению по нерелевантным запросам (для влияния на механизм из Claim 9) рискованны и могут быть классифицированы как спам.
• Использование вводящих в заблуждение изображений (Clickbait): Если изображение не соответствует интенту запроса, поведенческие сигналы будут негативными, что ослабит связь между изображением и ключевым словом.

Стратегическое значение

Патент подчеркивает стратегическую важность интеграции Image SEO в общую стратегию продвижения в эпоху мультимодального поиска (Google Lens). Понимание того, что визуальный поиск сводится к текстовому запросу, означает, что традиционные факторы ранжирования остаются критически важными. Однако методы, используемые для этого перевода (контекст, ссылки, поведение пользователей), делают оптимизацию визуальных активов неотъемлемой частью успеха.

Практические примеры

Сценарий: Оптимизация изображения товара для визуального поиска (eCommerce)

1. Цель: Чтобы пользователи, фотографирующие определенную модель кроссовок (например, Nike Air Max 90), находили ваш магазин через визуальный поиск.
2. Действия (Ассоциации):
   • Разместить качественное фото кроссовок на странице товара.
   • Окружить фото текстом: заголовок «Кроссовки Nike Air Max 90», подробное описание. Использовать alt-текст: «Белые кроссовки Nike Air Max 90».
   • Получить обзоры со ссылками на изображение с релевантными анкорами (Claim 7).
3. Действия (Поведение — Claim 9):
   • Оптимизировать страницу товара для хорошего ранжирования по запросу [Nike Air Max 90].
   • Убедиться, что изображение заметно в поиске по картинкам и получает клики по этому запросу. Google укрепляет связь между запросом и изображением.
4. Результат: Когда новый пользователь использует визуальный поиск (фотографирует кроссовки), Google распознает изображение, сопоставляет его с вашим (теперь это reference drawing), извлекает сильное ключевое слово [Nike Air Max 90] и показывает результаты поиска по этому тексту, включая ваш магазин.

Вопросы и ответы