Как Google использует контекст изображения для уточнения поисковых запросов, инициированных текстом на картинке

Описание

Какую задачу решает

Патент решает проблему неэффективности и неточности поиска информации, основанного на контенте изображений. Традиционный подход требует от пользователя вручную вводить текст, увиденный на картинке, в поисковую строку, что медленно и чревато ошибками. Кроме того, поиск по изолированному тексту часто приводит к нерелевантным результатам из-за отсутствия контекста (например, слово на постере фильма может иметь иное значение, чем то же слово в меню). Изобретение автоматизирует извлечение текста (OCR) и использует контекст всего изображения для уточнения запроса и улучшения релевантности результатов.

Что запатентовано

Запатентована система для интерактивного взаимодействия с текстом на изображениях и выполнения действий на его основе, в первую очередь — поисковых запросов. Система извлекает текст из изображения, разбивает его на логические блоки и делает их выбираемыми для пользователя. При выборе текста система генерирует запрос, который уточняется с помощью Context Classifier, определяющего категорию изображения (например, «меню», «постер»). Результаты поиска ранжируются с учетом этой категории.

Как это работает

Система работает следующим образом:

• Извлечение текста: Устройство пользователя (например, через камеру) захватывает изображение и применяет OCR для извлечения текста.
• Сегментация и UI: Текст разбивается на блоки (multiple blocks). Пользовательский интерфейс отображает эти блоки как выбираемые цели (user-selectable targets), возможно, на разных уровнях масштабирования для удобства выбора.
• Инициация действия: Пользователь выбирает блок текста.
• Генерация запроса и контекстуализация: Система формирует поисковый запрос из выбранного текста и собирает контекстуальные данные (contextual data) из изображения.
• Классификация контекста: Context Classifier (использующий машинное обучение) пытается определить категорию изображения (например, «ресторанное меню»).
• Адаптивный поиск: Если категория определена, результаты поиска идентифицируются и ранжируются на основе запроса И категории. Если нет — выполняется общий поиск только по тексту запроса.
• Отображение: Результаты отображаются пользователю вместе с исходным изображением.

Актуальность для SEO

Высокая. Патент напрямую описывает технологии, лежащие в основе продуктов типа Google Lens, которые активно развиваются. С ростом значения визуального и мультимодального поиска (например, MUM), способность Google точно интерпретировать текст в контексте изображения является критически важной функцией поиска в 2025 году.

Важность для SEO

Влияние на SEO значительно (75/100), особенно в контексте визуального поиска (Visual Search) и локального SEO. Хотя патент не описывает ранжирование традиционной веб-выдачи, он раскрывает механизмы того, как Google обрабатывает запросы, инициированные через изображения. Понимание того, что контекст изображения напрямую влияет на интерпретацию текста и ранжирование результатов по нему, критически важно для оптимизации графических ассетов (меню, инфографики, продуктовых фото) под технологии типа Google Lens.

Детальный разбор

Термины и определения

Context Classifier (Классификатор контекста)

Компонент системы (часто на основе машинного обучения), который анализирует contextual data изображения (например, весь текст на нем) и пытается отнести изображение к одной из предопределенных категорий (например, «ресторанное меню», «постер фильма»).

Contextual Data (Контекстуальные данные)

Данные, извлеченные из изображения помимо основного выбранного пользователем текста. В основном включают другой текст на изображении. Используются для определения категории изображения.

Extracted Text (Извлеченный текст)

Текст, распознанный на изображении с помощью OCR.

Lightweight OCR Engine (Легковесный движок OCR)

Упоминается в описании как вариант реализации OCR на устройстве пользователя для ускорения распознавания текста и снижения задержек.

Multiple Blocks (Множественные блоки)

Сегменты, на которые разбивается извлеченный текст, часто на основе семантического анализа или визуального расположения текста на изображении.

Text-based Granularity (Гранулярность текста)

Уровень детализации текста, используемый для генерации запросов или создания выбираемых целей (например, отдельные слова, фразы или целые блоки).

User-selectable Targets (Выбираемые пользователем цели)

Элементы интерфейса, связанные с блоками или частями текста на изображении, позволяющие пользователю инициировать действие (например, поиск или звонок) путем выбора этого текста.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обработки изображения и генерации контекстно-зависимых результатов поиска.

1. Система получает изображение.
2. Текст на изображении разбивается на множественные блоки (plurality of blocks).
3. Система получает выбор пользователя одного из блоков (first block), содержащего первый набор текста (first set of text).
4. Генерируется поисковый запрос (search query) на основе выбранного текста.
5. Определяются контекстуальные данные (contextual data) для изображения.
6. Контекстуальные данные обрабатываются с помощью Context Classifier для определения, связано ли изображение с одной из категорий.
7. Определяется контент результатов поиска (search result content) на основе запроса И того, была ли найдена категория:
   • Если категория найдена: Результаты определяются на основе запроса И этой конкретной категории.
   • Если категория не найдена: Результаты определяются на основе запроса как общий поиск (general search results).
8. Предоставляются данные для обновленного интерфейса, отображающего результаты поиска вместе с частью изображения, включающей выбранный блок.

Claim 11 (Независимый пункт): Описывает систему (аппаратное обеспечение и ПО), реализующую тот же процесс, что и в Claim 1.

Ключевые зависимые пункты (Claims 12-14): Детализируют, как именно категория влияет на результаты поиска (если она найдена).

• Claim 12: Процесс может включать модификацию поискового запроса путем добавления терминов, основанных на классификации категории.
• Claim 13 и 14: Процесс может включать повышение ранга (boosting ranks) ресурсов, связанных с категорией, и/или понижение ранга (decreasing ranks) ресурсов, не связанных с категорией.

Где и как применяется

Изобретение затрагивает несколько этапов, объединяя обработку на устройстве пользователя и серверные поисковые системы. Это технология визуального поиска (Visual Search).

На устройстве пользователя (On-Device):

• CRAWLING / INDEXING (локальные): Приложение камеры захватывает изображение. Text Processor (возможно, использующий Lightweight OCR Engine) извлекает текст и разбивает его на блоки. Это локальное индексирование визуальных данных в реальном времени.
• UI/Взаимодействие: UI Controller отображает изображение и генерирует user-selectable targets на разных уровнях зума.

Серверная часть (Search System):

QUNDERSTANDING – Понимание Запросов
Это ключевой этап применения патента. Когда пользователь выбирает текст, он становится запросом. Система не просто принимает этот текст, но и обогащает его контекстом изображения.

• Context Classifier анализирует контекстуальные данные, чтобы классифицировать изображение (например, как «меню»).
• Запрос может быть переписан (modifying the search query) на основе категории. Например, запрос [Alien] с постера фильма превращается в [Alien movie].

RANKING – Ранжирование
Категория изображения напрямую влияет на ранжирование.

• Если категория определена, система адаптирует ранжирование: повышает ресурсы, связанные с категорией, и/или понижает не связанные.
• Если категория не определена, используется стандартное ранжирование (general search).

Входные данные:

• Изображение (захваченное камерой или из памяти).
• Выбор пользователем определенного блока текста.
• Контекстуальные данные (другой текст или признаки изображения).

Выходные данные:

• Обновленный пользовательский интерфейс.
• Контент результатов поиска (search result content), ранжированный с учетом контекста изображения.

На что влияет

• Локальный поиск и E-commerce: Сильно влияет на обработку изображений меню ресторанов, вывесок магазинов, продуктовых упаковок. Контекст позволяет точно идентифицировать блюда, продукты или бизнесы.
• Информационный контент: Влияет на обработку изображений из журналов, постеров, инфографики, позволяя пользователям быстро получать дополнительную информацию по тексту на них.
• Типы запросов: Улучшает обработку запросов, которые без контекста являются неоднозначными (например, название блюда, которое также является обычным словом).

Когда применяется

• Триггер активации: Захват изображения и последующее взаимодействие пользователя с распознанным текстом на этом изображении (например, через Google Lens).
• Условия работы: Система активирует механизм контекстуального поиска только тогда, когда пользователь инициирует запрос, выбрав текст на изображении. Адаптивное ранжирование применяется только в том случае, если Context Classifier смог успешно классифицировать изображение в одну из предопределенных категорий.

Пошаговый алгоритм

Процесс А: Обработка на устройстве и взаимодействие

1. Захват изображения: Получение изображения с камеры или из хранилища.
2. Извлечение текста: Применение OCR для распознавания текста на изображении.
3. Партиционирование текста: Разбиение извлеченного текста на логические блоки на основе семантики и расположения.
4. Отображение интерфейса (Уровень 1): Отображение изображения на первом уровне масштабирования с выделением блоков как выбираемых целей.
5. Обработка выбора блока: Детектирование выбора пользователем одного из блоков.
6. Отображение интерфейса (Уровень 2): Увеличение масштаба выбранного блока и отображение его частей (например, фраз или слов) как новых выбираемых целей.
7. Обработка выбора текста: Детектирование выбора пользователем конкретной части текста.
8. Инициация действия: Определение типа действия (поиск, звонок, навигация) на основе содержания текста. Если это поиск, переход к Процессу Б.

Процесс Б: Контекстный поиск (Взаимодействие Устройство-Сервер)

1. Формирование данных запроса: Генерация поискового запроса из выбранного текста и сбор контекстуальных данных из изображения.
2. Передача данных: Отправка данных запроса в поисковую систему.
3. Классификация контекста: Попытка классифицировать изображение с помощью Context Classifier на основе контекстуальных данных.
4. Принятие решения о ранжировании:
   • Если классифицировано: Идентификация и ранжирование ресурсов на основе запроса И классифицированной категории. Это может включать переписывание запроса или корректировку весов (boosting/decreasing ranks).
   • Если не классифицировано: Идентификация и ранжирование ресурсов на основе общего поиска по тексту запроса.
5. Возврат результатов: Предоставление контента результатов поиска устройству пользователя.
6. Отображение результатов: Обновление интерфейса для показа результатов вместе с соответствующей частью изображения.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Изображение): Основной источник данных. Анализируется визуальное расположение текста для партиционирования на блоки.
• Контентные факторы (Текст на изображении): Текст, извлеченный через OCR. Делится на:
  • Выбранный текст: Используется как основа для поискового запроса.
  • Контекстуальный текст (Contextual Data): Другой текст на изображении, используемый для классификации контекста.
• Пользовательские факторы (Взаимодействие): Действия пользователя по масштабированию и выбору конкретных блоков текста.

Какие метрики используются и как они считаются

Патент не детализирует конкретные формулы ранжирования, но описывает ключевые процессы и метрики:

• Классификация категории: Результат работы Context Classifier. Это бинарное решение (классифицировано или нет) и, если да, то какая категория (например, «меню», «постер»). Основано на машинном обучении, обученном на размеченных данных.
• Корректировка ранжирования: Патент описывает два метода корректировки, если категория определена:
  • Переписывание запроса (Query Modification): Добавление терминов, связанных с категорией, к исходному запросу.
  • Boosting/Decreasing Ranks: Повышение или понижение оценок релевантности ресурсов в зависимости от их связи с категорией изображения.
• Семантический анализ: Используется на устройстве для разбиения текста на логические блоки и определения смысла слов в контексте (например, слово «cheek» под заголовком «BBQ Entrees», упомянутое в описании патента, распознается как еда).

Выводы

1. Контекст изображения — это фактор ранжирования для визуального поиска: Ключевой вывод патента в том, что Google не рассматривает текст на изображении изолированно. Контекст всего изображения (определяемый через Context Classifier) напрямую используется для переписывания запроса и/или корректировки ранжирования результатов поиска, инициированного этим текстом.
2. Категоризация изображений критична: Способность системы классифицировать изображение (например, как меню или постер) определяет, будет ли применен специализированный алгоритм ранжирования или общий поиск. Это подчеркивает важность четкой визуальной и текстовой структуры на изображениях.
3. Два пути обработки запросов с картинок: Система имеет четкое разделение: контекстно-зависимый поиск (если категория известна) и общий поиск (если категория неизвестна). Цель — избежать предоставления общих результатов, когда контекст требует специфических.
4. Семантика и структура текста на изображении важны: Система использует семантический анализ и визуальное расположение текста для его разбиения на логические блоки (partitioning). Четкая структура помогает системе правильно сегментировать контент для взаимодействия с пользователем.
5. Технология направлена на точность и скорость: Использование локального OCR и механизмов префетчинга (упомянутых в описании патента) указывает на стремление сделать визуальный поиск мгновенным и точным.

Практика

Best practices (это мы делаем)

• Оптимизация изображений для OCR: Убедитесь, что весь важный текст на изображениях (особенно на логотипах, инфографике, фотографиях продуктов, меню) легко читается. Используйте контрастные цвета, четкие шрифты и достаточно крупный размер текста. Это гарантирует, что система сможет извлечь текст и использовать его как запрос.
• Создание четкого визуального и текстового контекста: Дизайн изображений должен помогать Context Classifier правильно определить их категорию. Например, меню ресторана должно выглядеть как меню — с четкими заголовками разделов («Закуски», «Напитки») и структурированным списком блюд. Это повышает вероятность активации контекстного ранжирования.
• Использование полного и описательного текста на изображениях: Включайте достаточно текстовой информации на изображение, чтобы обеспечить контекст. Если вы показываете продукт, убедитесь, что его название и ключевые характеристики видны. Это помогает как пользователю, так и классификатору.
• Оптимизация локальных ассетов (Local SEO): Для локального бизнеса критически важно загружать высококачественные и актуальные фотографии меню и вывесок в Google Business Profile. Патент показывает, как пользователи могут взаимодействовать с этими ассетами напрямую через камеру для получения информации.

Worst practices (это делать не надо)

• Использование изображений вместо текста для критически важной информации (без оптимизации): Хотя система и распознает текст на картинках, полагаться только на это рискованно. Всегда дублируйте важную информацию в HTML или, как минимум, убедитесь в идеальной читаемости текста на изображении.
• Сложные и нечитаемые шрифты: Использование декоративных, рукописных или низкоконтрастных шрифтов на изображениях может привести к ошибкам OCR, что сделает невозможным инициирование поиска по этому тексту.
• Неоднозначный визуальный контекст: Создание изображений, которые трудно классифицировать (например, постер мероприятия без даты и места, или фото продукта без названия). Это приведет к тому, что система применит общий поиск (general search), что снизит релевантность результатов.
• Игнорирование Visual Search: Рассматривать изображения только как декоративный элемент, игнорируя их потенциал как точку входа в поиск (Google Lens).

Стратегическое значение

Патент подтверждает стратегический фокус Google на развитии визуального поиска как основного способа взаимодействия с информацией в реальном мире. Для SEO это означает, что оптимизация больше не ограничивается веб-страницами. Графические ассеты, как онлайн, так и офлайн (через камеру пользователя), становятся частью поисковой экосистемы. Стратегия должна включать оптимизацию всех визуальных материалов компании, предполагая, что пользователи будут «гуглить» их через камеру, и что Google будет использовать визуальный контекст для интерпретации этих запросов.

Практические примеры

Сценарий 1: Оптимизация меню ресторана для Visual Search

1. Задача: Увеличить видимость конкретных блюд через Google Lens.
2. Действия: Редизайн загружаемого в GBP меню. Использование стандартной структуры (Закуски, Основные блюда). Применение высококонтрастного, четкого шрифта. Убедиться, что названия блюд уникальны и описательны.
3. Как работает по патенту: Пользователь фотографирует меню. Система распознает текст. Context Classifier анализирует структуру и слова («Закуски», названия блюд) и классифицирует изображение как «Меню». Пользователь выбирает блюдо. Система генерирует запрос и применяет ранжирование для категории «Меню» (показывая фото блюда, отзывы, калорийность), а не общий поиск.
4. Результат: Пользователь получает максимально релевантную информацию о блюде.

Сценарий 2: Улучшение интерпретации инфографики

1. Задача: Сделать так, чтобы пользователи могли легко найти дополнительную информацию по терминам из инфографики на сайте.
2. Действия: Разработка инфографики с четкой иерархией заголовков и определений. Включение связанных терминов рядом для создания сильного контекста.
3. Как работает по патенту: Система анализирует инфографику. Благодаря четкой структуре текст корректно разбивается на блоки (partitioning). Контекст помогает классифицировать изображение как информационное в определенной тематике. При выборе термина пользователем система выдает результаты, релевантные этой тематике, а не общее определение термина.
4. Результат: Улучшение пользовательского опыта при изучении сложных тем через визуальные материалы.

Вопросы и ответы