Как Google использует мультимодальные модели и парсинг диаграмм для понимания визуальных запросов и решения задач по фото

Термины и определения

Concept Classification Network / Concept Classifier (Сеть классификации концепций)

Машинно-обученная модель (например, нейронная сеть), которая принимает на вход Multimodal Embedding и определяет основную концепцию или намерение запроса (например, "периметр треугольника"). Используется для генерации текстового поискового запроса. Обучается с использованием методов контролируемого обучения (supervised training).

Contrastive Loss (Контрастивная функция потерь)

Метод обучения, используемый для энкодеров в мультимодальной модели (self-supervised training). Он направлен на то, чтобы эмбеддинги похожих объектов (например, текста и изображения из одной диаграммы) были близки друг к другу в векторном пространстве, а эмбеддинги непохожих объектов — далеки.

Diagram Parsing Model (Модель парсинга диаграмм)

Система, которая обрабатывает изображение диаграммы для извлечения структурированной информации. Включает компоненты для распознавания геометрических сущностей и символов.

Formal Language Representation (Представление на формальном языке)

Структурированное, машиночитаемое описание диаграммы. Включает определение объектов, их свойств и взаимосвязей (например, Parallelogram (A, B, C, D); LengthOf (Line(A, B)), 32).

Geometric Entity Detection (Распознавание геометрических сущностей)

Процесс идентификации геометрических элементов на диаграмме, таких как линии, точки, фигуры. Может выполняться с помощью преобразования Хафа (Hough transform) или ML-детекторов объектов.

Image Encoder (Графический энкодер)

Компонент мультимодальной модели, который обрабатывает визуальную часть диаграммы и преобразует ее в Image Embedding (векторное представление).

Multimodal Embedding (Мультимодальный эмбеддинг)

Единое векторное представление, созданное путем объединения (например, конкатенации) Textual Embedding и Image Embedding. Инкапсулирует смысл всего содержимого диаграммы.

Symbolic Detection / Math OCR (Символическое распознавание)

Процесс идентификации известных символов, математических обозначений и текста на диаграмме.

Textual Encoder (Текстовый энкодер)

Компонент мультимодальной модели, который обрабатывает текстовую часть диаграммы (например, вопрос к задаче) и преобразует ее в Textual Embedding.

Ключевые утверждения (Анализ Claims)

Патент описывает два независимых механизма для обработки диаграмм.

Механизм 1: Парсинг диаграммы (Claim 1, Независимый пункт)

1. Система получает поисковый запрос, включающий изображение диаграммы и связанный с ней вопрос.
2. Запрос обрабатывается с помощью Diagram Parsing Model.
3. Результатом обработки является Formal Language Representation диаграммы.
4. Это формальное представление отправляется в поисковую систему в качестве поискового запроса.
5. Система получает в ответ решение на поставленный вопрос.

Claim 2, 3, 6 (Зависимые): Детализируют работу Diagram Parsing Model. Уточняется, что модель использует Geometric Entity Recognition (с помощью преобразования Хафа или ML-детектора) и Symbolic Detection для генерации формального представления.

Claim 8 (Зависимый): Уточняет, что полученное решение может включать пошаговое руководство (step-by-step guide).

Механизм 2: Мультимодальный эмбеддинг (Claim 11, Независимый пункт)

1. Система получает поисковый запрос, включающий изображение диаграммы.
2. Запрос обрабатывается с помощью моделей эмбеддингов (Textual Encoder и Image Encoder) для получения Textual Embedding и Image Embedding.
3. Генерируется единый Multimodal Embedding путем объединения текстового и графического эмбеддингов.
4. На основе Multimodal Embedding определяется текстовый поисковый запрос (используя Concept Classification Network).
5. Этот текстовый запрос отправляется в поисковую систему.
6. Система получает поисковые результаты, основанные на этом текстовом запросе.

Claim 13 (Зависимый): Уточняет, что энкодеры обучаются совместно с использованием самоконтролируемого обучения (self-supervised training) с Contrastive Loss.

Claim 20 (Зависимый): Уточняет, что результаты поиска могут включать уравнения, практические задачи, релевантные видео или похожие изображения.

Где и как применяется

Изобретение применяется в основном на этапе интерпретации ввода пользователя, трансформируя визуальные данные в формат, понятный поисковой системе.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Система функционирует как препроцессор для визуальных запросов (например, поступающих через Google Lens или Circle to Search).

• Интерпретация ввода: Система анализирует входное изображение, определяя, содержит ли оно диаграмму.
• Трансформация запроса (Query Transformation): Вместо того чтобы пытаться ранжировать результаты напрямую по изображению, система преобразует визуальный ввод в промежуточное представление:
  • (A) Formal Language Representation, которое может быть использовано специализированными решателями (solvers) или поисковыми системами, понимающими формальные языки.
  • (B) Textual Search Query, который генерируется на основе концептуального понимания диаграммы и может быть обработан стандартной поисковой системой.

RANKING – Ранжирование
Основные системы ранжирования используют результаты работы этапа QUNDERSTANDING (текстовый запрос или формальное представление) для поиска и сортировки релевантного контента в индексе. Эмбеддинги также могут использоваться для поиска похожих изображений (embedding-based retrieval).

METASEARCH – Метапоиск и Смешивание
Результаты, полученные с помощью этих методов (например, пошаговое решение задачи), могут быть представлены в виде специализированных блоков или функций SERP (например, блок "Homework Help").

Входные данные:

• Изображение, предоставленное пользователем, содержащее диаграмму (геометрия, физика, химия, графики и т.д.).
• Текст, содержащийся на изображении (например, условия задачи, подписи).

Выходные данные:

• Для Механизма 1: Formal Language Representation диаграммы.
• Для Механизма 2: Textual Search Query и Multimodal Embedding.
• Финальный выход для пользователя: Решение задачи, пошаговая инструкция, связанные видео, уравнения или похожие задачи.

На что влияет

• Конкретные типы контента: Наибольшее влияние на образовательный контент, техническую документацию, руководства (How-To), страницы с инструкциями, содержащие схемы, графики, уравнения и диаграммы.
• Специфические запросы: Визуальные запросы, направленные на решение задач или понимание концепций, изображенных графически.
• Конкретные ниши или тематики: STEM (Science, Technology, Engineering, Mathematics), образование, химия, физика, инженерия.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда пользователь инициирует визуальный поиск (например, через Google Lens) и система идентифицирует, что входные данные содержат диаграмму и/или связанный с ней вопрос (например, учебную задачу).
• Условия применения: Применяется, когда необходимо понять семантическое содержание диаграммы для предоставления ответа, а не просто найти визуально похожие изображения.

Пошаговый алгоритм

Патент описывает два альтернативных алгоритма.

Алгоритм 1: На основе парсинга диаграммы (FIG. 5, FIG. 6)

1. Получение и предобработка: Получение изображения диаграммы. Предобработка для удаления артефактов (блики, пометки).
2. Параллельное распознавание:
   • Geometric Entity Detection: Идентификация линий, точек, фигур с помощью ML-детектора или преобразования Хафа.
   • Symbol Detection + Math OCR: Идентификация символов, текста, математических обозначений.
3. Генерация формального представления: Объединение результатов распознавания для создания структурированного Formal Language Representation (определение объектов, свойств, правил).
4. Формулирование запроса: Предоставление Formal Language Representation поисковой системе (или специализированному решателю) в качестве запроса.
5. Получение результата: Получение решения задачи (опционально с пошаговой инструкцией).

Алгоритм 2: На основе мультимодальных эмбеддингов (FIG. 3A, FIG. 7)

1. Получение запроса: Получение изображения диаграммы (включая текст задачи).
2. Кодирование (Encoding): Параллельная обработка ввода:
   • Text Encoder генерирует Textual Embedding.
   • Image Encoder генерирует Image Embedding.
   (Энкодеры обучены с использованием Contrastive Loss).
3. Генерация мультимодального эмбеддинга: Конкатенация текстового и графического эмбеддингов в единый Multimodal Embedding.
4. Классификация концепции: Ввод Multimodal Embedding в Concept Classification Network.
5. Генерация текстового запроса: Сеть классификации определяет концепцию и генерирует текстовый запрос (например, "периметр параллелограмма").
6. Поиск: Предоставление текстового запроса и эмбеддинга поисковой системе (для поиска текста и похожих изображений).
7. Получение результата: Получение релевантных результатов (уравнения, видео, похожие задачи).

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Изображения): Основной источник данных. Система анализирует пиксельные данные для идентификации структур, форм, линий и символов на диаграмме.
• Контентные факторы (Текст на изображении): Текст, присутствующий на изображении (условия задачи, подписи, значения), извлекается (например, с помощью OCR) и используется как Textual Encoder, так и Symbolic Detection модулем.

Какие метрики используются и как они считаются

Патент не предоставляет конкретных метрик ранжирования или формул, но описывает используемые модели и методы обучения:

• Алгоритмы машинного обучения:
  • Детекторы объектов (Object Detectors): Используются для распознавания геометрических сущностей и символов (Механизм 1).
  • Нейронные сети (Энкодеры): Textual Encoder и Image Encoder используются для создания векторных представлений (Механизм 2).
  • Классификаторы: Concept Classification Network используется для интерпретации мультимодального эмбеддинга (Механизм 2).
• Методы обучения:
  • Self-supervised training with Contrastive Loss: Используется для обучения энкодеров, чтобы они могли эффективно сопоставлять текстовую и визуальную информацию без разметки данных.
  • Supervised training: Используется для обучения Concept Classification Network на размеченных данных (labeled data).
• Альтернативные методы: Упоминается Hough transform (преобразование Хафа) как возможный метод для распознавания геометрических элементов.

1. Семантическое понимание визуального контента: Это ключевой вывод. Google не просто распознает объекты на изображении или извлекает текст через OCR. Система стремится понять смысл диаграммы, будь то через преобразование в формальный язык (структурированные данные) или через генерацию концептуального мультимодального эмбеддинга.
2. Два пути к пониманию диаграмм: Google патентует два разных подхода: структурированный парсинг (для точности и решения задач) и мультимодальное векторное представление (для понимания концепций и поиска информации). Это указывает на гибкость системы в выборе метода в зависимости от типа диаграммы и интента пользователя.
3. Мультимодальность как стандарт: Патент подтверждает переход к мультимодальному поиску. Способность объединять текстовые и визуальные сигналы (Multimodal Embedding) и обучать модели с использованием Contrastive Loss является фундаментальной для современных поисковых систем.
4. Генерация текстовых запросов из изображений: Механизм 2 демонстрирует, как Google может интерпретировать изображение и сгенерировать релевантный текстовый запрос ("Query Formulation"), который затем используется для поиска в стандартном индексе. Это критически важно для SEO, так как показывает, по каким текстовым запросам может ранжироваться визуальный контент.
5. Фокус на образовании и STEM (Zero-Click потенциал): Примеры в патенте (геометрия, физика, химия) явно указывают на приоритетные области применения. Технология парсинга диаграмм позволяет предоставлять прямые решения и пошаговые инструкции (Claim 8), что увеличивает потенциал Zero-Click выдач в образовательных нишах.

Best practices (это мы делаем)

• Обеспечение максимальной четкости диаграмм: Используйте высококачественные изображения с четкими линиями, стандартными символами и разборчивым текстом. Это критично для того, чтобы Diagram Parsing Model могла корректно распознать геометрические элементы и символы (Механизм 1). Векторная графика (SVG) предпочтительна.
• Использование стандартных обозначений: При создании диаграмм (например, схем электрических цепей или геометрических фигур) придерживайтесь общепринятых стандартов и нотаций. Это облегчает работу Symbolic Detection модуля.
• Оптимизация под концептуальные запросы: Понимайте, что Google может сгенерировать текстовый запрос на основе вашей диаграммы (Механизм 2). Убедитесь, что ваш контент оптимизирован под концепции, которые иллюстрирует диаграмма (например, если это диаграмма параллелограмма, оптимизируйте страницу под "площадь параллелограмма", "периметр параллелограмма").
• Создание сильного текстового контекста вокруг диаграмм: Текстовое окружение помогает поисковой системе валидировать интерпретацию диаграммы. Согласованность между текстом страницы и содержанием диаграммы улучшает общее понимание контента и его релевантность сгенерированным запросам.
• Оптимизация для функций SERP (например, Homework Help): Создавайте контент, который предоставляет четкие, пошаговые решения для задач, иллюстрируемых диаграммами. Используйте структурированные данные (например, HowTo, MathSolver, если применимо) и MathML для уравнений. Патент явно упоминает предоставление пошаговых руководств как цель системы.

Worst practices (это делать не надо)

• Использование сложных или нестандартных визуализаций: Использование уникальных, но непонятных символов или запутанных структур диаграмм может привести к ошибкам в Geometric Entity Recognition и Symbolic Detection.
• Низкое качество изображений: Размытые, низкоконтрастные изображения или изображения с артефактами (бликами, водяными знаками, закрывающими важные элементы) будут плохо интерпретированы системой.
• Разрыв между визуальным и текстовым контентом: Размещение диаграмм, которые нерелевантны или противоречат основному тексту страницы, ухудшит общее восприятие качества и релевантности контента.
• Игнорирование визуального поиска: Рассматривать SEO только как оптимизацию текста. В нишах STEM и образования игнорирование оптимизации диаграмм приведет к потере значительного трафика из Google Lens и аналогичных интерфейсов.

Стратегическое значение

Этот патент имеет высокое стратегическое значение, подтверждая, что мультимодальный поиск является настоящим и будущим Google. Способность системы семантически интерпретировать сложные визуальные данные открывает новые возможности для ранжирования контента, который ранее был недоступен для анализа. SEO-стратегия должна включать оптимизацию визуальных активов не просто как изображений, а как носителей структурированной информации. Для образовательных и технических сайтов это становится критически важным элементом стратегии, учитывая потенциал Google предоставлять прямые ответы на основе визуального ввода.

Практические примеры

Сценарий: Оптимизация страницы учебника по геометрии (Теорема Пифагора)

1. Задача: Создать страницу, объясняющую теорему Пифагора, которая будет хорошо ранжироваться по визуальным запросам в Google Lens.
2. Действия (Механизм 1 - Парсинг):
   • Разместить четкую SVG или высококачественную PNG диаграмму прямоугольного треугольника.
   • Использовать стандартные обозначения (a, b, c для сторон, символ прямого угла).
   • Убедиться, что линии прямые и четко соединяются в вершинах. Это позволит Diagram Parsing Model корректно сгенерировать Formal Language Representation: TRIANGLE(A,B,C), RIGHTANGLE(C).
3. Действия (Механизм 2 - Эмбеддинг):
   • Включить на изображение или рядом с ним формулу a²+b²=c².
   • Текст страницы должен подробно объяснять концепцию "Теорема Пифагора".
   • Это поможет Multimodal Embedding Model связать визуальные элементы и текст, а Concept Classifier сгенерирует текстовый запрос "Теорема Пифагора".
4. Ожидаемый результат: Когда пользователь фотографирует похожую задачу в своем учебнике, система Google интерпретирует запрос (используя один или оба механизма) и ранжирует оптимизированную страницу как высокорелевантный результат, потенциально отображая ее в блоке пошагового решения.