Как Яндекс использует «визуальные фразы» (КПВХ) для эффективного поиска похожих изображений и дубликатов

Описание

Какую задачу решает

Патент решает задачу повышения эффективности и скорости поиска изображений в крупномасштабных хранилищах (Content-Based Image Retrieval, CBIR). Традиционные методы, основанные на модели «набора слов» (Bag-of-Words), индексируют отдельные визуальные характеристики. Это приводит к необходимости дорогостоящей вычислительной пост-обработки (например, пространственной проверки RANSAC) для верификации большого числа кандидатов. Изобретение направлено на ускорение поиска за счет использования более дискриминирующих признаков на этапе индексации и первичного отбора.

Что запатентовано

Запатентован способ индексации и поиска изображений, основанный на использовании «Композитного параметра визуальных характеристик» (КПВХ), также называемого «визуальной фразой». Суть изобретения заключается в том, чтобы индексировать не отдельные «визуальные слова» (локальные дескрипторы), а их комбинации (минимум два) вместе с параметром, описывающим соотношение между соответствующими областями изображения (пространственное и/или визуальное).

Как это работает

Система анализирует изображение, идентифицирует локальные области и вычисляет для них дескрипторы (визуальные слова). Затем формируется КПВХ, который включает как минимум два визуальных слова и параметр соотношения областей (например, относительное положение, угол, соотношение масштабов или контраста). Изображение индексируется с использованием КПВХ в качестве ключа. Поскольку КПВХ обладает более высокой «дискриминирующей мощностью», списки кандидатов в индексе получаются короче, что ускоряет финальный этап детальной проверки (например, геометрической верификации).

Актуальность для SEO

Высокая (для технологий поиска изображений). Эффективное индексирование и быстрый поиск похожих изображений (CBIR) являются критически важными задачами. Описанный подход к созданию составных визуальных признаков, включающих пространственные отношения, актуален для повышения точности и скорости работы систем поиска дубликатов изображений в Яндексе, хотя современные системы также активно используют нейросетевые эмбеддинги.

Важность для SEO

Влияние на SEO низкое (3/10). Патент является инфраструктурным и описывает внутренние механизмы системы поиска по изображению (CBIR). Он не дает прямых рекомендаций для SEO и не раскрывает факторов ранжирования для стандартного поиска изображений по тексту. Однако он критически важен для понимания того, как Яндекс технически идентифицирует уникальность изображений и с высокой точностью обнаруживает дубликаты или незначительно модифицированные версии (кадрированные, сжатые, размытые).

Детальный разбор

Термины и определения

Визуальное слово (Visual Word)

Квантованный локальный дескриптор, представляющий собой визуальные характеристики определенной локальной области (патча) на изображении. Является аналогом слова в текстовом поиске.

Дескриптор (Локальный дескриптор)

Математическое (векторное) представление визуальных признаков в локальной области изображения. В патенте упоминается SIFT (Scale-Invariant Feature Transform) как пример.

Композитный параметр визуальных характеристик (КПВХ)

Ядро изобретения. Набор, включающий как минимум два визуальных слова (дескриптора) из разных областей изображения и параметр соотношения этих областей. Также упоминается как «визуальная фраза».

Параметр соотношения областей (Relationship Parameter)

Компонент КПВХ, характеризующий соотношение между двумя областями. Может быть пространственным (геометрическим) или визуальным.

Пространственное соотношение (Spatial Relationship)

Геометрическое размещение областей друг относительно друга (например, относительное положение, угол).

Визуальное соотношение (Visual Relationship)

Соотношение визуальных характеристик двух областей (например, соотношение контраста, цвета, масштаба).

Дискриминирующая мощность (Discriminating Power)

Способность признака (например, КПВХ) точно описывать конкретное изображение и отличать его от других. У КПВХ эта мощность выше, чем у отдельных визуальных слов.

Список словопозиций (Posting List)

Список идентификаторов изображений в индексе, которые содержат определенный ключ (в данном случае, КПВХ).

RANSAC (Random Sample Consensus)

Метод оценки параметров модели на основе случайных выборок. Упоминается как стандартный метод пространственной проверки (верификации) изображений на этапе пост-обработки.

Ключевые утверждения (Анализ Claims)

Патент защищает три основных аспекта: способ обработки изображения для создания КПВХ, способ создания индекса на основе КПВХ и способ поиска с использованием этого индекса.

Claim 1 (Независимый пункт): Описывает способ обработки изображения.

1. Идентификация первой и второй локальных областей изображения.
2. Определение первого и второго визуальных слов, связанных с этими областями.
3. Определение Композитного параметра визуальных характеристик (КПВХ).
4. Ключевой момент: КПВХ содержит оба визуальных слова (дескриптора) И параметр соотношения областей, характеризующий соотношение между двумя соответствующими областями.
5. Индексирование изображения осуществляется с помощью этого КПВХ.

Claim 12 (Независимый пункт): Описывает способ создания индекса изображений.

1. Определение ключа для индекса. Ключ содержит как минимум часть КПВХ (определенного методом из Claim 1).
2. Сохранение индикации изображения в списке словопозиций (Posting List), связанном с этим ключом.
3. Суть: создание инвертированного индекса, где ключами выступают составные визуальные признаки (КПВХ), а не отдельные визуальные слова. Зависимые пункты (13-19) уточняют, что ключ может быть полным КПВХ, или только словами, или словами с квантованным параметром соотношения.

Claim 20 (Независимый пункт): Описывает способ обнаружения соответствия (поиск).

1. Получение искомого изображения (запроса) и определение его КПВХ.
2. Проведение многостадийного поиска:
• Стадия 1 (Выбор кандидатов): Доступ к индексу (созданному по Claim 12) для поиска изображений, имеющих совпадающие КПВХ.
• Стадия 2 (Проверка): Проверка изображений-кандидатов по отношению к искомому изображению с использованием соответствующих локальных дескрипторов (детальная верификация, например, геометрическая).

Где и как применяется

Изобретение применяется в инфраструктуре поиска изображений Яндекса, в частности, в подсистеме, отвечающей за поиск похожих изображений и дубликатов (Content-Based Image Retrieval — CBIR).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Во время индексации изображений система выполняет обработку:

• Извлечение локальных дескрипторов (визуальных слов).
• Вычисление Композитных параметров визуальных характеристик (КПВХ).
• Построение специализированного инвертированного индекса на основе КПВХ.

RANKING – Ранжирование (Специфично для Поиска по Изображению)
При выполнении запроса типа «Поиск по изображению» система использует этот механизм на этапах Retrieval и Reranking.

• L1 (Retrieval / Поиск кандидатов): Система использует КПВХ искомого изображения для быстрого доступа к индексу и отбора кандидатов. За счет высокой дискриминирующей мощности КПВХ этот этап выполняется эффективнее.
• L2/L3 (Reranking / Проверка): Отобранные кандидаты проходят детальную проверку (например, геометрическую верификацию), чтобы подтвердить сходство и определить точный ранг.

На что влияет

• Конкретные типы контента: Влияет исключительно на обработку графических файлов (изображений).
• Специфические запросы: Влияет на запросы типа «Поиск по изображению» (CBIR) или внутренние процессы дедупликации изображений в индексе. Не влияет на стандартный поиск изображений по текстовому запросу.
• Определенные форматы контента: Система разработана для обнаружения «почти идентичных» копий, включая изображения, которые были: кадрированы, размыты, имеют низкое разрешение, содержат шумы, включены как часть другого изображения или сняты с другого ракурса (другой 3D-ракурс).

Когда применяется

• При индексации: Каждый раз, когда новое изображение обрабатывается для добавления в базу данных поиска по картинкам.
• При поиске: Когда пользователь загружает изображение в качестве запроса для поиска похожих картинок.
• Офлайн-процессы: Механизм может использоваться для дедупликации хранилища изображений в автономном режиме (упоминается возможность выбора репрезентативного изображения из группы почти идентичных для сокращения индекса).

Пошаговый алгоритм

Процесс А: Обработка и Индексирование Изображения

1. Получение изображения.
2. Идентификация локальных областей: Выбор как минимум двух локальных областей. Выбор может быть случайным или основанным на алгоритме (например, выбор максимально отдаленных или максимально визуально отличающихся областей – Claims 10, 11).
3. Вычисление дескрипторов: Определение визуальных слов для каждой выбранной области (например, с помощью SIFT и векторного квантования).
4. Вычисление параметра соотношения: Определение пространственного (геометрического) и/или визуального соотношения между этими областями.
• Пространственное: например, угол (φ) между линией, соединяющей центры областей, и горизонталью; угол (θ) между доминантными векторами областей.
• Визуальное: соотношение масштабов, контраста, цвета.
5. Генерация КПВХ: Создание Композитного параметра визуальных характеристик путем объединения визуальных слов и параметра соотношения.
6. Квантование (для индекса): Компоненты КПВХ могут квантоваться для эффективного использования в качестве ключа индекса.
7. Создание индекса: КПВХ (или его часть) используется как ключ в инвертированном индексе. Идентификатор изображения добавляется в список словопозиций этого ключа.

Процесс Б: Поиск по Изображению

1. Получение искомого изображения (запроса).
2. Анализ запроса: Вычисление КПВХ для искомого изображения (аналогично Процессу А).
3. Стадия 1 (Выбор кандидатов): Доступ к индексу с использованием КПВХ запроса. Извлечение списков словопозиций для идентификации изображений-кандидатов, имеющих общие КПВХ.
4. Первичное ранжирование (Опционально): Ранжирование кандидатов на основе числа совпадающих КПВХ.
5. Стадия 2 (Проверка и Ранжирование): Детальная проверка отобранных кандидатов. Выполняется геометрическая проверка с использованием локальных дескрипторов и их положений (например, RANSAC или Кластеризация с преобразованием Хафа) для подтверждения консистентности признаков. Также может применяться проверка миниатюр (попиксельное сравнение).
6. Выдача результатов: Формирование списка похожих изображений, ранжированных по степени релевантности.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы: Основные данные — это пиксельные данные самих изображений. Система анализирует визуальные паттерны, текстуры, градиенты, контраст, цвета и формы в локальных областях изображения для генерации дескрипторов.

Патент не упоминает использование контентных (текстовых), ссылочных, поведенческих, временных или географических факторов в рамках описанного механизма.

Какие метрики используются и как они считаются

• Локальные дескрипторы (Visual Words): Численные представления локальных областей. Вычисляются с помощью алгоритмов типа SIFT и последующего квантования (например, методом к-средних) для сопоставления с визуальным словарем.
• КПВХ (Композитный параметр визуальных характеристик): Составная метрика, объединяющая дескрипторы и их соотношение.
• Метрики пространственного соотношения: Включают геометрические характеристики, такие как:
• Расположение одной ключевой точки относительно другой.
• Угол (φ) между гипотетической горизонтальной линией и линией, проходящей через центральные точки двух локальных областей.
• Угол (θ) между соответственными доминантными векторами двух локальных областей.
• Метрики визуального соотношения: Включают соотношение масштабов, соотношение цвета и соотношение контраста между двумя областями.
• Квантование: Используется для преобразования непрерывных значений в дискретные значения для эффективного использования в качестве ключей индекса.

Выводы

Патент описывает внутренние процессы Яндекс, связанные с инфраструктурой поиска изображений, без прямых рекомендаций для SEO.

1. Специализированный индекс для поиска дубликатов: Яндекс разработал эффективный механизм индексации изображений, направленный на быстрое обнаружение идентичных или почти идентичных изображений.
2. КПВХ как «Визуальная фраза»: Ключевая инновация — это переход от индексации отдельных «слов» (визуальных признаков) к индексации «фраз» (КПВХ). КПВХ кодирует не только наличие признаков, но и их взаимосвязь (пространственную и визуальную).
3. Повышенная эффективность поиска: За счет более высокой дискриминирующей мощности КПВХ позволяют сократить списки кандидатов на ранних этапах поиска, ускоряя общую обработку запроса по изображению.
4. Устойчивость к модификациям: Система спроектирована так, чтобы распознавать сходство даже при наличии изменений в изображении (масштабирование, кадрирование, шум, изменение ракурса), благодаря использованию инвариантных дескрипторов и относительных параметров соотношения.
5. Ограниченное влияние на SEO: Патент не касается ранжирования в веб-поиске или поиске картинок по тексту. Его основное значение для SEO — это понимание того, насколько продвинуты алгоритмы Яндекса в определении технической уникальности изображений.

Практика

Этот патент скорее инфраструктурный и описывает алгоритмы компьютерного зрения для поиска по сходству. Он не дает практических выводов для стандартных SEO-задач, таких как оптимизация контента или ссылочного профиля.

Best practices (это мы делаем)

• Приоритет уникальности изображений: Патент демонстрирует, что у Яндекса есть высокоточные и эффективные механизмы для обнаружения дубликатов и незначительных модификаций. Для успешного продвижения в Яндекс Картинках критически важно использовать уникальные изображения.
• Создание визуально насыщенного контента: Поскольку система опирается на извлечение локальных дескрипторов и их комбинаций (КПВХ), изображения с четкими деталями, контрастными элементами и определенной структурой могут быть более надежно проиндексированы и распознаны системой.
• Мониторинг использования контента: Технология КПВХ является основой функции «Поиск по изображению». Этот инструмент можно эффективно использовать для поиска копий ваших изображений на других сайтах, так как система хорошо находит даже измененные версии.

Worst practices (это делать не надо)

• Попытки «уникализации» через простые модификации: Незначительное кадрирование, изменение размера, добавление шума, размытие или наложение простого фильтра не сделают изображение уникальным в глазах этой системы. Алгоритм устойчив к таким изменениям и распознает исходное изображение как «почти идентичное».
• Использование стоковых фото без изменений: Система, основанная на КПВХ, легко идентифицирует такие изображения как дубликаты, что может снижать их ценность для поиска.
• Использование изображений очень низкого качества: Хотя система устойчива к низкому разрешению и шумам, слишком низкое качество может помешать надежному извлечению локальных дескрипторов, необходимых для формирования КПВХ.

Стратегическое значение

Патент подтверждает высокий уровень развития технологий компьютерного зрения в Яндексе. Он показывает, что система способна анализировать не только объекты на картинке, но и сложную структуру взаимосвязей между элементами изображения. Для долгосрочной SEO-стратегии это означает, что техническая уникальность визуального контента строго контролируется. Ставка должна делаться на создание собственного качественного визуального контента, а не на манипуляции с чужими изображениями.

Практические примеры

Сценарий: Оптимизация карточек товара в E-commerce

• Задача: Повысить видимость товаров в Яндекс Картинках.
• Неправильное действие: Использовать стандартные фотографии от производителя, которые уже загружены сотнями конкурентов. Система на основе КПВХ мгновенно определит их как дубликаты.
• Правильное действие: Инвестировать в создание собственных уникальных фотографий товара с разных ракурсов, с демонстрацией деталей и сценариев использования.
• Ожидаемый результат: Система идентифицирует эти изображения как уникальный контент. Хотя этот патент сам по себе не гарантирует высокого ранжирования по текстовым запросам, уникальность является необходимым условием для получения трафика из поиска по картинкам.

Вопросы и ответы