Как Яндекс автоматически создает датасеты для обучения компьютерного зрения, используя логи и поведение пользователей в Поиске по картинкам

Описание

Какую задачу решает

Патент решает фундаментальную проблему в области машинного обучения, особенно для компьютерного зрения: необходимость в огромных объемах размеченных данных для обучения нейронных сетей и моделей глубинного обучения. Ручная разметка экспертами (асессорами) является дорогостоящей, медленной и подверженной субъективным оценкам. Существующие публичные датасеты не всегда соответствуют реальным запросам пользователей в вертикальном поиске. Патент предлагает способ автоматизации создания обучающих наборов данных, используя логи поисковой системы и данные о поведении пользователей.

Что запатентовано

Запатентована система и способ автоматического формирования обучающего набора (Training Set) для алгоритма машинного обучения (MLA), предназначенного для классификации изображений. Суть изобретения заключается в использовании логов вертикального поиска изображений (запросы, результаты и метрики взаимодействия, такие как CTR) для кластеризации запросов. Идентификатор кластера используется как автоматическая метка (Cluster Label) для связанных изображений, что позволяет генерировать обучающие данные без ручного труда.

Как это работает

Система анализирует логи поиска по картинкам. Ключевой процесс — генерация векторов запросов (Query Vectors) и их последующая кластеризация. Описаны два основных метода:

1. Текстовый метод (Вариант 1): Вектор запроса формируется из текста запроса с применением Word Embeddings (например, word2vec). Кластеризуются семантически похожие запросы.
2. Визуально-поведенческий метод (Вариант 2): Вектор запроса формируется на основе агрегации векторов визуальных признаков (Feature Vectors) изображений, по которым были клики. При этом векторы признаков взвешиваются по их метрикам (например, CTR). Кластеризуются запросы, ведущие к визуально похожим результатам.

Изображения, связанные с запросами внутри кластера (часто фильтруемые по высокому CTR), собираются и им присваивается метка кластера. Этот датасет используется для предварительного («грубого») обучения MLA.

Актуальность для SEO

Высокая. Автоматическое генерирование датасетов, предварительное обучение (Pre-training) и использование поведения пользователей как основного сигнала релевантности (Ground Truth) для сбора обучающих данных являются стандартной практикой в современных ML-пайплайнах крупных технологических компаний.

Важность для SEO

Низкое прямое влияние (3/10). Это инфраструктурный патент, описывающий, как Яндекс обучает свои внутренние модели компьютерного зрения, а не алгоритм ранжирования. Однако он имеет важное стратегическое значение для SEO в Яндекс Картинках: система в значительной степени полагается на взаимодействие пользователей (CTR и клики) для определения того, какие изображения релевантны запросу. Поведенческие факторы буквально обучают базовые AI-модели Яндекса.

Детальный разбор

Термины и определения

CTR (Click-Through Rate, Коэффициент переходов)

Метрика действий пользователя. Используется как ключевой сигнал для фильтрации релевантных изображений и для взвешивания векторов признаков.

Feature Vector (Вектор признаков)

Числовое представление признаков, извлеченных из изображения с помощью алгоритмов компьютерного зрения (например, SIFT, HOG или нейронной сети).

Грубое обучение (Coarse Training) / Предварительное обучение (Pre-training)

Первый этап обучения MLA на большом автоматически размеченном наборе данных с целью изучения общих признаков. Предшествует точному обучению (fine-tuning) для конкретной задачи.

MLA (Machine Learning Algorithm, Алгоритм машинного обучения)

Алгоритм (например, нейронная сеть или алгоритм глубинного обучения), который обучается на сформированном наборе данных для классификации изображений.

Query Vector (Вектор запроса)

Числовое представление поискового запроса. В патенте описаны два типа:

• Текстовый: Формируется из текста запроса с помощью Word Embedding.
• Визуально-поведенческий: Формируется как агрегация векторов признаков связанных изображений, взвешенных по метрикам (например, CTR).

Вертикальный поиск (Vertical Search)

Поиск в определенной предметной области. В контексте патента — вертикальный поиск изображений (Яндекс Картинки).

Word Embedding (Векторизация слов)

Преобразование текста запроса в числовое векторное представление, сохраняющее семантическое подобие. Упомянуты алгоритмы word2vec, GloVe и др..

Ключевые утверждения (Анализ Claims)

Патент описывает два основных варианта реализации (embodiments), которые различаются способом формирования Вектора Запроса и, следовательно, логикой кластеризации.

Claim 1 (Независимый пункт): Описывает общий фреймворк изобретения.

1. Получение данных из журнала вертикального поиска изображений (запросы и результаты — Первый набор).
2. Формирование Вектора Запроса для каждого запроса.
3. Распределение (кластеризация) этих векторов запросов.
4. Связывание с каждым кластером набора изображений (Второй набор), состоящего из изображений, найденных по запросам этого кластера.
5. Формирование Обучающих объектов путем присвоения каждому изображению из Второго набора Метки кластера (ID кластера).

Claims 2 и 3 (Зависимые): Детализируют Вариант 1 (Текстовая кластеризация).

• (Claim 2) Вектор запроса формируется с использованием Word Embedding на основе текста запроса.
• (Claim 3) Вводится механизм контроля качества: во Второй набор включаются только те изображения, чьи метрики действий пользователя (например, CTR) превышают заданный порог.

Техническая интерпретация: Запросы группируются по текстовой схожести, но в обучающий набор попадают только изображения, валидированные поведением пользователей.

Claims 7 и 8 (Зависимые): Детализируют Вариант 2 (Визуально-поведенческая кластеризация).

• (Claim 7) Вектор запроса формируется путем извлечения Векторов признаков (визуальных) из изображений, их взвешивания с использованием метрики (CTR) и последующего объединения (агрегации).
• (Claim 8) Изображения, используемые для извлечения признаков, предварительно фильтруются по порогу метрики (CTR).

Техническая интерпретация: Вектор запроса представляет собой усредненный визуальный облик того, на что пользователи кликают. Кластеризация происходит на основе схожести этих визуальных интентов.

Claim 12 (Независимый пункт): Описывает полный процесс обучения MLA с использованием Варианта 2.

Он включает все шаги Варианта 2: получение данных, фильтрацию по порогу метрики, формирование векторов признаков, формирование векторов запросов (взвешенное объединение), кластеризацию, формирование обучающего набора и, наконец, обучение MLA.

Где и как применяется

Важно понимать, что этот патент НЕ применяется напрямую в онлайн-процессах поиска (CRAWLING, INDEXING, QUERY PROCESSING или RANKING). Он описывает Офлайн-инфраструктуру для обучения ML-моделей.

Инфраструктура Обучения Моделей (Model Training Infrastructure)

• Процесс выполняется на Обучающем сервере (230).
• Входные данные: Система использует данные из Журнала Поиска (База 215), собранные Сервером Поисковой Системы (210) и Сервером Анализа (220). Это логи, содержащие кортежи <Запрос; Изображение; Метрика (CTR/Клики)> из вертикального поиска изображений.
• Выходные данные: Размеченный набор обучающих объектов (Изображение + Метка кластера).
• Применение результата: Полученный датасет используется для обучения MLA (модели компьютерного зрения). В патенте указано, что это может быть «грубое обучение» (pre-training), после которого может следовать точное обучение (fine-tuning) для конкретных задач (например, классификация контента, поиск похожих изображений).

Обученные с помощью этого метода модели (MLA) впоследствии интегрируются в продакшн-контур поиска (например, на этапах INDEXING или RANKING).

На что влияет

• Типы контента и Вертикали: Патент явно фокусируется на Вертикальном поиске изображений. Хотя в описании упоминается возможность применения к другим типам документов (веб-поиск, видео), все Claims и примеры относятся только к изображениям.
• Качество Моделей: Процесс напрямую влияет на качество и релевантность базовых моделей компьютерного зрения Яндекса.

Когда применяется

• Алгоритм применяется периодически в офлайн-режиме по мере необходимости обучения новых или обновления существующих MLA.
• Это не процесс реального времени, он не активируется пользовательскими запросами.
• Требуется наличие достаточного объема накопленных логов поиска по картинкам.

Пошаговый алгоритм

Патент описывает два различных варианта реализации процесса.

Этап 1: Сбор и Агрегация Данных (Общий)

1. Получение логов: Агрегатор поисковых запросов получает из журнала поиска данные в формате кортежей <Запрос (Q), Изображение (D), Метрика (M)>.

Этап 2 (Вариант 1): Текстовая кластеризация (Способ 500)

1. Векторизация Текста: Применение алгоритма Word Embedding к тексту каждого запроса (Q) для формирования Вектора Запроса.
2. Кластеризация: Распределение Векторов Запросов на основе их семантической близости.
3. Фильтрация Изображений: Отбор изображений, связанных с кластером, чьи метрики (M, например, CTR) превышают заданный порог.

Этап 2 (Вариант 2): Визуально-поведенческая кластеризация (Способ 600)

1. Предварительная фильтрация: Отбор изображений (D), чьи метрики (M) превышают заданный порог.
2. Извлечение Признаков: Формирование Вектора Признаков (визуальных) для каждого отобранного изображения.
3. Генерация Вектора Запроса: Формирование Вектора Запроса для каждого запроса (Q) путем агрегации (например, взвешенного среднего) Векторов Признаков связанных изображений. Вес определяется Метрикой (M).
4. Кластеризация: Распределение этих Векторов Запросов на основе их визуально-поведенческой близости.

Этап 3: Формирование Обучающего Набора (Общий)

1. Назначение Меток: Генератор меток присваивает всем отобранным изображениям в кластере уникальный идентификатор этого кластера в качестве метки класса.
2. Сохранение: Изображения и их метки сохраняются как Обучающие Объекты.

Этап 4: Обучение MLA (Общий)

1. Обучение: Сформированный набор данных используется для обучения MLA (например, нейронной сети) для задачи классификации изображений.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используются Переходы (clicks) и Коэффициент переходов (CTR). Они служат для валидации релевантности: фильтрации шума (изображений с низким CTR) и для взвешивания визуальных признаков (в Варианте 2).
• Контентные факторы (Текст): Тексты поисковых запросов. Используются в Варианте 1 для генерации векторов запросов с помощью Word Embedding.
• Мультимедиа факторы (Изображения): Сами изображения (результаты поиска). Используются в Варианте 2 для извлечения визуальных Векторов Признаков.

Какие метрики используются и как они считаются

• Векторизация слов (Word Embedding): Упомянуты алгоритмы: word2vec, GloVe, LDA2Vec, sense2vec и wang2vec.
• Извлечение визуальных признаков (Feature Extraction): Упомянуты методы: SIFT, HOG, SURF, LBP, вейвлеты Хаара, гистограммы цветов, а также использование предварительно обученной нейронной сети.
• Расчет Вектора Запроса (Вариант 2): Рассчитывается как агрегация (упоминается линейная комбинация или взвешенное среднее) Векторов Признаков, взвешенных с использованием соответствующих метрик (CTR).
• Алгоритмы Кластеризации: Упомянуты: метод к-средних (k-means), метод максимизации ожиданий, иерархическая кластеризация, кластеризация на основе плотности и другие. Кластеризация основана на функциях близости или подобия в N-мерном пространстве.
• Пороговые значения: Используются для фильтрации результатов поиска на основе метрик (CTR > порог) для обеспечения качества обучающего набора.

Выводы

1. Инфраструктурный патент, не про ранжирование: Патент описывает внутренние процессы Яндекса по автоматизации обучения ML-моделей для классификации изображений, а не алгоритмы ранжирования, используемые в поиске.
2. Автоматизация разметки для масштабирования AI: Яндекс использует автоматизацию для создания масштабных датасетов для компьютерного зрения, устраняя необходимость в дорогостоящей ручной разметке на этапе предварительного обучения.
3. Поведение пользователей как эталон релевантности (Ground Truth): CTR и клики являются основным сигналом для определения релевантности изображений. Они используются для фильтрации шума и для определения веса визуальных признаков. Система доверяет коллективному мнению пользователей.
4. Два подхода к пониманию интента: Яндекс кластеризует запросы двумя способами: на основе текстовой семантики (Вариант 1) и на основе визуальной схожести изображений, по которым кликали пользователи (Вариант 2).
5. Цель — Предварительное обучение (Pre-training): Сформированные датасеты предназначены для «грубого обучения» базовых моделей MLA, которые затем могут быть дообучены (fine-tuned) для конкретных задач (подтверждение использования Transfer Learning).

Практика

Патент является инфраструктурным и сфокусирован на внутренних процессах обучения ML-моделей Яндекса. Он не дает практических выводов для SEO в веб-поиске. Все рекомендации ниже относятся строго к оптимизации под вертикальный поиск изображений (Яндекс Картинки).

Best practices (это мы делаем)

• Оптимизация под высокий CTR в Поиске по Картинкам: Патент демонстрирует, что Яндекс рассматривает высокий CTR как основной сигнал качества и релевантности изображения для запроса. Только изображения с CTR выше порога используются для обучения AI. Необходимо использовать высококачественные, привлекательные и релевантные изображения, которые мотивируют клик в выдаче.
• Обеспечение визуальной релевантности интенту: Во втором варианте реализации система анализирует визуальные признаки (Feature Vectors) кликабельных изображений. Это подтверждает необходимость строгого соответствия визуального содержания изображения тому, что ищет пользователь.
• Использование четких изображений: Использование четких, высококачественных изображений с хорошо различимыми объектами позволяет системе корректно извлекать визуальные признаки (с помощью SIFT, HOG или нейросетей) и классифицировать контент.

Worst practices (это делать не надо)

• Игнорирование качества изображений: Размещение низкокачественных или непривлекательных изображений приведет к низкому CTR. Такие изображения будут отфильтрованы системой и не будут участвовать в обучении моделей как релевантные примеры.
• (Гипотеза) Злоупотребление кликбейтом: Использование изображений, которые генерируют клики, но не соответствуют содержанию страницы. Хотя данный патент фокусируется на CTR как на позитивном сигнале, в реальной системе поиска это может быть нивелировано другими поведенческими факторами (например, быстрыми возвратами в выдачу), которые в этом патенте не рассматриваются.

Стратегическое значение

Патент подтверждает стратегическую важность интеграции поведенческих данных во все аспекты работы поиска, включая обучение моделей компьютерного зрения. Для Яндекса «истина» (Ground Truth) формируется не столько асессорами, сколько массовым поведением пользователей. В контексте визуального поиска это означает, что CTR является определяющим фактором, который учит систему тому, как визуально выглядит ответ на запрос пользователя.

Практические примеры

Сценарий 1: Текстовая кластеризация (Вариант 1)

1. Сбор данных: Система анализирует запросы: «фото красного феррари», «изображение ferrari красный», «машина ла феррари».
2. Векторизация и Кластеризация: Word Embeddings этих запросов оказываются близки. Все три запроса попадают в Кластер А.
3. Фильтрация: Система отбирает изображения, показанные по этим запросам, у которых CTR превышает заданный порог.
4. Обучение: Все эти изображения получают метку «Кластер А». MLA обучается распознавать общие черты этих изображений (красные спортивные машины).

Сценарий 2: Визуально-поведенческая кластеризация (Вариант 2)

1. Сбор данных: Система анализирует запросы: «закат на море» и «красивый вечерний пляж» (текстуально разные).
2. Фильтрация и Признаки: Отбираются изображения с высоким CTR. Из них извлекаются визуальные признаки (цвета: оранжевый, синий; наличие горизонта).
3. Векторизация запросов: Векторы запросов формируются как средневзвешенное (по CTR) значение этих визуальных признаков. Векторы получаются похожими, так как пользователи кликали на визуально схожие картинки.
4. Кластеризация и Обучение: Оба запроса попадают в Кластер Б. Изображения получают метку «Кластер Б». MLA обучается распознавать визуальные паттерны закатов.

Вопросы и ответы