Как Яндекс использует кластеризацию семантических векторов (K-means) для ускорения базового поиска (L1 Retrieval)

Описание

Какую задачу решает

Патент решает критическую инфраструктурную проблему: необходимость сравнения входящего запроса с миллиардами документов в реальном времени. Это требует огромных вычислительных ресурсов и увеличивает время ответа (latency)-[0164]. Изобретение направлено на радикальное сокращение пространства поиска на самом раннем этапе (L1 Retrieval), что уменьшает время реакции на запрос и снижает нагрузку на серверы базы данных-[008].

Что запатентовано

Запатентована система эффективного хранения и извлечения документов на основе семантической векторной кластеризации (Semantic Sharding). Суть заключается в использовании обученного алгоритма машинного обучения (MLA, в частности, нейронной сети) для генерации семантических векторов документов и запросов, где векторная близость соответствует релевантности. Документы кластеризуются (например, с помощью K-means) на основе этих векторов и хранятся в группах (сегментах/шардах).

Как это работает

Система работает в несколько этапов:

1. Обучение (Офлайн): Нейронная сеть (с архитектурой Dual-Encoder) обучается на парах «документ-запрос» и их коэффициентах релевантности. Цель — научиться генерировать вектор документа и вектор запроса так, чтобы их близость (например, скалярное произведение) соответствовала релевантности.
2. Индексация и Кластеризация (Офлайн): Для всех документов корпуса генерируются векторы. Затем эти векторы кластеризуются (K-means). Для каждого кластера определяется вектор группы (центроид). Документы хранятся в этих группах.
3. Поиск (Онлайн): При получении запроса генерируется его вектор. Система сравнивает вектор запроса только с векторами групп (а не с миллиардами векторов документов). Определяется ближайший кластер (целевая группа). Документы-кандидаты извлекаются только из этой группы и передаются на следующие этапы ранжирования.

Актуальность для SEO

Высокая. Векторный поиск, в частности приближенный поиск ближайших соседей (ANN — Approximate Nearest Neighbor search), является фундаментом современных поисковых систем и основой для работы больших языковых моделей (таких как YATI в Яндексе). Описанный метод кластеризации для ускорения поиска является стандартным и критически важным подходом для масштабирования векторного поиска.

Важность для SEO

Влияние на SEO значительно (7/10). Хотя патент фокусируется на инфраструктуре, он раскрывает критически важный механизм определения релевантности на этапе базового поиска (L1 Retrieval). Он подтверждает, что Яндекс использует семантические векторы для понимания контента. Если вектор документа не близок к вектору запроса в этом семантическом пространстве, документ не пройдет даже первый этап отбора кандидатов и не будет ранжироваться, независимо от других факторов.

Детальный разбор

Термины и определения

MLA (Machine Learning Algorithm / Алгоритм машинного обучения)

В контексте патента чаще всего подразумевается нейронная сеть (NN). Алгоритм, обученный генерировать векторы для документов и запросов так, чтобы их близость отражала релевантность.

Вектор группы (Group Vector / Центроид)

Вектор, представляющий группу (кластер) документов. Является центром кластера в векторном пространстве, определенным в процессе кластеризации (например, K-means). Используется как идентификатор группы.

Вектор документа / Вектор запроса

Численные представления (эмбеддинги) документа и запроса, сгенерированные MLA на основе соответствующих данных (текст, статистика и т.д.),.

Значение близости (Proximity Value)

Метрика, указывающая на пространственную близость двух векторов. В патенте упоминаются Евклидово расстояние и скалярное произведение. В обученной модели это значение представляет собой предсказанную релевантность.

Коэффициент релевантности (Relevance Score)

Оценка (Ground Truth), указывающая, насколько документ релевантен запросу. Используется для обучения MLA. Может быть основана на действиях пользователей или оценках экспертов.

Нейронная сеть (NN, Neural Network)

Основной алгоритм MLA. Имеет архитектуру Dual-Encoder, состоящую из двух частей: Предназначенная для документа часть и Предназначенная для запроса часть. Они обучаются совместно.

K-means (К-средних)

Алгоритм кластеризации, используемый для группировки векторов документов и определения векторов групп (центроидов).

Сегмент (Segment / Шард)

Группа документов, хранящаяся как единое целое в базе данных. Соответствует одному кластеру.

Ключевые утверждения (Анализ Claims)

Патент защищает как способ хранения (индексации и кластеризации), так и способ извлечения (поиска) документов.

Claim 1 (Независимый пункт — Способ хранения): Описывает процесс создания индекса.

1. Получение данных документов.
2. Формирование вектора документа для каждого документа с помощью MLA.
3. Критически важно: MLA обучен так, чтобы значение близости между вектором обучающего документа и вектором обучающего запроса представляло собой коэффициент релевантности.
4. Группирование (кластеризация) множества документов.
5. Хранение документов в виде групп, каждая из которых связана с вектором группы. Документы в группе имеют векторы, пространственно близкие к вектору группы.

Claim 5 (Зависимый от 1): Уточняет механизм кластеризации.

Группирование выполняется с помощью алгоритма «К-средних» (K-means) для векторов документов, что позволяет определить векторы групп (центроиды) и состав групп.

Claim 17 (Зависимый от 1): Уточняет архитектуру MLA.

MLA представляет собой нейронную сеть (NN), содержащую предназначенную для документа часть и предназначенную для запроса часть. Они обучаются совместно (joint training) для достижения цели, описанной в Claim 1 (близость = релевантность).

Claim 35 (Независимый пункт — Способ получения документов): Описывает процесс поиска (Retrieval).

1. Получение текущего запроса и данных запроса.
2. Формирование вектора текущего запроса.
3. Определение среди векторов групп наиболее схожего вектора. Этот вектор связан с целевой группой документов.
4. Обращение к системе базы данных для получения документов только из этой целевой группы.

Где и как применяется

Изобретение описывает ключевые механизмы, связывающие индексацию, понимание запросов и базовый поиск (L1 Retrieval).

INDEXING – Индексирование и извлечение признаков (Офлайн-процессы)

• Генерация векторов: После получения документов краулером, сервер использует обученный MLA (конкретно, его предназначенную для документа часть) для генерации семантических векторов для всего корпуса документов.
• Кластеризация: Сервер применяет алгоритм K-means к этим векторам для разделения индекса на семантически связанные группы (кластеры) и определения Векторов Групп (центроидов).
• Хранение (Шардинг): Эти группы (сегменты) распределяются по серверам базы данных (Semantic Sharding). Патент описывает логику оптимизации хранения: дублирование популярных сегментов для балансировки нагрузки и хранение семантически близких сегментов на одном сервере.

QUERY PROCESSING – Понимание Запросов (Онлайн)

• При получении запроса сервер использует предназначенную для запроса часть MLA для генерации Вектора Запроса в том же семантическом пространстве, что и векторы документов.

RANKING – Ранжирование (L1 — Base Search / Retrieval) (Онлайн)

• Это основная область применения патента для ускорения поиска. Вместо сравнения Вектора Запроса с миллиардами Векторов Документов, система сравнивает его только с Векторами Групп (метод ANN).
• Определяется ближайший Вектор Группы (Целевая Группа).
• Система обращается только к тем серверам, которые хранят эти Целевые Группы. Полученные документы являются кандидатами для последующих, более сложных этапов ранжирования (L2, L3).

На что влияет

• Все типы контента и запросов: Механизм является фундаментальным для базового поиска и применяется ко всему индексу и всем запросам.
• Отбор кандидатов (Recall): Система напрямую влияет на то, какие документы будут отобраны в качестве кандидатов для ранжирования. Если документ семантически далек (в векторном пространстве) от запроса, он может не попасть в выдачу.
• Скорость и Эффективность: Основное влияние — на скорость ответа поисковой системы и снижение вычислительной нагрузки.

Когда применяется

• Обучение MLA и Кластеризация: Выполняются офлайн, периодически, по мере обновления индекса и моделей релевантности.
• Генерация Вектора Запроса и Поиск Групп: Выполняются онлайн при обработке каждого поискового запроса пользователя на этапе L1 Retrieval.

Пошаговый алгоритм

Процесс А: Обучение Модели (Офлайн)

1. Сбор данных: Получение обучающих пар «запрос-документ» и связанных с ними Коэффициентов Релевантности (Ground Truth).
2. Предварительная векторизация: Использование моделей векторизации (упомянуты DSSM, word2vec и др.) для преобразования сырых данных (текст, статистика) запроса и документа в субвекторы-[0141].
3. Итерация обучения (Joint Training):
   1. Часть NN для запроса и часть NN для документа генерируют Вектор Запроса и Вектор Документа соответственно.
   2. Вычисляется Значение Близости (например, скалярное произведение) между этими векторами.
   3. Значение Близости сравнивается с Коэффициентом Релевантности.
   4. Корректировка весов NN (например, через обратное распространение) для минимизации разницы. Части NN обучаются совместно.

Процесс Б: Индексация и Кластеризация (Офлайн)

1. Генерация Векторов Документов: Использование обученной Предназначенной для документа части MLA для формирования векторов всех документов в индексе.
2. Кластеризация: Применение алгоритма K-means к множеству векторов документов.
3. Определение Групп: Идентификация К групп документов и соответствующих им Векторов Групп (центроидов). (Опционально: включение документа в несколько групп, если он близок к нескольким центроидам-[0179]).
4. Хранение: Сохранение групп (сегментов) в системе базы данных (на серверах/шардах), связывая каждую группу с ее Вектором Группы. Создание данных соответствия (какой сервер хранит какой сегмент).

Процесс В: Обработка Запроса и Поиск (Онлайн)

1. Получение запроса: Поступление текущего запроса от пользователя.
2. Генерация Вектора Запроса: Использование обученной Предназначенной для запроса части MLA для формирования вектора текущего запроса.
3. Поиск ближайших Групп (ANN): Сравнение Вектора Запроса с Векторами Групп (не со всеми документами).
4. Идентификация Целевой Группы: Определение Вектора Группы, наиболее схожего с Вектором Запроса.
5. Извлечение Кандидатов: Обращение только к тому серверу (Целевому Серверу), который хранит Целевую Группу (Целевой Сегмент), и получение из нее документов,.
6. Дальнейшее Ранжирование: Передача полученных документов на следующие этапы ранжирования (L2/L3).

Какие данные и как использует

Данные на входе

• Контентные факторы (Текстовые): Текст запросов и документов. Используются моделями векторизации для формирования входных субвекторов для MLA,.
• Поведенческие и Статистические факторы: Исторические данные о взаимодействии пользователей, используемые для определения Коэффициента Релевантности (эталона для обучения). Также могут использоваться как входные признаки для MLA: популярность, частота отправки запроса, количество кликов, CTR (коэффициент кликов), время на «клик»-[0120].
• Оценки Релевантности (Ground Truth): Коэффициенты релевантности для пар запрос-документ. Могут быть получены из действий пользователя или оценок экспертов (асессоров).
• Географические факторы: Географическое положение пользователя и серверов. Может использоваться для оптимизации выбора сервера при наличии дубликатов сегментов.

Какие метрики используются и как они считаются

• Модели Векторизации: Для преобразования сырых данных в субвекторы используются различные модели. Упомянуты DSSM (Deep Structured Semantic Model), мешок слов (bag-of-words), word2vec, sent2vec. На практике, вероятно, используются более современные трансформерные модели.
• Алгоритм Машинного Обучения (MLA/NN): Нейронная сеть (Dual-Encoder). Обучается для преобразования субвекторов в финальные семантические Векторы Документа и Запроса. Метод обучения — например, алгоритм обратного распространения.
• Значение Близости (Proximity Value): Метрика схожести/расстояния в векторном пространстве. Используется для сравнения векторов. Упомянуты Евклидово расстояние и скалярное произведение. Это является показателем релевантности на данном этапе.
• Алгоритм Кластеризации K-means: Используется для группировки Векторов Документов и определения Векторов Групп (центроидов).

Выводы

1. Релевантность как векторная близость на L1: Патент подтверждает, что на этапе базового поиска (L1 Retrieval) Яндекс определяет релевантность как близость между вектором запроса и вектором документа в семантическом пространстве, обученном нейронной сетью.
2. Семантическое Шардирование (Semantic Sharding): Яндекс организует хранение индекса на основе семантической близости контента. Документы, близкие по смыслу (определяемые через векторы), физически хранятся рядом (в одном сегменте/шарде).
3. Эффективность через кластеризацию (ANN): Для обеспечения скорости поиска Яндекс не сканирует весь индекс, а использует методы приближенного поиска ближайших соседей (ANN). В данном патенте это реализовано через кластеризацию K-means, что позволяет искать только внутри релевантных кластеров.
4. Двухкомпонентная Нейронная Сеть (Dual-Encoder): Используется модель (MLA/NN), состоящая из двух частей (для документов и для запросов), которые обучаются совместно (Joint Training). Это позволяет проецировать разнородные сущности в общее семантическое пространство.
5. Зависимость от Качества Обучения: Эффективность всей системы критически зависит от качества обучения NN и, следовательно, от качества исходных данных о релевантности (поведение пользователей, оценки асессоров).

Практика

Best practices (это мы делаем)

Хотя патент описывает инфраструктуру, он основан на работе нейросетевой модели релевантности (MLA/NN). Все рекомендации направлены на то, чтобы помочь этой модели сформировать точный и релевантный вектор документа.

• Фокус на семантической релевантности и интенте: Создавайте контент, который всесторонне отвечает на интент пользователя. Система оценивает смысл документа целиком для генерации вектора. Необходимо обеспечить, чтобы этот вектор находился в том же семантическом пространстве, что и вектор целевого запроса, и попадал в релевантный кластер.
• Развитие Topical Authority: Работайте над тематической авторитетностью и широким охватом темы. Документы, которые глубоко раскрывают тему и используют релевантную терминологию (QBST фразы), с большей вероятностью будут иметь векторы, близкие к широкому спектру связанных запросов.
• Четкая структура и язык: Используйте ясный язык и логичную структуру. Это помогает моделям векторизации (которые являются входным этапом для MLA) корректно интерпретировать контент и формировать точный вектор документа.
• Улучшение поведенческих и статистических сигналов: Позитивные поведенческие факторы критически важны. Они используются как основа для Коэффициента Релевантности при обучении MLA, а также могут использоваться как входные признаки для генерации векторов.

Worst practices (это делать не надо)

• Переоптимизация и Keyword Stuffing: Попытки манипулировать релевантностью путем неестественного насыщения текста ключевыми словами неэффективны для векторных моделей. Это может исказить вектор документа и отдалить его от целевого семантического кластера.
• Создание разрозненного или нечеткого контента: Контент, не имеющий четкого тематического фокуса, может получить «размытое» векторное представление и оказаться далеко от релевантных запросов в векторном пространстве, не попадая в нужные кластеры.
• Игнорирование семантического контекста: Оптимизация страницы под ключевое слово без учета его значения и контекста использования в тематике.

Стратегическое значение

Патент имеет высокое стратегическое значение, так как описывает архитектуру базового поиска (L1 Retrieval) Яндекса. Он подтверждает переход от классического поиска по ключевым словам к семантическому векторному поиску на самых ранних этапах. Для SEO это означает, что долгосрочная стратегия должна быть сосредоточена на создании семантически богатого, авторитетного контента. Понимание принципов векторного пространства становится обязательным для Senior SEO-специалистов.

Практические примеры

Сценарий: Обеспечение попадания документа в релевантный семантический кластер

Задача: Продвинуть статью по запросу «уход за орхидеей фаленопсис зимой».

1. Анализ интента и семантики: SEO-специалист определяет ключевые аспекты темы, чтобы вектор статьи был близок к вектору запроса: полив, освещение (досветка), температура, влажность, удобрения в период покоя.
2. Создание контента: Создается структурированная статья, подробно освещающая все эти аспекты, используя релевантную терминологию (фитолампа, период покоя, цветонос, гигрометр).
3. Работа системы (Офлайн): Яндекс индексирует статью. MLA генерирует Вектор Документа. Алгоритм K-means помещает этот вектор в кластер, связанный с «комнатным цветоводством» и «уходом за орхидеями».
4. Работа системы (Онлайн): Пользователь вводит запрос. Яндекс генерирует Вектор Запроса. Система определяет, что этот вектор наиболее близок к Вектору Группы кластера «уход за орхидеями».
5. Результат: Статья извлекается из Целевой Группы как кандидат для ранжирования (проходит L1 Retrieval). Если бы статья была поверхностной, ее вектор мог бы оказаться дальше от целевого кластера.

Вопросы и ответы