Как Яндекс генерирует отсутствующие признаки ранжирования, заимствуя их значения из похожих запросов

Описание

Какую задачу решает

Патент решает проблему неполноты данных (data sparsity) при ранжировании. Алгоритмы машинного обучения (MLA) используют множество признаков для оценки релевантности, но часто для конкретной пары «запрос-документ» значения критически важных признаков отсутствуют (например, нет статистики поведенческих факторов из-за недостатка взаимодействий). Это снижает точность ранжирования и создает проблему «холодного старта». Патент предлагает механизм для генерации (импутации) этих отсутствующих значений, что улучшает качество ранжирования.

Что запатентовано

Запатентована система генерации отсутствующих значений признаков ранжирования. Суть изобретения заключается в переносе (трансфере) знаний: если для текущего запроса значение признака у документа отсутствует, система ищет похожие прошлые запросы (past queries), для которых значение этого признака у данного документа известно. Отсутствующее значение генерируется на основе этих исторических значений, взвешенных по степени схожести (Similarity Parameter) между текущим и прошлыми запросами.

Как это работает

Когда система обнаруживает, что у документа нет значения для определенного признака по текущему запросу, активируется механизм импутации. Сначала извлекается набор прошлых запросов, по которым этот документ показывался (часто используя предварительно рассчитанные Аннотации документа). Затем определяется параметр схожести между текущим и прошлыми запросами. Схожесть может рассчитываться двумя путями: на основе пересечения результатов выдачи и поведения пользователей (поведенческая схожесть) или с помощью отдельного MLA на основе текстового содержания (текстовая схожесть). Наконец, отсутствующее значение признака генерируется путем агрегации известных значений этого признака по прошлым запросам, взвешенных по их параметру схожести.

Актуальность для SEO

Высокая. Решение проблемы разреженности данных и «холодного старта» является центральной задачей современных поисковых систем. Методы переноса знаний (Transfer Learning) и использование схожести запросов (как поведенческой, так и семантической через эмбеддинги) активно применяются в Яндексе для улучшения качества ранжирования, особенно для новых документов и редких запросов.

Важность для SEO

Влияние на SEO значительно (8/10). Патент демонстрирует механизм, при котором успешность документа (например, хорошие поведенческие факторы) по одному запросу может быть напрямую перенесена для улучшения его ранжирования по другому, семантически похожему запросу, даже если по второму запросу статистики еще нет. Это подчеркивает критическую важность построения Topical Authority и оптимизации под кластеры интентов, а не под отдельные ключевые слова.

Детальный разбор

Термины и определения

MLA (Алгоритм машинного обучения)

В патенте упоминается несколько MLA:

• Первый MLA (220): Основной алгоритм ранжирования (упоминается GBDT – Gradient Boosted Regression Trees, аналог CatBoost). Использует признаки для финального ранжирования.
• Второй MLA (240): Вспомогательный алгоритм (упоминается как модифицированная DSSM), используемый для обогащения признаков документа.
• Третий MLA (260): Алгоритм (например, нейронная сеть), обученный определять текстовую схожесть запросов. (Примечание: В Claims 5 и 6 он называется Вторым MLA).

Аннотация (Annotation) / Вектор Аннотации (344, 632)

Представление документа, генерируемое офлайн. Оно содержит список прошлых запросов, по которым этот документ показывался, и, опционально, связанные с ними параметры пользовательских взаимодействий (например, CTR). Используется для быстрого доступа к истории документа.

Вектор Запроса (Query Vector) (434)

Поведенческий вектор. Численное представление запроса, построенное на основе документов, показанных в ответ на этот запрос, и взаимодействий пользователей с этими документами.

Вектор Слов (Word Vector) (514)

Текстовый вектор (эмбеддинг). Численное представление запроса, сгенерированное на основе его текста с использованием алгоритмов вложения слов (упомянуты word2vec, LDA).

Параметр Сходства (Similarity Parameter)

Метрика, указывающая на степень схожести между двумя запросами. Бывает двух типов:

• Первый Параметр Сходства (Поведенческий) (482): Основан на пересечении результатов поиска и схожести пользовательских взаимодействий. Рассматривается как эталон (Ground Truth).
• Второй Параметр Сходства (Текстовый) (532): Генерируется Третьим MLA на основе Векторов Слов. Является аппроксимацией Поведенческого параметра.

Признак (Feature) (624)

Переменная, используемая MLA для ранжирования. В контексте патента это может быть зависящий от запроса признак или параметр пользовательского взаимодействия.

Ключевые утверждения (Анализ Claims)

Ядром изобретения является метод генерации значения признака для документа, когда это значение отсутствует для текущего запроса (импутация признака).

Claim 1 (Независимый пункт): Описывает основной процесс генерации отсутствующего признака.

1. Система получает запрос (Q) и генерирует набор релевантных документов.
2. Выбирается документ (D), у которого отсутствует значение для определенного признака (F).
3. Извлекается набор прошлых запросов (PQs), по которым документ D ранее показывался в SERP.
4. Для этих PQs извлекаются соответствующие (исторические) значения признака F.
5. Определяется параметр схожести между текущим запросом Q и каждым из прошлых запросов PQs.
6. Генерируется отсутствующее значение признака F для документа D по запросу Q. Оно основывается на (i) параметрах схожести и (ii) исторических значениях признака F.
7. Основной MLA ранжирует документ D, используя это сгенерированное значение.

Claim 2 (Зависимый): Уточняет источник прошлых запросов.

Прошлые запросы извлекаются с использованием предварительно сгенерированной аннотации документа (Вектор Аннотации).

Claims 3 и 4 (Зависимые): Описывают метод определения Поведенческой схожести.

Параметр схожести определяется на основе схожести наборов документов (пересечение выдачи), показанных в ответ на текущий и прошлый запросы (Claim 3). Дополнительно, схожесть учитывает параметры пользовательских взаимодействий с этими документами (Claim 4).

Claims 5 и 6 (Зависимые): Описывают метод определения Текстовой схожести и обучение необходимой модели (Второй MLA в Claims / Третий MLA 260 в описании).

Система использует обученный MLA для определения схожести на основе текстового содержимого запросов (Claim 5).

Claim 6 детализирует фазу обучения этого MLA:

1. Генерируются Поведенческие Векторы Запросов на основе пользовательских взаимодействий.
2. Рассчитывается эталонный (поведенческий) параметр схожести между парами прошлых запросов.
3. MLA обучается предсказывать этот эталонный параметр схожести, используя только текстовое содержимое запросов. Цель — научить модель аппроксимировать поведенческую схожесть через текстовую близость.

Claim 7 (Зависимый): Вводит пороговое значение.

Для генерации признака выбираются только те прошлые запросы, чей параметр сходства превышает предопределенный порог.

Где и как применяется

Изобретение применяется на этапе ранжирования для обогащения набора признаков, но тесно интегрировано с офлайн-процессами.

RANKING – Ранжирование (Уровни L2/L3)
Основное применение происходит на этапе вычисления признаков перед финальным скорингом. Когда система ранжирования (Первый MLA) обрабатывает документ и обнаруживает отсутствие значения для признака (например, поведенческого фактора), активируется описанный механизм.

• Процесс: Система выполняет поиск похожих запросов (используя Аннотации), извлекает исторические значения и генерирует отсутствующее значение (например, через взвешенное усреднение).
• Выход: Сгенерированное значение признака передается в Первый MLA для расчета ранга.

QUERY PROCESSING – Понимание Запросов
На этом этапе может происходить генерация текстовых векторов (эмбеддингов) для текущего запроса, которые затем используются Третьим MLA (260) для определения текстовой схожести, если поведенческих данных недостаточно.

Офлайн-процессы (Связаны с INDEXING и Data Processing)
Значительная часть работы происходит офлайн на Сервере Обучения (140):

• Генерация Векторов Аннотации (Процедура 300): Анализ логов для связывания документов с прошлыми запросами и взаимодействиями.
• Расчет Поведенческой Схожести (Процедура 400): Генерация Векторов Запросов и расчет эталонной поведенческой схожести между прошлыми запросами.
• Обучение Третьего MLA (Процедура 500): Обучение модели предсказывать поведенческую схожесть на основе текстового содержимого.

На что влияет

• Специфические запросы (Холодный старт): Наибольшее влияние оказывается на новые, редкие или длиннохвостые (long-tail) запросы, по которым статистика взаимодействий ограничена или отсутствует.
• Типы признаков: Механизм критически важен для расчета зависящих от запроса признаков и параметров пользовательского взаимодействия (например, прогнозируемый CTR), для которых часто не хватает данных.
• Документы с разреженными данными: Влияет на новые документы или документы, которые только начинают ранжироваться по определенному кластеру запросов.

Когда применяется

Алгоритм активируется динамически в процессе ранжирования.

• Триггер активации: Момент, когда система ранжирования обнаруживает отсутствие значения для необходимого признака у конкретного документа в контексте текущего запроса. Это часто происходит из-за недостатка информации для расчета признака стандартным путем.
• Условие применения: Должна существовать история показов этого документа по другим (прошлым) запросам, и для этих прошлых запросов значение интересующего признака должно быть известно.

Пошаговый алгоритм

Процесс состоит из офлайн-подготовки и онлайн-применения.

Процесс А: Офлайн-подготовка (Сервер Обучения)

1. Генерация Векторов Аннотации (Процедура 300):
   • Анализ логов поиска и взаимодействий.
   • Для каждого документа формируется Вектор Аннотации, содержащий историю прошлых запросов и связанных параметров взаимодействий (например, CTR).
2. Расчет Поведенческой Схожести (Эталон) (Процедура 400):
   • Генерация Поведенческих Векторов Запросов на основе SERP и кликов.
   • Расчет Первого Параметра Сходства между парами прошлых запросов.
3. Обучение Третьего MLA (Текстовая Схожесть) (Процедура 500):
   • Генерация Текстовых Векторов Слов (эмбеддингов) для запросов.
   • Обучение Третьего MLA предсказывать Поведенческую Схожесть, используя только Текстовые Векторы.

Процесс Б: Онлайн-обработка запроса и генерация признака (Сервер Поисковой Системы) (Процедура 600)

1. Получение запроса и кандидатов: Система получает текущий запрос (Q_new) и набор документов.
2. Идентификация проблемы: Система определяет документ (D), у которого отсутствует значение признака (F) по запросу Q_new.
3. Извлечение истории документа: Извлечение Вектора Аннотации для документа D, содержащего прошлые запросы (Q_past) и их значения признака F (F_past).
4. Расчет схожести: Определение Параметра Сходства (Sim) между Q_new и каждым Q_past. Используется либо Поведенческая схожесть, либо Текстовая схожесть (через Третий MLA).
5. Выбор и Фильтрация: Отбор подмножества наиболее похожих Q_past (например, схожесть выше порога).
6. Генерация признака (Импутация): Вычисление отсутствующего значения признака F. Например, путем усреднения исторических значений F_past, взвешенных по соответствующим Параметрам Сходства Sim.
7. Ранжирование: Использование сгенерированного значения признака в Первом MLA для расчета финального ранга документа D.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используются для генерации Аннотаций, расчета Поведенческой схожести (эталон) и обучения Третьего MLA. Включают CTR, Клики (Loss/Win), Время пребывания (Dwell time), Длинный/короткий клик. Данные берутся из Журнала Запросов (136) и Журнала Пользовательских Взаимодействий (138).
• Контентные факторы (Текстовые): Тексты запросов используются для генерации Векторов Слов (эмбеддингов) при расчете Текстовой схожести. Текст и наименование документа упоминаются при обучении Второго MLA (DSSM).
• Системные данные: Наборы документов (SERPs), показанные в ответ на запросы (используются для расчета пересечения выдачи). Исторические значения признаков ранжирования.

Какие метрики используются и как они считаются

• Вектор Аннотации: Вектор, агрегирующий историю взаимодействий с документом по разным запросам.
• Поведенческий Вектор Запроса: Вектор, представляющий запрос на основе его результатов и взаимодействий с ними.
• Текстовый Вектор Слов (Эмбеддинг): Генерируется на основе текста запроса с помощью моделей Word Embedding (упомянуты word2vec, LDA, на практике вероятны более современные модели).
• Параметр Сходства: Рассчитывается как мера близости между векторами запросов. В патенте упоминается косинусное сходство (cosine similarity) как пример расчета.
• Генерация Признака: Финальное значение отсутствующего признака может рассчитываться как среднее взвешенное значений признака из похожих прошлых запросов, где весами выступают Параметры Сходства.

Выводы

1. Перенос ранжирующих сигналов между запросами: Яндекс явно использует механизм переноса (Transfer) значений признаков (включая поведенческие) с одного запроса на другой, если считает их похожими. Успех документа в одном контексте напрямую способствует его успеху в схожем контексте.
2. Решение проблемы «холодного старта»: Этот механизм критически важен для ранжирования по новым или редким запросам, где стандартной статистики недостаточно. Система может быстро сформировать оценку, опираясь на существующие данные по смежным запросам.
3. Поведенческая схожесть как эталон: Патент подтверждает, что схожесть запросов, основанная на реальном поведении пользователей (пересечение выдачи и кликов), является эталоном (Ground Truth).
4. Текстовая схожесть как аппроксимация: Текстовая (семантическая) схожесть, рассчитываемая с помощью MLA (на основе эмбеддингов), используется как замена поведенческой схожести, когда данных нет. Она обучается имитировать поведенческую схожесть.
5. Центральная роль поведенческих данных: Поведенческие данные используются двояко: они являются теми признаками, которые часто переносятся (например, CTR), и они же определяют эталонную схожесть запросов для обучения всей системы.

Практика

Best practices (это мы делаем)

• Фокус на Topical Authority и охват семантического кластера: Создавайте контент, который отвечает на широкий спектр связанных запросов в рамках одной темы. Это увеличивает вероятность того, что позитивные сигналы (например, хороший CTR), полученные по одному запросу, будут перенесены на другие запросы в этом кластере, где статистики еще недостаточно.
• Максимизация позитивных поведенческих сигналов: Поскольку переносятся именно поведенческие признаки, критически важно добиваться высокой вовлеченности пользователей. Хорошие ПФ не только улучшают ранжирование по текущему запросу, но и формируют сильные исторические значения в Векторе Аннотации для будущего переноса.
• Оптимизация под интент и анализ SERP Similarity: Изучайте пересечение выдачи по разным запросам. Если Яндекс показывает схожие результаты, он считает запросы поведенчески близкими. Убедитесь, что ваша страница соответствует интенту всего кластера, чтобы максимизировать эффект от переноса признаков.
• Использование QBST фраз: Насыщайте текст терминами из связанных запросов и синонимами. Это увеличивает вероятность того, что Третий MLA определит высокую текстовую схожесть между разными формулировками одного интента, что позволит перенести факторы, даже если поведенческой схожести еще нет.

Worst practices (это делать не надо)

• Создание узкоспециализированных страниц под каждый НЧ запрос: Стратегия создания множества страниц, оптимизированных только под один точный запрос, менее эффективна. Такие страницы не смогут эффективно накапливать и переносить поведенческие сигналы в рамках кластера.
• Игнорирование юзабилити и вовлеченности: Если документ плохо работает (низкий CTR, короткие клики) по одному запросу, существует риск, что эти негативные значения признаков будут перенесены на похожие запросы, ухудшая ранжирование в рамках всего кластера.
• Разделение похожих интентов на разные страницы (Каннибализация): Создавая отдельные страницы для очень похожих запросов, вы размываете поведенческие сигналы. Лучше объединить их на одной сильной странице, которая аккумулирует ПФ по всему кластеру.

Стратегическое значение

Патент подтверждает стратегический курс Яндекса на холистическую оценку документа в контексте всего поискового поведения пользователей. Ранжирование перестает быть изолированной задачей для пары. Для SEO это означает, что долгосрочная стратегия должна фокусироваться на создании авторитетного контента, который стабильно демонстрирует высокие показатели вовлеченности по широкому спектру запросов в рамках своей тематики, создавая синергетический эффект благодаря механизму переноса признаков.

Практические примеры

Сценарий: Перенос CTR для нового или редкого запроса

1. Ситуация: У вас есть статья «Полное руководство по выбору треккинговых ботинок». Она хорошо ранжируется и имеет высокий исторический CTR (Признак F = 15%) по запросу «как выбрать ботинки для похода» (Прошлый Запрос, Qp1).
2. Новый запрос (Текущий Запрос, Q_new): Пользователь вводит редкий запрос «лучшая обувь для хайкинга в горах». Статистики по этому точному запросу нет (Признак F отсутствует).
3. Действие системы:
   • Система идентифицирует отсутствие Признака F.
   • Через Вектор Аннотации система находит Qp1.
   • Третий MLA определяет высокую текстовую схожесть (Параметр Сходства = 0.9) между Q_new и Qp1 (так как поведенческих данных для Q_new нет).
   • Система генерирует Признак F для нового запроса, основываясь на прошлом значении и схожести (например, агрегируя 15% с учетом веса 0.9).
4. Результат: Ваша статья получает высокий прогнозируемый CTR для нового запроса, что значительно повышает ее ранг в выдаче, опережая конкурентов, у которых нет такой положительной истории по схожим запросам.

Вопросы и ответы