Как Яндекс ранжирует свежий контент (изображения/видео) в 2D-выдаче без истории пользовательских взаимодействий

Описание

Какую задачу решает

Патент решает проблему «холодного старта» (cold start problem) для нового контента в поисковых системах, особенно в вертикалях с 2D-структурой выдачи (изображения, видео). Стандартные алгоритмы ранжирования полагаются на историю пользовательских взаимодействий. Новый, недавно просканированный контент (называемый Ненативные элементы) не имеет этой истории, поэтому стандартные алгоритмы не могут эффективно определить его релевантность и позицию в выдаче по сравнению со старым контентом (Нативные элементы). Патент предлагает механизм для оценки и ранжирования такого контента до накопления достаточной статистики.

Что запатентовано

Запатентована система и метод для определения оптимальных позиций Ненативных элементов в 2D-выдаче. Суть изобретения заключается в способе расчета Оценки полезности (Utility Score) нового элемента на конкретной позиции и обучении модели машинного обучения (Алгоритм прогнозирования оценки полезности) предсказывать эту оценку. Полезность рассчитывается на основе баланса между взаимодействиями с самим элементом (Win) и взаимодействиями с элементами, расположенными после него по горизонтали и вертикали (Loss).

Как это работает

Система работает в две фазы:

1. Фаза Обучения: Система искусственно внедряет ненативные элементы на разные позиции в стандартную выдачу и показывает пользователям. Затем она измеряет Оценку полезности, используя Функцию профицита (Surplus Function). Клик по новому элементу засчитывается как выигрыш (Win). Клик по элементам справа или снизу от него засчитывается как проигрыш (Loss), предполагая, что новый элемент был пропущен. На этих данных обучается Алгоритм прогнозирования оценки полезности (MLA).
2. Фаза Использования: Когда появляется новый ненативный элемент, обученный MLA прогнозирует его Оценку полезности на всех возможных позициях выдачи. Элемент вставляется на ту позицию, где прогнозируемая полезность максимальна.

Актуальность для SEO

Высокая. Проблема «холодного старта» критична для поисковых систем, особенно в вертикалях, где важна свежесть (новости, трендовые изображения). Описанный механизм использования поведенческих сигналов в реальном времени для оценки качества внедрения и последующего обучения предиктивной модели является стандартной практикой в современных рекомендательных и поисковых системах.

Важность для SEO

Влияние на SEO значительно (7/10), но специфично для вертикального поиска (Яндекс Картинки, Видео). Патент описывает конкретный механизм, позволяющий свежему контенту быстро занять высокие позиции, минуя необходимость длительного накопления статистики. Ключевым фактором успеха является немедленная вовлеченность (Win) и визуальное качество, которое не заставляет пользователя искать дальше (минимизация Loss). Для традиционного веб-поиска (текстовые документы в 1D-структуре) этот конкретный патент напрямую не применим, так как он жестко завязан на 2D-структуру выдачи и анализ горизонтальных/вертикальных соседей.

Детальный разбор

Термины и определения

Алгоритм прогнозирования оценки полезности (Utility Score Prediction Algorithm)

Алгоритм машинного обучения (MLA 304), обученный предсказывать Оценку полезности для ненативного элемента на конкретной ранжированной позиции с учетом факторов SERP.

Алгоритм ранжирования на основе пользовательских взаимодействий (User Interaction-based Ranking Algorithm)

Стандартный алгоритм ранжирования (MLA 302), который ранжирует Нативные элементы на основе накопленной истории взаимодействий.

Визуальная 2D структура (Visual 2D Structure)

Структура выдачи, организованная в виде сетки с рядами и колонками (например, выдача Яндекс Картинок). Позиция элемента определяется его рангом, размером и размером окна браузера.

Зона вертикальной близости (Zone of Vertical Proximity)

Область, используемая для определения вертикальных соседей. Для элемента это зона в следующем ряду, находящаяся строго под ним (между его горизонтальными границами). Элементы, перекрывающие эту зону, считаются вертикальными соседями.

Нативные элементы (Native Elements)

Элементы, для которых накоплено достаточное количество пользовательских взаимодействий. Они могут быть эффективно ранжированы стандартным алгоритмом.

Ненативные элементы (Non-native Elements)

Новые или редко показываемые элементы с ограниченной историей пользовательских взаимодействий. Стандартный алгоритм не может их эффективно ранжировать.

Оценка полезности (Utility Score)

Метрика, рассчитываемая для ненативного элемента на конкретной позиции. Отражает баланс между положительными взаимодействиями с элементом и отрицательными взаимодействиями (кликами по соседям справа/снизу).

Функция профицита (Surplus Function)

Формула для расчета Оценки полезности: взвешенная сумма выигрышей (Win) и проигрышей (Loss).

Ключевые утверждения (Анализ Claims)

Патент защищает метод интеграции нового контента в ранжирование путем прогнозирования его полезности на основе анализа взаимодействий с геометрическими соседями в 2D-выдаче.

Claim 1 (Независимый пункт): Описывает полный цикл работы системы (Фаза Обучения и Фаза Использования).

Фаза Обучения:

1. Система получает взаимодействия с SERP, где Ненативные элементы были искусственно внедрены в список Нативных элементов.
2. Важно: Элементы структурированы в Визуальную 2D структуру (сетку).
3. Для каждого ненативного элемента рассчитывается Оценка полезности. Расчет включает анализ взаимодействий с: (i) самим элементом; (ii) элементами, горизонтально структурированными *после* него; (iii) элементами, вертикально структурированными *после* него.
4. Система ранжирования (MLA) обучается прогнозировать эту Оценку полезности, используя ранжированный список и факторы SERP (размеры окна, размеры элементов) как признаки.

Фаза Использования:

1. В ответ на новый запрос генерируется список нативных элементов.
2. Обученная система определяет оптимальную позицию для ненативного элемента на основе прогнозов полезности.
3. Ненативный элемент внедряется на эту оптимальную позицию.

Claims 14-16 (Зависимые пункты): Определяют механику расчета Оценки полезности.

1. Взаимодействия с самим ненативным элементом считаются положительными (Win).
2. Взаимодействия с горизонтальными и вертикальными соседями *после* него считаются отрицательными (Loss).
3. Оценка полезности является взвешенной суммой (например, с использованием Функции профицита).

Claims 9, 11-12 (Зависимые пункты): Определяют, какие элементы считаются соседями.

1. Горизонтальный сосед: элемент, находящийся сразу после (например, справа).
2. Вертикальный сосед: определяется через Зону вертикальной близости — область в следующем ряду строго под элементом. Любой элемент, перекрывающий эту зону, является соседом.

Claims 10, 13 (Зависимые пункты): Описывают обработку Визуальных групп (когда несколько ненативных элементов расположены рядом).

Где и как применяется

Изобретение применяется в системах поиска, где результаты представлены в виде Визуальной 2D структуры (сетки), таких как Яндекс Картинки или Яндекс Видео.

CRAWLING – Сканирование и Сбор данных
Система сбора данных (Scraper) постоянно находит новые элементы. Эти элементы помечаются как Ненативные из-за отсутствия истории взаимодействий,.

INDEXING – Индексирование и извлечение признаков
Извлекаются присущие элементу характеристики (размер, цветовая схема, компьютерное зрение, новизна), которые хранятся в базе данных и используются для первичного отбора кандидатов.

RANKING – Ранжирование
На этом этапе происходит основная работа патента.

1. Отбор кандидатов: Выбираются обще-релевантные нативные и ненативные элементы.
2. Ранжирование нативных элементов: Стандартный алгоритм (Алгоритм ранжирования на основе пользовательских взаимодействий, 302) ранжирует нативные элементы.
3. Определение позиции ненативных элементов (Фаза Использования): Алгоритм прогнозирования оценки полезности (304) используется для определения оптимальной позиции внедрения ненативных элементов. Он принимает на вход ранжированный список нативных элементов и факторы SERP (размер окна, размеры элементов) и предсказывает Оценку полезности для разных позиций.

BLENDER – Метапоиск и Смешивание (Генерация SERP)
Ненативный элемент внедряется на позицию с максимальной прогнозируемой полезностью. Система генерации SERP формирует финальную Визуальную 2D структуру, учитывая ранги, размеры элементов и размер окна браузера.

На что влияет

• Конкретные типы контента: Патент явно указывает на применение к элементам-изображениям и элементам-видео. Он не применим к стандартной 1D веб-выдаче.
• Свежесть контента: Алгоритм напрямую влияет на ранжирование свежего, недавно просканированного контента, решая проблему «холодного старта».
• Специфические запросы: Механизм может быть особенно активен для трендовых или новостных запросов, где пользователи заинтересованы в самом новом контенте (например, запрос о недавнем событии).

Когда применяется

Алгоритм применяется при выполнении поискового запроса, если среди обще-релевантных результатов присутствуют Ненативные элементы.

• Триггеры активации: Наличие релевантных ненативных элементов в индексе. Также может активироваться, если запрос идентифицирован как трендовый (часто вводился в последнее время), что повышает вероятность интереса пользователя к новым элементам.
• Частота применения: Постоянно в фазе использования для ранжирования. Фаза обучения также происходит непрерывно, собирая данные из взаимодействий с искусственно внедренными элементами.

Пошаговый алгоритм

Система работает в двух параллельных процессах: Обучение модели и Использование модели.

Процесс А: Фаза Обучения (Сбор данных и расчет Оценки Полезности)

1. Ранжирование и Внедрение: В ответ на запрос система ранжирует нативные элементы и искусственно внедряет ненативные элементы на выбранные (например, случайные) позиции.
2. Генерация SERP: Формируется Визуальная 2D структура (сетка) на основе рангов и факторов SERP (размеры элементов/окна).
3. Сбор Взаимодействий: Система собирает данные о кликах пользователя на SERP.
4. Расчет Оценки Полезности: Для каждого ненативного элемента рассчитывается Оценка полезности:
   1. Анализ взаимодействий с самим элементом (Win).
   2. Анализ взаимодействий с горизонтальными соседями *после* него (Loss). Это обычно элемент сразу справа.
   3. Анализ взаимодействий с вертикальными соседями *после* него (Loss). Определяется через Зону вертикальной близости (элементы в следующем ряду строго под ним).
   4. Применение Функции профицита: $Surplus = a \cdot Win + b \cdot Loss$.
5. Обучение Модели: Алгоритм прогнозирования оценки полезности (MLA 304) обучается предсказывать рассчитанную Оценку полезности, используя характеристики элемента, его позицию и факторы SERP как признаки.

Процесс Б: Фаза Использования (Ранжирование в реальном времени)

1. Получение Запроса: Система получает запрос и факторы SERP (например, размер окна).
2. Ранжирование Нативных Элементов: Стандартный алгоритм (302) создает ранжированный список нативных элементов.
3. Прогнозирование Полезности: Для релевантного ненативного элемента обученный MLA (304) прогнозирует Оценку полезности для *каждой* возможной позиции внедрения в список.
4. Определение Оптимальной Позиции: Выбирается позиция, обеспечивающая максимальную прогнозируемую Оценку полезности,.
5. Внедрение и Выдача: Ненативный элемент внедряется на оптимальную позицию, формируется финальная SERP.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важны для Фазы Обучения. Используются клики (выбор), долгие клики, наведение курсора. Эти данные определяют Win и Loss для расчета Оценки полезности.
• Контентные (Присущие элементу характеристики): Используются для первичного отбора и как признаки для MLA 304. Включают: размер элемента, цветовую схему, наличие объектов (компьютерное зрение), тип элемента, ресурс (источник).
• Временные факторы: Параметр новизны (время с момента сканирования). Используется для идентификации ненативных элементов.
• Контекстные факторы (Факторы SERP): Используются для определения визуальной структуры и как признаки для MLA 304. Включают:
  • Факторы запроса (например, частота вводов за последнее время/трендовость).
  • Размер окна браузерного приложения.
  • Размеры визуальных элементов.

Какие метрики используются и как они считаются

• Оценка полезности (Utility Score): Основная метрика патента. Рассчитывается для ненативных элементов во время Фазы Обучения.
• Функция профицита (Surplus Function): Метод расчета Оценки полезности:

  $Surplus(win, loss) = a \cdot win + b \cdot loss$

  Где $a$ и $b$ — весовые коэффициенты (причем $b$ обычно имеет обратный знак по сравнению с $a$. Например, $a=1, b=-1.4$).

• Win (Выигрыш): Определяется положительными взаимодействиями. В основном, это клики по самому ненативному элементу.
• Loss (Проигрыш): Определяется отрицательными взаимодействиями. Это клики по элементам, расположенным горизонтально или вертикально *после* ненативного элемента. Это сигнализирует о том, что пользователь пропустил ненативный элемент.
• Алгоритмы машинного обучения: Используются два MLA. Стандартный (302) для ранжирования нативных элементов и Предиктивный (304), который обучается прогнозировать Оценку полезности.

Выводы

1. Решение проблемы «холодного старта» для 2D-выдачи: Патент предлагает конкретный механизм для ранжирования нового контента (изображений/видео) без истории кликов, позволяя ему быстро конкурировать с устоявшимся контентом.
2. Полезность определяется через Win/Loss (Профицит): Ключевая инновация — это расчет Оценки полезности. Она зависит не только от кликов по элементу (Win), но и от того, не приводит ли его показ к кликам по соседям справа и снизу (Loss). Это оценка качества внедрения элемента на конкретную позицию.
3. Геометрия выдачи имеет значение: Ранжирование в 2D-сетке сильно зависит от визуального контекста (размера элемента, размера окна, расположения соседей). Система явно моделирует это через Зону вертикальной близости и анализ горизонтальных соседей.
4. Двухфазный подход (Обучение/Использование): Яндекс использует реальные пользовательские данные, полученные через искусственное внедрение, для обучения предиктивной модели (MLA 304). В продакшене используется эта модель для определения оптимальной позиции без необходимости случайных внедрений для каждого нового элемента.
5. Специфичность для вертикалей: Метод жестко привязан к 2D-структуре и не применим напрямую к стандартному веб-поиску (1D-список).

Практика

Best practices (это мы делаем)

Эти рекомендации применимы строго к SEO для вертикалей с 2D-выдачей (Яндекс Картинки, Видео).

• Максимизация немедленной вовлеченности (Win): Создавайте визуально привлекательный, понятный и релевантный контент. Превью (thumbnail) должно максимально точно отражать содержание и мотивировать пользователя кликнуть на него, а не на соседние элементы. Это напрямую увеличивает Оценку полезности.
• Оптимизация под свежесть и тренды: Поскольку система предназначена для быстрого ранжирования нового контента, оперативно публикуйте высококачественные визуальные материалы по актуальным событиям. Система может отдавать предпочтение новому контенту по трендовым запросам.
• Обеспечение технического качества и доступности: Убедитесь, что изображения и видео быстро загружаются и корректно индексируются. Их характеристики (например, размер) используются как признаки для MLA.
• Оптимизация метаданных для первичной релевантности: Хотя патент фокусируется на ранжировании без поведенческой истории, контент должен сначала пройти порог общей релевантности, чтобы попасть в кандидаты. Используйте релевантные заголовки, описания, alt-тексты и имена файлов.

Worst practices (это делать не надо)

• Низкое визуальное качество и нерелевантные превью: Изображения или превью видео, которые непонятны, имеют низкое качество или не соответствуют запросу, будут проигнорированы пользователями. Это приведет к кликам по соседним элементам, максимизируя Loss и снижая Оценку полезности.
• Игнорирование вертикального поиска: Пренебрежение оптимизацией изображений и видео лишает сайт трафика из вертикалей, где свежий контент может ранжироваться быстрее, чем в веб-поиске.

Стратегическое значение

Патент подчеркивает, что для вертикального поиска в Яндексе немедленное поведение пользователя на выдаче является ключевым сигналом для оценки качества нового контента. Это демонстрирует сложный подход к ранжированию, который учитывает не только сам элемент, но и его визуальный контекст и влияние на взаимодействие с другими элементами на SERP. Стратегически это означает, что в Image/Video SEO визуальное качество и привлекательность контента имеют первостепенное значение для быстрого набора видимости.

Практические примеры

Сценарий: Ранжирование нового изображения для трендового события

1. Событие: Происходит важное спортивное событие.
2. Действие SEO/Контент-менеджера: Вы оперативно публикуете высококачественную, эмоциональную фотографию ключевого момента матча с оптимизированными метаданными.
3. Действие Яндекса (Фаза Использования): Яндекс индексирует изображение и определяет его как Ненативный элемент. Запрос трендовый. Алгоритм прогнозирования оценки полезности (304) предсказывает высокую Оценку полезности для позиции в первом ряду, так как характеристики изображения (новизна, качество, релевантность) соответствуют паттернам, которые исторически генерировали много Win и мало Loss.
4. Результат: Изображение внедряется на высокую позицию в Яндекс Картинках.
5. Дальнейшее поведение: Если пользователи активно кликают на ваше изображение (Win), а не на соседей (Loss), его Оценка полезности подтверждается, и оно быстрее становится Нативным элементом с высоким рангом. Если его игнорируют (много Loss), его позиции упадут.

Вопросы и ответы