Как Google обеспечивает разнообразие выдачи (Diversity), принудительно понижая результаты с повторяющимися признаками (домен, автор, тема)

Описание

Какую задачу решает

Патент решает проблему «скученности» (crowding) однотипного контента в ранжированном списке результатов. Стандартные алгоритмы ранжирования могут привести к ситуации, когда верхние позиции заняты ресурсами с одинаковыми признаками (Features) – например, с одного сайта, от одного автора или посвященные одной узкой подтеме. Изобретение призвано обеспечить разнообразие (Diversity) выдачи по заданным признакам.

Что запатентовано

Запатентована система корректировки ранжирования, которая итеративно обрабатывает предварительно отсортированный список результатов. Система не изменяет базовые оценки релевантности, а переупорядочивает результаты на основе их Ordinal Positions (порядковых позиций) и определенных признаков. Цель – гарантировать минимальное расстояние между результатами, обладающими одинаковыми признаками.

Как это работает

Механизм работает как система переранжирования (Re-Ranking Engine):

• Инициализация: Результат на первой позиции фиксируется (Finalized Ranking). Система отслеживает его признаки (например, Домен А).
• Итерация: Система проверяет следующий результат.
• Проверка признаков: Если следующий результат имеет тот же признак (Домен А), система вычисляет позицию понижения (Demoted Ordinal Position).
• Расчет понижения: Используется Demotion Value (значение понижения), заданное для этого признака. Если для Домена А значение равно 5, то следующий результат от Домена А не может появиться выше позиции 1+5=6.
• Действие: Результат либо смещается на позицию понижения (если она ниже текущей), либо фиксируется на текущей позиции (если он уже удовлетворяет условию).
• Обновление: При фиксации результата система обновляет позицию последнего появления его признаков. Процесс повторяется до конца списка.

Актуальность для SEO

Высокая. Обеспечение разнообразия выдачи (Diversity) является постоянной задачей поисковых систем для улучшения пользовательского опыта. Этот патент описывает конкретный алгоритмический подход к предотвращению доминирования одних и тех же источников (Site Diversity) или авторов, что особенно актуально в контексте органического поиска, Google News и рекомендательных систем (Google Discover).

Важность для SEO

Патент имеет высокое значение (8/10) для понимания формирования ТОП-10. Он описывает механизм, который напрямую влияет на Site Diversity. Если сайт занимает позицию №1, этот алгоритм может принудительно понизить другие страницы этого же сайта (или страницы с похожими признаками) на несколько позиций вниз, освобождая место для другого контента, даже если его базовая релевантность ниже. Это критически важно при стратегиях кластеризации контента и попытках занять несколько позиций в топе.

Детальный разбор

Термины и определения

Demoted Ordinal Position (DOP) (Пониженная порядковая позиция)

Новая позиция в ранжировании, на которую перемещается ресурс, если он подвергается понижению из-за наличия общего признака с ранее зафиксированным ресурсом.

Demotion Value (DV) / Feature Demotion Value (FDV) (Значение понижения)

Числовое значение, присваиваемое конкретному признаку (Feature). Определяет минимальное количество позиций, на которое должен быть смещен вниз следующий ресурс с этим же признаком.

Feature (Признак)

Идентифицируемый атрибут ресурса. Примеры, упомянутые в патенте: Author feature (автор), Source feature (источник/домен), Topic features (тема/категория), Video features (тип контента).

Finalized Ranking (Фиксированное ранжирование)

Статус ресурса, чья позиция в итоговом списке определена и больше не будет изменена в рамках данного алгоритма.

First Rank Value (FRV) (Первоначальная оценка ранжирования)

Оценка (например, релевантности), полученная от основного поискового движка (Search Engine). Определяет первоначальный порядок ресурсов и используется для разрешения конфликтов (tie-breaking).

Ordinal Position (Порядковая позиция)

Позиция ресурса в ранжированном списке (1-й, 2-й, 3-й и т.д.). Используется как основа для корректировок вместо First Rank Value.

Re-Ranking Engine (Механизм переранжирования)

Компонент поисковой системы, отвечающий за корректировку первоначального порядка результатов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной итеративный метод корректировки ранжирования на основе признаков.

1. Система получает набор ресурсов, упорядоченных по Ordinal Positions (на основе First Rank Value), и список признаков (Feature list) для каждого.
2. Определяется, что один ресурс (обычно первый) имеет Finalized Ranking, а остальные – нет.
3. Система отслеживает particular ordinal position (например, самую последнюю/ближайшую к топу) для каждого признака, который уже встречался в ресурсах с Finalized Ranking.
4. Система итеративно выбирает ресурсы без Finalized Ranking в порядке их текущих позиций.
5. Для каждого выбранного ресурса принимается решение: фиксировать ранг или понизить (demote).
6. Если понизить: Ресурс перемещается на Demoted Ordinal Position. Эта позиция рассчитывается относительно позиции другого ресурса, который уже имеет Finalized Ranking и обладает тем же признаком.
7. Если фиксировать: Ранжирование ресурса фиксируется на позиции, следующей за последним зафиксированным ресурсом. После этого обновляются отслеживаемые позиции для признаков этого ресурса.

Claim 6 (Зависимый): Детализирует механизм принятия решения о понижении.

1. Определяется текущая Ordinal Position ресурса.
2. Вычисляются значения корректировки ранга (rank adjustment values, т.е. Demotion Values) для признаков ресурса, которые совпадают с признаками уже зафиксированных ресурсов.
3. Для каждого такого признака вычисляется потенциальная Demoted Ordinal Position (DOP) на основе Demotion Value и позиции зафиксированного ресурса.
4. Ранг фиксируется, если текущая Ordinal Position ресурса ниже (т.е. дальше от начала списка), чем все вычисленные DOP.
5. Ресурс понижается до самой низкой (наиболее удаленной от топа) из вычисленных DOP, если его текущая позиция выше хотя бы одной из них.

Claim 7 (Зависимый): Описывает разрешение конфликтов (tie-breaking).

Если несколько ресурсов понижены до одной и той же Demoted Ordinal Position, их порядок относительно друг друга сохраняется на основе их первоначальных First Rank Values. Более релевантный ресурс будет выше.

Claim 8 (Зависимый): Утверждает, что Demotion Value для разных признаков может отличаться (персонализированный контроль разнообразия).

Где и как применяется

Изобретение применяется на финальных этапах обработки поискового запроса для обеспечения разнообразия выдачи.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна идентифицировать и сохранить признаки (Features) для каждого ресурса (автор, домен, основная сущность, формат). Эти данные сохраняются в хранилище Feature Information.

RANKING – Ранжирование
Основной поисковый движок (Search Engine) генерирует первоначальный набор результатов, отсортированный по First Rank Value (релевантности).

RERANKING – Переранжирование (Twiddlers)
Основное место применения патента. Механизм переранжирования (Re-Ranking Engine) выступает как «Твидлер разнообразия» (Diversity Twiddler).

• Входные данные: Первоначальный список ресурсов с их First Rank Values и Feature lists; набор Demotion Values для признаков.
• Процесс: Алгоритм итеративно фиксирует позиции одних ресурсов и понижает другие на основе совпадения признаков и заданных Demotion Values.
• Выходные данные: Финальный список ресурсов (SERP), переупорядоченный для обеспечения разнообразия.

На что влияет

• Конкретные типы контента и источники: Влияет на любой контент, где важно разнообразие. В веб-поиске это напрямую влияет на Site Diversity (разнообразие доменов) и Author Diversity (разнообразие авторов). Патент также упоминает контекст социальных сетей (предотвращение показа множества постов от одного пользователя подряд).
• Специфические запросы: Наибольшее влияние оказывается на запросы, где один источник или автор обладает множеством высокорелевантных страниц (например, брендовые или широкие информационные запросы).

Когда применяется

Алгоритм применяется, когда поисковая система стремится обеспечить разнообразие выдачи по определенным критериям (признакам).

• Условия работы: Наличие предварительно ранжированного списка и определенных признаков с заданными Demotion Values.
• Триггеры активации: Алгоритм обрабатывает список итеративно; понижение происходит только при совпадении признаков у близко расположенных результатов, если расстояние между ними меньше заданного Demotion Value.

Пошаговый алгоритм

Процесс переранжирования списка ресурсов для обеспечения разнообразия признаков.

1. Получение данных: Система получает набор ресурсов, упорядоченный по First Rank Value (FRV), и список признаков (Features) для каждого. Также известны Demotion Values (DV) для каждого признака.
2. Инициализация: Ресурс на первой позиции автоматически получает статус Finalized Ranking (Позиция 1).
3. Инициализация трекинга признаков: Для каждого признака первого ресурса система запоминает его последнюю фиксированную позицию (изначально 1).
4. Начало итерации: Система выбирает следующий ресурс в текущем списке, который еще не имеет Finalized Ranking.
5. Расчет Пониженной Порядковой Позиции (DOP): Система вычисляет потенциальную позицию понижения для выбранного ресурса.
   • Для каждого признака (F) выбранного ресурса проверяется, был ли этот признак уже зафиксирован ранее.
   • Если да, вычисляется целевая позиция: $\text{Последняя Фиксированная Позиция}(F) + \text{Demotion Value}(F)$.
   • DOP определяется как Максимум из всех вычисленных целевых позиций и текущей порядковой позиции ресурса.
6. Принятие решения (Понизить или Фиксировать):
   • Если DOP > Текущая Порядковая Позиция: Ресурс понижается (перемещается) на позицию DOP. Алгоритм возвращается к шагу 4 (выбирается следующий ресурс в новом порядке).
   • Если DOP <= Текущая Порядковая Позиция: Ресурс получает Finalized Ranking на текущей позиции (которая является следующей доступной фиксированной позицией).
7. Обновление трекинга признаков: Если ранг ресурса был фиксирован на шаге 6, система обновляет последнюю фиксированную позицию для всех его признаков.
8. Разрешение конфликтов: Если несколько ресурсов были понижены до одной и той же DOP, их относительный порядок определяется их изначальными First Rank Values (FRV).
9. Завершение: Процесс повторяется (шаги 4-8), пока все ресурсы не получат Finalized Ranking.

Какие данные и как использует

Данные на входе

Патент фокусируется на механизме переранжирования и использует следующие входные данные:

• Системные данные (Результаты Ранжирования): Предварительно отсортированный список ресурсов. Используется First Rank Value (FRV) для определения начального порядка и разрешения конфликтов.
• Контентные/Структурные/Технические факторы (Признаки): Feature list для каждого ресурса. Это могут быть любые идентифицируемые атрибуты. Патент явно упоминает:
  • Author feature (Автор ресурса).
  • Topic features (Темы, к которым отнесен ресурс).
  • Video features (Наличие видео / Тип контента).
  • Source feature (Источник, веб-сайт/домен).

Какие метрики используются и как они считаются

• Ordinal Position (Порядковая позиция): Позиция ресурса в списке (1, 2, 3…). Основная переменная алгоритма.
• Demotion Value (DV) / FDV: Предопределенное значение для каждого признака. Задается извне (например: DV(Домен)=5, DV(Автор)=3).
• Demoted Ordinal Position (DOP): Вычисляемая метрика для определения новой позиции ресурса.

Основная формула расчета DOP: Рассчитывается как максимум из текущей позиции и всех потенциальных позиций понижения. Формула для ресурса R:

$DOP(R) = Max(\text{ТекущаяПозиция}(R), (\text{Позиция}(F_i) + DV(F_i)) \text{ для всех } F_i)$DV(Fi​)) для всех Fi​)

Где Позиция(Fi) — это последняя фиксированная позиция, на которой встречался признак Fi.

Альтернативная формула DOP: Патент также описывает вариант, где DOP может зависеть от всех предыдущих позиций признака, а не только последней. Например, формула, учитывающая частоту появления признака (Cardinality):

$DOP = Max(\{R\}) + Card(\{R\}) + FDV$

Где {R} — набор всех позиций, где признак уже встречался. Это означает, что чем чаще признак появляется, тем агрессивнее он будет понижаться в дальнейшем.

Выводы

1. Обеспечение разнообразия через позиционное понижение: Патент описывает конкретный алгоритм для обеспечения разнообразия (Diversity). Он предотвращает доминирование результатов с одинаковыми признаками (Features) в топе выдачи.
2. Корректировка позиций, а не оценок релевантности: Ключевой особенностью является то, что алгоритм работает с порядковыми позициями (Ordinal Positions), а не с оценками релевантности (First Rank Values). Он не понижает «качество» ресурса, а физически перемещает его вниз по списку.
3. Настраиваемое разнообразие: Система позволяет явно контролировать степень разнообразия для каждого признака с помощью Demotion Value. Можно установить строгое разнообразие для доменов (большое DV) и более мягкое для тем (маленькое DV).
4. Итеративный и зависимый процесс: Понижение ресурса зависит от того, где в последний раз был зафиксирован совпадающий признак. Решения, принятые для верхних результатов, напрямую влияют на ранжирование нижних.
5. Механизм Site и Author Diversity: Этот алгоритм является технической реализацией того, как Google обеспечивает разнообразие сайтов и авторов в SERP, гарантируя, что один источник не займет слишком много позиций подряд.

Практика

Best practices (это мы делаем)

• Стратегия одного главного документа (Pillar Page): Поскольку механизм Site Diversity (реализованный этим алгоритмом) активно препятствует занятию нескольких позиций подряд одним доменом, стратегически выгоднее фокусировать усилия на продвижении одной, максимально сильной страницы по кластеру запросов, вместо создания множества конкурирующих страниц.
• Диверсификация авторства (Author Diversity): Если авторство является значимым признаком (Feature) в вашей нише (особенно YMYL или новостной контент), обеспечьте разнообразие авторов для разных статей. Это снижает риск того, что статьи одного автора будут принудительно понижены из-за «скученности».
• Анализ признаков SERP: При анализе выдачи обращайте внимание на разнообразие доменов, типов контента и основных сущностей. Если выдача уже насыщена одним типом признака, шансы попасть туда с тем же признаком снижаются, если только ваша базовая релевантность не является исключительно высокой (позиция 1).
• Оптимизация под Google Discover и Ленты: Патент упоминает применение в лентах (feeds/social network page). Для успеха в Discover критически важно разнообразие контента и тематик на сайте, так как система рекомендаций будет стремиться избежать показа пользователю подряд нескольких статей с одного сайта или на одну и ту же узкую тему.

Worst practices (это делать не надо)

• Попытки занять ТОП-5 одним доменом по одному запросу: Создание нескольких страниц, оптимизированных под один и тот же интент. Алгоритм Diversity активно борется с этим. Если одна страница займет позицию 1, следующая будет принудительно смещена вниз на Demotion Value (например, на позицию 4-6).
• Использование одного автора для всего контента: Если весь экспертный контент публикуется от имени одного человека (или «редакции»), это увеличивает риск активации Author Diversity фильтра, ограничивая общую видимость сайта.
• Каннибализация контента без дифференциации признаков: Наличие нескольких страниц с высоким First Rank Value по одному запросу не гарантирует занятия нескольких мест в топе; вместо этого они создают ситуацию, в которой система применит понижение ко всем страницам, кроме лучшей, если они имеют одинаковые признаки.

Стратегическое значение

Патент подтверждает, что разнообразие выдачи (Diversity) является отдельной целью, для достижения которой используются специализированные алгоритмы переранжирования (Twiddlers) на этапе RERANKING. Он демонстрирует, что финальный вид SERP определяется не только релевантностью, но и структурными правилами компоновки выдачи. Для SEO-специалистов это подчеркивает важность построения стратегии вокруг уникального ценностного предложения и диверсификации контента (по авторам, форматам и подтемам), а также снижает эффективность тактик, направленных на монополизацию выдачи.

Практические примеры

Сценарий: Применение Site Diversity в SERP

Анализируется запрос «купить страхование путешественников». Google определяет, что «Домен» (Source) является ключевым признаком для разнообразия, и устанавливает Demotion Value (DV) = 3.

1. Исходное ранжирование (по First Rank Value):
   #1 Сайт А (Страница 1)
   #2 Сайт А (Страница 2)
   #3 Сайт Б
   #4 Сайт В
   #5 Сайт А (Страница 3)
2. Итерация 1: #1 Сайт А (Стр. 1) фиксируется. Трекинг: Домен А был на позиции 1.
3. Итерация 2: Анализ #2 Сайт А (Стр. 2). Признак совпадает (Домен А). Расчет DOP: Позиция(А) + DV = 1 + 3 = 4. DOP (4) > Текущая позиция (2). Понижение до позиции 4.
4. Итерация 3: Анализ следующего нефиксированного ресурса (Сайт Б). Признак (Домен Б) не совпадал. Фиксируется на позиции 2. Трекинг: Домен Б был на позиции 2.
5. Итерация 4: Анализ следующего нефиксированного ресурса (Сайт В). Признак (Домен В) не совпадал. Фиксируется на позиции 3. Трекинг: Домен В был на позиции 3.
6. Итерация 5: Анализ Сайт А (Стр. 2) (который был понижен до 4). Фиксируется на позиции 4. Трекинг обновлен: Домен А был на позиции 4.
7. Итерация 6: Анализ Сайт А (Стр. 3). Признак совпадает (Домен А). Расчет DOP: Позиция(А) + DV = 4 + 3 = 7. Понижение до позиции 7.
8. Итоговое ранжирование:
   #1 Сайт А (Страница 1)
   #2 Сайт Б
   #3 Сайт В
   #4 Сайт А (Страница 2)
   …
   #7 Сайт А (Страница 3)

Вопросы и ответы