Close Menu

    Как Яндекс приоритизирует индексацию свежего контента, предсказывая его будущую полезность

    METHOD AND SERVER FOR INDEXING WEB PAGE IN INDEX (Метод и сервер для индексирования веб-страницы в индексе)
    2020 Индексация Метрики качества поиска Патенты Яндекс Свежесть контента

    Яндекс использует систему приоритизации (Triage Server) для управления индексацией. Сразу после сканирования страницы система предсказывает ее будущую полезность как «свежего» результата (Importance Score) на основе доступных разреженных данных. Если оценка высока, страница попадает в очередь на индексацию в реальном времени; если низка — в отложенную очередь. Порог для попадания в быструю очередь динамически регулируется в зависимости от нагрузки на дата-центр.

    Описание

    Какую задачу решает

    Патент решает проблему ограниченности вычислительных ресурсов для индексации всего веба в реальном времени. Существует необходимость приоритизировать индексацию контента, который наиболее полезен пользователям именно в момент его появления (например, срочные новости), и откладывать менее срочный контент. Изобретение позволяет сократить время между созданием контента и его появлением в индексе для важных документов, одновременно управляя нагрузкой на инфраструктуру индексации.

    Что запатентовано

    Запатентованы метод и сервер (Triage Server) для селективной приоритизации индексации. Суть изобретения заключается в использовании алгоритма машинного обучения (MLA), обученного предсказывать будущую полезность страницы (Importance Score) как «свежего» результата поиска. Это предсказание делается на основе разреженных (sparse) или «недавних» данных (recent data), доступных сразу после сканирования страницы, до ее фактической индексации и сбора поведенческой статистики.

    Как это работает

    Когда краулер обнаруживает новую или обновленную страницу, Triage Server анализирует доступные на этот момент данные (например, время создания, тип контента, входящие ссылки). Эти данные подаются на вход MLA, который генерирует Importance Score — оценку будущей полезности страницы. Эта оценка сравнивается с динамическим порогом (Triage Threshold), который зависит от текущей нагрузки на дата-центр. Если оценка выше порога, страница добавляется в очередь на индексацию в реальном времени (Real-time indexing queue). Если ниже — в очередь отложенной индексации (Postponed indexing queue).

    Актуальность для SEO

    Высокая. Управление скоростью индексации и свежестью индекса (Quick Index/Freshness) является критически важным аспектом современных поисковых систем, особенно для обработки новостей, трендов и событий в реальном времени. Описанный механизм интеллектуального управления очередями индексации крайне актуален.

    Важность для SEO

    Влияние на SEO значительно (7/10). Патент напрямую влияет на то, как быстро контент попадает в индекс. Это критически важно для новостных сайтов, событийного контента и высококонкурентных ниш, где скорость имеет значение. Патент подчеркивает важность ранних сигналов авторитетности и релевантности, которые система может интерпретировать как предикторы будущей полезности еще до того, как страница начнет ранжироваться.

    Детальный разбор

    Термины и определения

    Importance Score (Оценка важности)
    Оценка, генерируемая MLA для веб-страницы на основе недавних данных. Она указывает на прогнозируемую полезность (usefulness) страницы как результата поиска, в частности, как «свежего» результата поиска (fresh search result).
    LBA (Load Balancing Algorithm / Алгоритм балансировки нагрузки)
    Алгоритм, используемый Triage Server для мониторинга доступной вычислительной мощности дата-центра и динамической регулировки Triage Threshold.
    MLA (Machine Learning Algorithm / Алгоритм машинного обучения)
    Алгоритм, используемый Triage Server для генерации Importance Score. Он обучается предсказывать будущую полезность страницы на основе данных, доступных сразу после сканирования.
    Postponed indexing queue (Очередь отложенной индексации)
    Очередь для страниц, чей Importance Score оказался ниже Triage Threshold. Эти страницы будут проиндексированы позже.
    Real-time indexing queue (Очередь индексации в реальном времени)
    Приоритетная очередь для страниц, чей Importance Score превысил Triage Threshold. Эти страницы индексируются немедленно.
    Recent Data / Sparse Data (Недавние данные / Разреженные данные)
    Данные, связанные со страницей, доступные сразу после ее сканирования (момент времени T1). Это ограниченный набор данных (например, время создания, ссылки, тип контента), поскольку данные о взаимодействии пользователей еще не собраны.
    Triage Server (Сервер сортировки)
    Сервер, который выполняет метод приоритизации. Он запускает Crawler, MLA и LBA для принятия решения о том, когда индексировать страницу.
    Triage Threshold (Порог сортировки)
    Пороговое значение, с которым сравнивается Importance Score для определения очереди индексации. Этот порог динамически регулируется с помощью LBA в зависимости от нагрузки на систему.

    Ключевые утверждения (Анализ Claims)

    Патент описывает систему управления очередью индексации, которая использует машинное обучение для прогнозирования ценности контента.

    Claim 1 (Независимый пункт): Описывает основной процесс.

    1. Система идентифицирует recent data, связанные со страницей, с помощью краулера.
    2. Система генерирует Importance Score (указывающий на полезность) с помощью MLA.
    3. Критически важно: MLA обучен на тренировочном наборе, который включает: (i) тренировочный вектор, представляющий данные о тренировочной странице в первый момент времени (T1), и (ii) метку (label), указывающую на полезность этой страницы, основанную на данных во второй момент времени (T2), где T2 позже T1.
    4. Система выборочно добавляет страницу в (i) Real-time indexing queue или (ii) Postponed indexing queue на основе сравнения Importance Score и Triage Threshold.

    Claim 4 (Зависимый от 1): Уточняет природу оценки.

    • Importance Score указывает на полезность веб-страницы именно как «свежего» результата поиска (fresh search result). Это подчеркивает фокус системы на приоритизации актуального контента.

    Claim 5 (Зависимый от 1): Уточняет входные данные для обучения.

    • Тренировочный вектор основан на «разреженных данных» (sparse data), доступных в первый момент времени (T1). Это подтверждает, что система учится делать прогнозы на основе ограниченной информации.

    Claim 12 (Зависимый): Описывает исключение для новых страниц.

    • Если страница является новой (new web page), ее Importance Score может быть взвешен (фактически, искусственно повышен), чтобы гарантировать, что он превысит Triage Threshold, и страница попадет в очередь реального времени.

    Claims 14, 15, 16 (Зависимые от 1): Описывают механизм балансировки нагрузки.

    • Triage Server использует LBA для определения доступной вычислительной мощности для индексации в реальном времени.
    • Triage Threshold зависит от этой доступной мощности.
    • Если доступная мощность изменяется, Triage Threshold корректируется. Это делает систему динамической и адаптивной к нагрузке.

    Где и как применяется

    Изобретение применяется на стыке этапов сканирования и индексации.

    CRAWLING – Сканирование и Сбор данных
    Краулер (Crawler application), работающий на Triage Server, обнаруживает и скачивает новую или обновленную страницу. На этом этапе собираются Recent Data.

    INDEXING – Индексирование и извлечение признаков
    Перед тем как страница будет фактически проиндексирована (добавлена в индекс), Triage Server выполняет оценку и приоритизацию. Он взаимодействует с MLA для прогнозирования и с LBA для определения порога. На выходе система направляет страницу в соответствующую очередь индексации (реального времени или отложенную), которая затем обрабатывается инфраструктурой дата-центра (Datacenter system).

    Входные данные:

    • Recent Data (разреженные данные) скачанной веб-страницы.
    • Информация о текущей загрузке и доступной мощности дата-центра (используется LBA).

    Выходные данные:

    • Importance Score для страницы.
    • Решение о направлении страницы в Real-time indexing queue или Postponed indexing queue.

    На что влияет

    • Конкретные типы контента: Наибольшее влияние оказывается на «свежий» (fresh) контент, полезность которого быстро падает со временем (например, новости, погода). Меньшее влияние на «застойный» (stagnant) или вечнозеленый контент (например, историческая литература, статьи в Википедии), чья полезность стабильна во времени.
    • Конкретные ниши или тематики: Критическое влияние на новостные СМИ, сайты, освещающие события в реальном времени, и быстро меняющиеся рынки.

    Когда применяется

    • Условия применения: Алгоритм применяется к «новым» (new web page) или «обновленным» (updated web page) страницам, которые еще не были проиндексированы в текущей версии.
    • Триггеры активации: Процесс активируется немедленно после того, как страница была сканирована (crawled) и данные были получены (fetched) краулером.

    Пошаговый алгоритм

    Процесс работы системы можно разделить на две фазы: офлайн-обучение MLA и онлайн-применение (In-use phase).

    Фаза А: Офлайн-обучение MLA

    1. Сбор исторических данных: Система анализирует исторические данные о страницах, которые ранее были проиндексированы.
    2. Генерация тренировочных векторов (T1): Для каждой тренировочной страницы извлекаются данные, которые были доступны в первый момент времени (T1, сразу после сканирования) — Sparse Data.
    3. Генерация меток полезности (T2): Для той же страницы анализируются данные, собранные во второй момент времени (T2, значительно позже), включая взаимодействия пользователей. На основе этого анализа определяется фактическая полезность страницы как результата поиска (Label).
    4. Обучение MLA: Алгоритм обучается коррелировать тренировочные векторы (T1) с метками полезности (T2). Цель — научиться предсказывать будущую полезность, используя только ранние данные.

    Фаза Б: Онлайн-применение (In-use Phase)

    1. Сканирование: Triage Server с помощью краулера идентифицирует и скачивает новую или обновленную веб-страницу.
    2. Извлечение признаков: Идентифицируются Recent data (разреженные данные), доступные на текущий момент.
    3. Генерация вектора: Из Recent data формируется вектор признаков (in-use vector).
    4. Прогнозирование (MLA): Вектор подается на вход обученному MLA.
    5. Генерация оценки: MLA генерирует Importance Score (прогнозируемую полезность).
    6. Мониторинг нагрузки (LBA): Параллельно LBA определяет текущую доступную вычислительную мощность дата-центра.
    7. Определение порога: На основе доступной мощности устанавливается или корректируется Triage Threshold. (Больше мощности — ниже порог, и наоборот).
    8. Сравнение: Importance Score сравнивается с Triage Threshold.
    9. Принятие решения (Сортировка):
      • Если Score > Threshold: Страница добавляется в Real-time indexing queue.
      • Если Score < Threshold: Страница добавляется в Postponed indexing queue.
    10. Исключение (Опционально): Если страница идентифицирована как абсолютно новая, ее Importance Score может быть принудительно повышен (weighted), чтобы гарантировать попадание в очередь реального времени.

    Какие данные и как использует

    Данные на входе

    Система использует два набора данных: Recent Data (для прогнозирования в реальном времени) и Исторические данные (для обучения MLA).

    Recent Data (Sparse Data) — используются в реальном времени (T1):

    • Временные факторы: Время создания веб-страницы (creation time).
    • Ссылочные факторы: Количество входящих гиперссылок (number of inbound hyperlinks), количество исходящих гиперссылок (number of outbound hyperlinks).
    • Поведенческие факторы (Ранние/Прокси): Количество посещений URL страницы (number of visits to a URL), если эти данные доступны на момент сканирования.
    • Контентные факторы: Тип контента веб-страницы (type of content), например, «новостной тип», определенный вспомогательными системами.

    Исторические данные — используются для обучения (T2):

    • Поведенческие факторы (Полные): Данные о взаимодействии пользователей с результатами поиска: выбор страницы как результата поиска, количество кликов, время, проведенное на странице, «лайки», «шеры».
    • Ранжирование: Позиции страницы при показе в результатах поиска.

    Какие метрики используются и как они считаются

    • Importance Score: Выходное значение MLA. Представляет собой прогнозируемую оценку будущей полезности страницы как «свежего» результата. Может быть представлено как вероятность (значение между 0 и 1).
    • Triage Threshold: Динамическая метрика, определяемая LBA. Она конвертирует доступные единицы вычислительной мощности в пороговое значение для Importance Score. Метод конвертации может быть линейным, логарифмическим или экспоненциальным.
    • Label (Метка для обучения): Целевое значение для обучения MLA. Определяется на основе анализа исторических поведенческих данных (T2) или асессорской оценки. Указывает на фактическую полезность страницы (например, 1, если полезна, 0, если нет).

    Выводы

    1. Индексация не гарантирована по скорости: Яндекс активно управляет приоритетами индексации на основе прогнозируемой ценности контента, а не только по принципу «первым пришел — первым обслужен» (FIFO).
    2. Фокус на «свежести» (Freshness): Система специально разработана для быстрого выявления высокоценного «свежего» контента. Importance Score предсказывает полезность именно как fresh search result.
    3. Ранние сигналы критичны: Прогнозирование основано на «разреженных данных» (Sparse Data), доступных на момент сканирования (время создания, тип контента, ранние ссылки). Это означает, что сигналы, существующие до или сразу после публикации, определяют скорость индексации.
    4. Динамическое управление ресурсами: Емкость системы индексации в реальном времени гибка и управляется динамическими порогами (Triage Threshold). В периоды высокой нагрузки порог повышается, и только самый важный контент индексируется быстро.
    5. Механизм бустинга новых страниц: Существует механизм (Claim 12), позволяющий искусственно повышать (weight) оценку для абсолютно новых страниц, чтобы гарантировать их попадание в индекс реального времени, независимо от оценки MLA.

    Практика

    Best practices (это мы делаем)

    • Максимизация ранних сигналов важности: Для контента, который должен быть проиндексирован быстро, необходимо генерировать сигналы важности до или немедленно после публикации. Это включает получение входящих ссылок с авторитетных ресурсов, упоминания в социальных сетях и обеспечение трафика на URL (если это возможно отследить как Recent Data).
    • Четкое указание типа контента: Используйте микроразметку (например, Schema.org NewsArticle) и чистую структуру, чтобы помочь вспомогательным системам Яндекса правильно классифицировать контент как «свежий» или новостной. Это один из факторов Recent Data.
    • Оптимизация технических факторов для быстрого сканирования: Обеспечьте высокую скорость ответа сервера и эффективный рендеринг, чтобы краулер мог быстро получить доступ к Recent Data. Чем быстрее данные будут получены, тем быстрее Triage Server примет решение.
    • Публикация абсолютно нового контента: Используйте механизм бустинга новых страниц (Claim 12). Регулярно публикуйте контент на новых URL, если это соответствует стратегии сайта, так как они могут получить приоритет в индексации.

    Worst practices (это делать не надо)

    • Публикация без продвижения: Публикация важного, свежего контента без какой-либо стратегии внешнего продвижения или получения ссылок. Если полагаться только на содержание, страница может получить низкий Importance Score из-за отсутствия ранних сигналов и попасть в отложенный индекс.
    • Медленная загрузка и технические проблемы: Медленное время ответа сервера или сложный рендеринг, которые задерживают доступ краулера к данным страницы, могут замедлить весь процесс приоритизации.
    • Частое обновление вечнозеленого контента без причины: Попытка выдать старый контент за свежий путем незначительных обновлений вряд ли приведет к высокому Importance Score, если отсутствуют другие сигналы важности (ссылки, тип контента).

    Стратегическое значение

    Патент подтверждает, что скорость попадания в индекс не является гарантированной технической характеристикой — ее нужно заслужить через сигналы важности. Для time-sensitive контента SEO-стратегия должна включать проактивное продвижение для генерации тех сигналов, которые MLA использует для приоритизации (Recent Data). Это смещает фокус с чисто технического SEO на комплексное продвижение в момент публикации.

    Практические примеры

    Сценарий 1: Публикация экстренной новости (Breaking News)

    1. Действие SEO/Маркетинга: Новостной сайт публикует статью и одновременно координирует публикацию с PR и SMM. Обеспечивается немедленное получение ссылок от крупных новостных агрегаторов и авторитетных источников.
    2. Действие системы: Краулер сканирует страницу. Triage Server извлекает Recent Data: тип контента = «Новость», количество входящих ссылок = Высокое.
    3. Прогноз MLA: На основе этих данных MLA генерирует высокий Importance Score (высокая вероятность будущей полезности как свежего результата).
    4. Результат: Страница попадает в Real-time indexing queue и появляется в поиске немедленно.

    Сценарий 2: Публикация рядового обзора товара

    1. Действие SEO/Маркетинга: Сайт публикует обзор нового товара, но не проводит внешнего продвижения.
    2. Действие системы: Краулер сканирует страницу. Triage Server извлекает Recent Data: тип контента = «Обзор», количество входящих ссылок = 0.
    3. Прогноз MLA: MLA генерирует низкий Importance Score (низкая прогнозируемая полезность как срочного/свежего результата).
    4. Результат: Страница попадает в Postponed indexing queue и будет проиндексирована позже, когда нагрузка на систему снизится.

    Вопросы и ответы

    Что такое Importance Score и является ли он фактором ранжирования?

    Importance Score — это прогнозируемая оценка полезности страницы как «свежего» результата поиска. Он НЕ является фактором ранжирования напрямую. Его единственная цель в рамках этого патента — определить приоритет индексации: будет ли страница проиндексирована немедленно (Real-time queue) или позже (Postponed queue). Ранжирование определяется другими алгоритмами уже после индексации.

    Какие факторы влияют на Importance Score?

    Оценка генерируется алгоритмом машинного обучения (MLA) на основе «недавних» или «разреженных» данных (Recent/Sparse Data), доступных сразу после сканирования. В патенте упоминаются: время создания страницы, количество посещений URL, количество входящих и исходящих гиперссылок, а также тип контента (например, новость). Именно эти ранние сигналы определяют скорость индексации.

    Как я могу ускорить индексацию своего контента, исходя из этого патента?

    Чтобы ускорить индексацию, необходимо максимизировать ранние сигналы важности. Это означает, что нужно активно продвигать контент сразу после публикации: получать ссылки с авторитетных источников, генерировать трафик на URL. Также важно четко указывать тип контента (например, с помощью микроразметки NewsArticle), чтобы система классифицировала его как «свежий».

    Что такое Triage Threshold и почему он меняется?

    Triage Threshold — это порог, который должна преодолеть Importance Score, чтобы страница попала в очередь реального времени. Он динамический и управляется алгоритмом балансировки нагрузки (LBA). Если дата-центр Яндекса перегружен, LBA повышает порог, и только самый важный контент индексируется быстро. Если ресурсы свободны, порог снижается, и больше страниц попадает в быструю очередь.

    Применяется ли этот механизм ко всем типам сайтов?

    Механизм применяется ко всем сканируемым страницам, но его влияние наиболее заметно для контента, который система классифицирует как «свежий» (fresh). Для вечнозеленого или «застойного» (stagnant) контента (например, исторических справок) прогнозируемая полезность как «свежего» результата будет ниже, и они с большей вероятностью попадут в отложенный индекс, что для них не критично.

    Как Яндекс обучает MLA предсказывать будущую полезность?

    MLA обучается на исторических данных. Система берет страницу, фиксирует ее данные сразу после сканирования (T1, Sparse Data) и затем отслеживает ее фактическую полезность через некоторое время (T2), анализируя поведение пользователей (клики, время на сайте и т.д.). MLA учится находить корреляции между ранними данными (T1) и будущей полезностью (T2).

    Означает ли попадание в отложенную очередь (Postponed queue), что мой контент некачественный?

    Не обязательно. Это означает, что система не прогнозирует высокую полезность этого контента как срочного или «свежего» результата поиска на основе доступных ранних сигналов. Контент может быть высококачественным и вечнозеленым, но его индексация просто не является приоритетной в данный момент времени, особенно если нагрузка на систему высока.

    В патенте упоминается, что новые страницы могут получать буст (Claim 12). Что это значит?

    Это важный механизм. Если система идентифицирует URL как абсолютно новый (ранее не индексировался), она может искусственно повысить (взвесить) его Importance Score, чтобы гарантировать его попадание в очередь реального времени, минуя стандартную оценку MLA. Это дает шанс новому контенту быстро попасть в индекс, даже если у него еще нет ранних сигналов.

    Влияет ли скорость сайта на этот механизм?

    Прямо на Importance Score — нет, но косвенно — да. Triage Server принимает решение после того, как краулер скачал страницу и извлек Recent Data. Если сайт медленный или имеет проблемы с рендерингом, это задерживает весь процесс приоритизации и, следовательно, замедляет потенциальное попадание в индекс.

    Стоит ли часто обновлять старые страницы, чтобы они попали в Real-time queue?

    Система применяется к обновленным страницам, но для попадания в Real-time queue обновление должно сопровождаться сигналами, которые прогнозируют высокую полезность как «свежего» результата. Если вы обновили вечнозеленую статью, но не получили новых ссылок и тип контента остался прежним, MLA, скорее всего, даст низкий Importance Score, и страница попадет в стандартную очередь переиндексации.