Close Menu

    Как Яндекс приоритизирует индексацию страниц, предсказывая их будущую полезность сразу после сканирования

    СПОСОБ И СЕРВЕР ДЛЯ ИНДЕКСИРОВАНИЯ ВЕБ-СТРАНИЦЫ В ИНДЕКСЕ (METHOD AND SERVER FOR INDEXING A WEB PAGE IN AN INDEX)
    2020 Индексация Обучение моделей Патенты Яндекс Свежесть контента

    Яндекс использует модель машинного обучения для определения приоритета индексации новых или обновленных страниц. Система оценивает потенциальную «полезность» страницы сразу после сканирования (T1), используя только доступные на этот момент данные. Страницы с высоким прогнозом полезности попадают в очередь индексации в реальном времени, а остальные — в отложенную очередь. Порог для быстрой индексации динамически регулируется в зависимости от нагрузки на дата-центры.

    Описание

    Какую задачу решает

    Патент решает задачу управления ограниченными вычислительными ресурсами дата-центров при индексировании огромного количества новых или обновленных документов. Ключевая цель — обеспечить своевременное попадание в индекс «свежего» контента (например, новостей), чья полезность максимальна сразу после создания и быстро снижается со временем. Система оптимизирует процесс, выборочно приоритизируя индексацию потенциально важных документов и откладывая менее срочные, тем самым балансируя между скоростью обновления индекса и нагрузкой на инфраструктуру.

    Что запатентовано

    Запатентован способ и система (Сортировочный сервер) для интеллектуального управления очередью индексирования. Суть изобретения заключается в использовании алгоритма машинного обучения (MLA) для прогнозирования будущей полезности (Usefulness) веб-страницы как результата поиска. Этот прогноз делается на основе только тех данных, которые доступны сразу после сканирования страницы (Недавние данные). На основе этого прогноза и динамического порога система распределяет страницы в очередь индексирования в реальном времени или в очередь отложенного индексирования.

    Как это работает

    После того как поисковый робот сканирует новую или обновленную страницу, Сортировочный сервер анализирует доступные на этот момент Недавние данные (T1). Эти данные подаются на вход MLA, который генерирует Оценку значимости (Significance Score), предсказывающую будущую востребованность страницы. MLA обучен на исторических данных, сопоставляя начальные характеристики страниц (T1) с их фактической полезностью, измеренной позже по поведению пользователей (T2). Полученная оценка сравнивается с Порогом сортировки. Если оценка выше порога, страница попадает в очередь индексирования в реальном времени; если ниже — в отложенную очередь. Порог динамически регулируется Алгоритмом балансировки нагрузки в зависимости от доступных вычислительных мощностей.

    Актуальность для SEO

    Высокая. Управление очередями индексации и приоритизация свежего контента (механизмы Быстроробота) являются критически важными компонентами современных поисковых систем. Использование машинного обучения для оптимизации инфраструктурных ресурсов и прогнозирования ценности контента на ранних этапах полностью соответствует текущим трендам в Information Retrieval.

    Важность для SEO

    Влияние на SEO значительно (7/10). Этот патент напрямую не влияет на ранжирование, но критически влияет на скорость индексации. Для новостных ресурсов, событийного контента и time-sensitive тематик скорость попадания в индекс определяет возможность получения трафика в пиковый момент интереса. Патент раскрывает, какие типы сигналов Яндекс считает важными для идентификации потенциально полезного контента на самом раннем этапе (до индексации).

    Детальный разбор

    Термины и определения

    Алгоритм балансировки нагрузки (Load Balancing Algorithm)
    Алгоритм, который отслеживает доступную вычислительную мощность дата-центра и динамически регулирует Порог сортировки, чтобы оптимизировать использование ресурсов.
    Алгоритм машинного обучения (MLA)
    Модель, обученная прогнозировать будущую полезность (Оценку значимости) веб-страницы на основе Недавних данных, доступных сразу после сканирования.
    Недавние данные (Recent Data / Данные T1)
    «Ограниченные» или «немногочисленные» данные, доступные в первый момент времени (T1), обычно сразу после сканирования страницы. Включают статические и начальные сигналы.
    Обучающий вектор (Training Vector)
    Набор признаков, описывающих обучающую веб-страницу на основе Недавних данных (T1).
    Оценка значимости (Significance Score)
    Выходное значение MLA. Прогноз полезности веб-страницы как поискового результата (часто как «свежего» результата).
    Отметка (Label / Данные T2)
    Целевая переменная для обучения MLA. Указывает на фактическую полезность обучающей веб-страницы, определенную во второй момент времени (T2) на основе накопленных данных о взаимодействии пользователей (клики, время на сайте и т.д.).
    Очередь индексирования в режиме реального времени (Real-Time Indexing Queue)
    Очередь для страниц с высокой Оценкой значимости, которые индексируются в приоритетном порядке.
    Очередь отложенного индексирования (Deferred Indexing Queue)
    Очередь для страниц с низкой Оценкой значимости, индексация которых откладывается.
    Порог сортировки (Triage/Sorting Threshold)
    Значение, с которым сравнивается Оценка значимости для определения очереди индексирования. Динамически регулируется Алгоритмом балансировки нагрузки.
    Сортировочный сервер (Triage/Sorting Server)
    Сервер, выполняющий приложение поискового робота, MLA и Алгоритм балансировки нагрузки для управления очередями индексирования.

    Ключевые утверждения (Анализ Claims)

    Claim 1 (Независимый пункт): Описывает основной процесс приоритизации индексирования.

    1. Идентификация Недавних данных (T1), связанных со страницей, после ее сканирования.
    2. Создание Оценки значимости (прогноза полезности) с помощью MLA.
    3. Обучение MLA: MLA обучается на исторических данных, включающих (i) Обучающий вектор (данные в момент T1) и (ii) Отметку (полезность, определенная в момент T2, который позже T1). (Модель учится предсказывать T2 по T1).
    4. Сравнение Оценки значимости с Порогом сортировки.
    5. Выборочное добавление страницы:
      • Если оценка ниже порога -> Очередь отложенного индексирования.
      • Если оценка выше порога -> Очередь индексирования в режиме реального времени.

    Claim 4: Уточняет, что Оценка значимости указывает на пользу веб-страницы именно как свежего поискового результата.

    Claims 9-11: Система обрабатывает как новые (ранее не индексированные), так и обновленные (измененные версии старых) страницы, признавая, что их полезность вероятно выше, чем у старых версий в индексе.

    Claim 12 (Важно для SEO): Если страница идентифицирована как новая, ее Оценка значимости может быть взвешена (т.е. повышена), чтобы гарантировать, что она превысит порог и попадет в очередь индексирования в режиме реального времени.

    Claims 14-16 (Балансировка нагрузки): Описывают механизм адаптации системы к ресурсам.

    1. Сортировочный сервер выполняет Алгоритм балансировки нагрузки для определения доступной вычислительной мощности (Claim 14).
    2. Порог сортировки зависит от этой доступной мощности (Claim 15).
    3. Если доступная мощность изменяется, Порог сортировки корректируется (Claim 16).

    Claim 17: Перечисляет примеры Недавних данных (T1 сигналов).

    Где и как применяется

    Изобретение применяется на стыке этапов сканирования и индексирования, выполняя роль интеллектуального менеджера очереди.

    CRAWLING – Сканирование и Сбор данных
    Приложение поискового робота (например, компонент Быстроробота Orange в рамках подсистемы Scraper) просматривает веб-страницу и собирает Недавние данные (T1). Сортировочный сервер идентифицирует эти данные сразу после завершения сканирования.

    INDEXING – Индексирование (Управление конвейером)
    Основное применение патента происходит перед фактической индексацией (модуль Indexer). Сортировочный сервер использует MLA и Алгоритм балансировки нагрузки для принятия решения о маршруте индексирования.

    • Входные данные: Недавние данные (T1) страницы, данные о текущей нагрузке дата-центра.
    • Процесс: Вычисление Оценки значимости, определение динамического Порога сортировки, сравнение и маршрутизация.
    • Выходные данные: Страница добавляется либо в Очередь индексирования в режиме реального времени (вероятно, попадает в слой «Fresh» индекса), либо в Очередь отложенного индексирования (для обработки основным роботом YandexBot и попадания в Base индекс).

    Офлайн-процессы
    Обучение MLA происходит офлайн. Система анализирует исторические данные: извлекает признаки на момент сканирования (T1) и сопоставляет их с данными о поведении пользователей (клики, время на сайте), накопленными позже (T2).

    На что влияет

    • Типы контента и Запросы: Наибольшее влияние оказывается на контент, связанный с новостями, недавними событиями и экстренными новостями. Патент явно разделяет «свежий» контент, чья полезность максимальна сразу и быстро падает, и «неподвижный» (still) контент, чья полезность постоянна во времени. Система направлена на приоритизацию именно «свежего» контента.
    • Ниши: Критическое влияние на СМИ, новостные агрегаторы, сайты о мероприятиях, блоги, освещающие тренды, и любые тематики, где скорость появления информации в поиске имеет решающее значение.

    Когда применяется

    • Триггеры активации: Алгоритм активируется каждый раз, когда поисковый робот сканирует новую или обновленную веб-страницу.
    • Условия работы: Система работает непрерывно. Ключевым условием является динамическая адаптация: Порог сортировки постоянно меняется в зависимости от нагрузки на дата-центр. При высокой нагрузке порог повышается (меньше страниц попадает в реальное время), при низкой — понижается.
    • Исключения и особые случаи: Новые веб-страницы (ранее не индексированные) могут получать искусственное повышение (взвешивание) Оценки значимости, чтобы гарантировать их попадание в очередь реального времени.

    Пошаговый алгоритм

    Процесс А: Обработка страницы в реальном времени

    1. Сканирование и Идентификация (Этап 502): Приложение поискового робота сканирует страницу. Сортировочный сервер идентифицирует Недавние данные (T1) и определяет тип страницы (новая или обновленная).
    2. Прогнозирование (Этап 504): Сортировочный сервер формирует вектор признаков из Недавних данных и подает его в обученный MLA. MLA генерирует Оценку значимости (прогноз полезности).
    3. Взвешивание (Опционально): Если страница идентифицирована как новая, Оценка значимости может быть искусственно повышена.
    4. Определение Порога (Параллельный процесс): Алгоритм балансировки нагрузки определяет текущую доступную вычислительную мощность и устанавливает динамический Порог сортировки.
    5. Сортировка и Постановка в очередь (Этап 506): Оценка значимости сравнивается с Порогом сортировки.
      1. Если Оценка > Порог: Страница добавляется в Очередь индексирования в режиме реального времени.
      2. Если Оценка < Порог: Страница добавляется в Очередь отложенного индексирования.
    6. Индексирование: Дата-центр обрабатывает очереди, причем очередь реального времени обрабатывается в приоритетном порядке и независимо от отложенной очереди.
    7. Пересмотр очереди (Опционально): Если порог снижается, страницы из отложенной очереди могут быть перемещены в очередь реального времени.

    Процесс Б: Офлайн-обучение MLA

    1. Сбор данных: Идентификация исторических (обучающих) веб-страниц, которые ранее были проиндексированы и показаны пользователям.
    2. Генерация Обучающего вектора (T1): Для каждой страницы извлекаются данные, которые были доступны в первый момент времени (T1, момент сканирования).
    3. Генерация Отметки (T2): Для каждой страницы анализируются данные, накопленные ко второму моменту времени (T2), включая взаимодействия пользователей (клики, время на сайте). На основе этого анализа (автоматически или асессорами) определяется фактическая полезность страницы (например, 1 или 0).
    4. Обучение: MLA обучается находить корреляцию между Обучающим вектором (T1) и Отметкой (T2), чтобы предсказывать будущую полезность на основе ограниченных начальных данных.

    Какие данные и как использует

    Данные на входе

    Система использует два distinct набора данных: для работы в реальном времени (T1) и для обучения (T2).

    Данные T1 (Недавние данные) – используются для прогнозирования в реальном времени (Claim 17,):

    • Временные факторы: Время создания веб-страницы.
    • Ссылочные факторы: Число входящих гиперссылок на веб-страницу; число исходящих гиперссылок с веб-страницы.
    • Поведенческие/Внешние факторы: Число визитов на URL веб-страницы. (Важно: это визиты, зафиксированные до того, как Яндекс начал массово показывать страницу в выдаче, т.е. внешние сигналы или история URL).
    • Контентные факторы: Тип содержимого веб-страницы (например, новостной тип, определенный дополнительными системами).

    Данные T2 – используются для определения фактической полезности (Отметки) при обучении:

    • Поведенческие факторы (взаимодействия пользователей с результатами поиска): Число выборов страницы в качестве результата поиска, ранги страницы при отображении, число кликов, время, проведенное на странице, число «лайков», число раз, когда страницей «поделились».

    Какие метрики используются и как они считаются

    • Оценка значимости (Significance Score): Вычисляется MLA на основе входного вектора T1. Представляет собой прогноз полезности, например, вероятность (значение между 0 и 1) того, что страница будет полезна как (свежий) результат поиска.
    • Порог сортировки (Sorting Threshold): Динамическая метрика, определяемая Алгоритмом балансировки нагрузки. Она конвертирует доступный объем вычислительной мощности в пороговое значение оценки. Зависимость может быть линейной, логарифмической или экспоненциальной. Чем больше мощность, тем ниже порог.
    • Отметка (Label): Метрика фактической полезности, используемая как Ground Truth для обучения. Рассчитывается на основе агрегации поведенческих факторов (Данные T2). Может быть бинарной (1=полезно, 0=бесполезно).

    Выводы

    1. Скорость индексации зависит от прогнозируемой полезности: Яндекс не пытается индексировать весь новый контент одинаково быстро. Приоритет отдается тем страницам, которые система считает потенциально важными или востребованными («свежими»).
    2. Ранние сигналы (T1) критичны для быстрой индексации: Решение о приоритизации принимается на основе ограниченного набора данных, доступных сразу после сканирования. Входящие ссылки, тип контента и ранний трафик на URL (Claim 17) являются ключевыми факторами, на которые можно повлиять до индексации.
    3. Прогноз поведения из статических признаков: Ядро изобретения — обучение MLA предсказывать будущие поведенческие метрики (T2) на основе статических и начальных признаков (T1).
    4. Гибкость «Реального времени» и Балансировка нагрузки: Попадание в быструю индексацию не гарантировано. Если дата-центры перегружены, Порог сортировки повышается, и в реальном времени индексируются только самые значимые страницы. Система адаптивна.
    5. Преференции для новых URL: Патент явно предусматривает возможность искусственного повышения (взвешивания) оценки для совершенно новых страниц, чтобы гарантировать их быструю индексацию (Claim 12).

    Практика

    Best practices (это мы делаем)

    • Обеспечение сильных ранних сигналов (T1) для важного контента: Для страниц, которые должны быть проиндексированы быстро (новости, новые товары), критически важно наличие внешних сигналов сразу после публикации. Это включает входящие ссылки (внутренние с авторитетных разделов или внешние пресс-релизы).
    • Стимулирование раннего трафика: Так как «число визитов на URL» является сигналом T1 (Claim 17), привлечение трафика на страницу сразу после публикации (соцсети, рассылки) может повысить Оценку значимости и ускорить индексацию.
    • Четкое указание на тип контента: Так как «тип содержимого» является признаком T1, необходимо использовать соответствующую микроразметку (например, NewsArticle для новостей) и структуру контента, чтобы помочь Яндексу быстро классифицировать страницу как «свежий» контент.
    • Использование новых URL для критически важного контента: Учитывая, что патент предусматривает буст для новых страниц (Claim 12,), для запуска совершенно новых продуктов или крупных информационных поводов может быть стратегически выгоднее использовать новые URL, а не обновлять старые.
    • Оптимизация скорости отдачи контента: Чтобы Сортировочный сервер мог быстро получить Недавние данные, страница должна быстро отвечать поисковому роботу (особенно Быстророботу Orange).

    Worst practices (это делать не надо)

    • Публикация time-sensitive контента «в вакууме»: Размещение новостей или срочной информации без немедленной поддержки ссылками (внутренними или внешними) и без генерации раннего трафика снижает вероятность высокой Оценки значимости и может привести к попаданию в отложенную индексацию.
    • Игнорирование структуры «свежего» контента: Публикация новостей в формате, который система может классифицировать как «неподвижный» (still) контент, снижает приоритет индексации.
    • Медленное обновление Sitemaps и долгий путь обнаружения: Несвоевременное информирование поисковых систем о новом контенте лишает систему возможности быстро его обнаружить и применить механизм приоритизации.

    Стратегическое значение

    Патент раскрывает инфраструктурный механизм, лежащий в основе работы Быстроробота Яндекса. Он подтверждает, что скорость индексации не является фиксированной величиной, а результатом работы сложной системы прогнозирования и балансировки нагрузки. Для SEO-стратегии это означает, что управление индексацией требует не только выполнения базовых технических требований, но и обеспечения сильных внешних сигналов авторитетности, свежести и ранней вовлеченности в момент публикации контента.

    Практические примеры

    Сценарий 1: Новостной портал публикует экстренную новость

    1. Действия SEO: Публикация новости на новом URL с разметкой NewsArticle. Немедленное размещение ссылки на новость на главной странице и в официальных соцсетях/Telegram (генерация трафика).
    2. Действие системы: Робот сканирует страницу. Сортировочный сервер анализирует T1 данные: новый URL (получает буст), тип контента (новость), наличие входящих ссылок (с главной), наличие визитов на URL.
    3. Результат: MLA генерирует высокую Оценку значимости. Страница попадает в очередь индексирования в реальном времени и появляется в поиске в течение минут.

    Сценарий 2: Блог публикует обзорную статью (Evergreen content)

    1. Действия SEO: Публикация статьи, добавление в Sitemap. Внешних ссылок и трафика сразу нет.
    2. Действие системы: Робот сканирует страницу. Сортировочный сервер анализирует T1 данные: тип контента («неподвижный»), отсутствие сильных начальных ссылочных сигналов и трафика.
    3. Результат: MLA генерирует умеренную или низкую Оценку значимости (как «свежего» результата). Страница попадает в очередь отложенного индексирования и появляется в поиске в течение нескольких дней. Это приемлемо, так как полезность этого контента постоянна во времени.

    Сценарий 3: Перегрузка дата-центров Яндекса (например, во время крупного события)

    1. Действие системы: Алгоритм балансировки нагрузки фиксирует дефицит ресурсов и значительно повышает Порог сортировки.
    2. Действия SEO: Публикация новости средней важности со средними начальными сигналами.
    3. Результат: Несмотря на то, что в обычное время новость прошла бы порог, сейчас ее Оценка значимости оказывается ниже нового, высокого порога. Страница попадает в отложенную индексацию. В реальном времени индексируются только самые критические новости с максимальными сигналами.

    Вопросы и ответы

    Какова основная цель системы, описанной в патенте?

    Основная цель — управлять ограниченными вычислительными ресурсами Яндекса, обеспечивая при этом максимально быструю индексацию наиболее важного и свежего контента. Система работает как интеллектуальный сортировщик, который решает, какие страницы индексировать немедленно (в режиме реального времени), а какие можно отложить, балансируя между полезностью контента и текущей нагрузкой на инфраструктуру.

    Что такое «Оценка значимости» (Significance Score)?

    Это прогнозная оценка, которую генерирует модель машинного обучения (MLA). Она предсказывает, насколько полезной будет веб-страница в качестве результата поиска в будущем, особенно в качестве «свежего» результата. Эта оценка рассчитывается на основе ограниченных данных (T1), доступных сразу после сканирования страницы.

    Как обучается ML-модель для прогнозирования полезности?

    Модель обучается на исторических данных. Она сравнивает начальные признаки страницы, доступные в момент сканирования (T1, Обучающий вектор), с фактической полезностью этой страницы, измеренной позже (T2, Отметка), которая включает взаимодействия пользователей (клики, время на сайте). Модель учится находить корреляции между начальными сигналами и будущим поведением пользователей.

    Какие начальные сигналы (T1) помогают ускорить индексацию? (Claim 17)

    В патенте явно упоминаются следующие «Недавние данные», используемые для прогноза: время создания страницы, число визитов на URL (внешний трафик до индексации), число входящих гиперссылок, число исходящих гиперссылок и тип содержимого веб-страницы. Наличие сильных сигналов по этим факторам увеличивает шансы на быструю индексацию.

    Упоминание «числа визитов на URL» как раннего сигнала означает, что Яндекс учитывает трафик до индексации?

    Да, это важный момент патента (Claim 17). Это предполагает, что Яндекс может учитывать данные о посещаемости URL (например, через Метрику, Браузер или другие источники) еще до того, как страница попала в основной индекс. Наличие раннего трафика является сильным сигналом для ускорения индексации.

    Что такое «Порог сортировки» (Triage Threshold) и почему он динамический?

    Это пороговое значение, которое должна превысить Оценка Значимости, чтобы страница попала в очередь реального времени. Он динамический, потому что зависит от текущей загруженности дата-центров Яндекса. Если ресурсы свободны, порог снижается. Если система перегружена, порог повышается, и только самые важные страницы индексируются быстро. Этим управляет Алгоритм балансировки нагрузки.

    Как система обрабатывает абсолютно новые страницы (Claim 12)?

    В патенте указано, что если страница идентифицируется как новая, ее Оценка Значимости может быть искусственно взвешена (увеличена), чтобы гарантировать, что она превысит порог сортировки. Это означает, что новые URL могут получать автоматический приоритет для быстрого попадания в индекс.

    Что произойдет, если моя страница попала в очередь отложенного индексирования?

    Она будет проиндексирована позже, когда у системы появятся свободные ресурсы. Однако в патенте упоминается механизм «пересмотра»: если нагрузка на систему снизится и Порог Сортировки упадет, страница может быть перемещена из отложенной очереди в очередь реального времени, если ее Оценка Значимости превысит новый, более низкий порог.

    Как этот механизм влияет на индексацию «вечнозеленого» (статичного) контента?

    Патент указывает, что полезность «неподвижного» (статичного) контента достаточно постоянна во времени, в отличие от «свежего», чья полезность быстро падает. Следовательно, система будет отдавать меньший приоритет индексированию статичного контента в режиме реального времени, так как срочность для него ниже. Такой контент с большей вероятностью попадет в отложенную очередь.

    Какое самое важное практическое действие для SEO следует из этого патента?

    Самое важное действие — это обеспечение максимально сильных начальных сигналов сразу после публикации контента. Недостаточно просто создать страницу; необходимо немедленно обеспечить ее внутренними ссылками (например, с главной), внешним продвижением (соцсети, рассылки) для генерации ссылок и трафика. Эти действия напрямую влияют на Оценку Значимости и скорость индексации.