Как Яндекс идентифицирует ключевые объекты на странице (логотипы, баннеры, формы) с помощью анализа кода и визуального рендеринга

Описание

Какую задачу решает

Патент решает задачу точной и надежной идентификации ключевых элементов (целевых объектов) на веб-странице, таких как реклама, логотипы или формы. Анализ исключительно исходного кода (HTML/DOM) часто недостаточен из-за сложности современного веба (динамическая верстка, JavaScript, обфускация кода). Изобретение позволяет системе «увидеть» финальное состояние страницы после рендеринга, анализируя визуальные характеристики элементов. Это критически важно для оценки качества страницы, выявления агрессивной или перекрывающей контент рекламы и понимания реальной структуры страницы, видимой пользователю.

Что запатентовано

Запатентован способ идентификации целевых объектов на веб-странице, который комбинирует анализ инструкций отрисовки (исходного кода) и обязательный анализ характеристик уже отрисованного (визуального) объекта. Система использует набор предопределенных правил (включая «нежесткие» правила) и, возможно, машинное обучение для вычисления вероятности того, что анализируемый элемент является искомым объектом (например, рекламным баннером).

Как это работает

Система (реализованная, например, в краулере, эмулирующем браузер) получает инструкции отрисовки (HTML/CSS/JS). Сначала она парсит код для выявления потенциальных кандидатов на целевой объект. Затем страница отрисовывается (рендерится). Ключевым этапом является процесс проверки, который применяется к отрисованной версии кандидата. Проверка использует правила, основанные на характеристиках отрисованного объекта (визуальных свойствах) и, опционально, на характеристиках кода. На основе результатов проверки назначается параметр вероятности. Если он превышает порог, объект считается идентифицированным.

Актуальность для SEO

Высокая. Визуальный анализ страниц (Visual Parsing/Rendering) является критически важным компонентом современных поисковых систем. Он необходим для оценки Page Experience, Core Web Vitals, удобства интерфейса и борьбы с некачественной рекламой. Методы, основанные на анализе финального состояния рендеринга, крайне актуальны для понимания современного веба, насыщенного JavaScript.

Важность для SEO

Влияние на SEO значительно (8/10). Патент описывает фундаментальный механизм того, как Яндекс воспринимает структуру, юзабилити и визуальное представление сайта. Эта технология позволяет идентифицировать проблемы, влияющие на пользовательский опыт (например, расположение и объем рекламы, доступность форм). Если система выявляет негативные паттерны (например, реклама перекрывает контент), эти данные используются алгоритмами оценки качества (Anti-Quality, Proxima), что напрямую влияет на ранжирование сайта.

Детальный разбор

Термины и определения

Целевой объект (Target Object)

Ключевой элемент на веб-странице, который система пытается идентифицировать. В патенте приведены примеры: логотип, карта, баннер, реклама и форма для ввода данных.

Инструкции отрисовки (Rendering Instructions)

Данные, необходимые для отображения веб-страницы, включая HTML, CSS, JavaScript.

Кандидат на целевой объект (Candidate Target Object)

Элемент веб-страницы, идентифицированный на этапе разбора (парсинга) инструкций как потенциально являющийся целевым объектом.

Процесс проверки (Verification Process)

Этап анализа кандидата для подтверждения того, что он является целевым объектом. Выполняется на отрисованной версии веб-страницы и может также включать анализ инструкций отрисовки.

Характеристики отрисованного объекта (Rendered Object Characteristics)

Свойства элемента после рендеринга. Подразумеваются визуальные характеристики: размер, позиция на экране, видимость, цвет и т.д.

Характеристики кода (Code Characteristics)

Свойства элемента, извлеченные из инструкций отрисовки (исходного кода). Например, HTML-теги, атрибуты, CSS-классы, структура DOM.

Набор предварительно определенных правил (Set of Predefined Rules)

Правила, созданные заранее (например, на основе оценок экспертов или через машинное обучение) на основе характеристик известных целевых объектов. Правила могут быть специфичны для разных типов объектов.

«Нежесткое» правило (Soft/Fuzzy Rule)

Правило, которое влияет на вероятность, но не является строгим бинарным условием (да/нет).

Параметр вероятности (Probability Parameter)

Численная оценка, указывающая на уверенность системы в том, что кандидат является целевым объектом.

Ключевые утверждения (Анализ Claims)

Ядро патента заключается в обязательном анализе визуального представления страницы для идентификации объектов, в отличие от методов, основанных только на анализе исходного кода.

Claim 1 (Независимый пункт — Способ): Описывает основной метод идентификации целевого объекта.

1. Получение инструкций отрисовки веб-страницы.
2. Разбор инструкций для идентификации кандидата на целевой объект.
3. Отрисовка (рендеринг) веб-страницы.
4. Выполнение процесса проверки на отрисованной версии страницы для подтверждения кандидата.
5. Критически важно: Проверка включает применение предопределенных правил к характеристикам отрисованного объекта (визуальным характеристикам).
6. Назначение параметра вероятности на основе результатов проверки правил.

Claim 3 (Зависимый пункт): Расширяет Claim 1, добавляя анализ исходного кода в процесс проверки (гибридный подход).

1. На этапе разбора также идентифицируется тип кандидата (например, потенциальный логотип).
2. Процесс проверки дополнительно включает применение правил, основанных на характеристиках кода, специфичных для этого типа (оцененных экспертом).
3. Параметр вероятности основывается как на результатах визуальной проверки (из Claim 1), так и на результатах проверки кода.

Claim 5 (Зависимый пункт): Уточняет типы целевых объектов: логотип, карта, баннер, реклама, форма для ввода данных.

Claim 10 (Зависимый пункт): Указывает, что выполнение процесса проверки может осуществляться посредством алгоритма машинного обучения.

Claim 11 и 12 (Зависимые пункты): Уточняют природу правил. По меньшей мере одно правило может быть «нежестким» (Claim 11), и некоторые правила могут негативно воздействовать на параметр вероятности (Claim 12) (т.е. правила-пессимизаторы).

Claim 15 (Независимый пункт — Устройство): Описывает компьютерное устройство с процессором, реализующим браузер, который выполняет способ, описанный в Claim 1. Это подчеркивает, что технология интегрирована в компонент, способный к полноценному рендерингу веб-страниц.

Где и как применяется

Изобретение применяется на ранних этапах обработки веб-страницы для понимания ее структуры и содержания.

CRAWLING – Сканирование и Сбор данных
Технология используется на этапе рендеринга страницы поисковым роботом. Робот (используя браузерный движок, как указано в Claim 15) загружает и отрисовывает страницу. После рендеринга запускается описанный процесс проверки для идентификации ключевых объектов.

INDEXING – Индексирование и извлечение признаков
Идентифицированные объекты используются для извлечения признаков о странице. Например, данные о расположении, размере и количестве рекламных блоков, наличии форм, логотипа и т.д. Эти признаки сохраняются в индексе (Forward Index).

Взаимодействие с системами качества (QUALITY LAYER)
Извлеченные признаки используются для расчета метрик качества:

• Anti-Quality (Антикачество): Использует данные об идентифицированной рекламе для пессимизации сайтов за токсичную рекламу (Pop-ups, перекрывающие контент) или превышение плотности рекламных блоков. Визуальный анализ критичен для этого.
• Proxima: Может использовать данные о наличии и расположении ключевых элементов (логотипы, формы) и балансе рекламы/контента для оценки удобства и надежности страницы.

На что влияет

• Оценка User Experience (UX) и Page Layout: Система позволяет автоматически оценивать, насколько удобна страница для пользователя, не мешает ли реклама основному контенту, насколько заметны ключевые функциональные элементы (формы).
• Конкретные типы контента: Влияет на все типы страниц, но особенно важен для контентных проектов и сайтов, монетизирующихся за счет рекламы, где важно соблюдать баланс между рекламой и полезным содержимым.
• Борьба с манипуляциями: Позволяет обнаруживать попытки маскировки элементов или обмана системы путем запутывания DOM, так как анализ фокусируется на финальном визуальном результате.

Когда применяется

• Условия применения: Алгоритм применяется при сканировании и индексации веб-страниц, требующих рендеринга (т.е. практически всех современных сайтов).
• Триггеры активации: Активируется после загрузки и выполнения всех инструкций отрисовки (HTML/CSS/JS) для анализа финального состояния страницы.

Пошаговый алгоритм

1. Получение данных: Система получает инструкции отрисовки (HTML/CSS/JS), связанные с веб-страницей.
2. Разбор инструкций (Парсинг): Анализ исходного кода для идентификации кандидатов на целевой объект и определения их потенциального типа (например, «потенциальный логотип», «потенциальная реклама»).
3. Отрисовка (Рендеринг): Система отрисовывает веб-страницу на основе полученных инструкций (например, в виртуальном браузере).
4. Выполнение процесса проверки (Верификация): Для каждого кандидата выполняется анализ:
   1. Определение значений характеристик отрисованного объекта (визуальные параметры: размер, положение, видимость и т.д.).
   2. Определение значений характеристик кода (параметры исходного кода: теги, классы, атрибуты).
   3. Применение набора предварительно определенных правил (специфичного для типа кандидата) к этим характеристикам. Этот шаг часто выполняется с помощью алгоритма машинного обучения.
5. Назначение параметра вероятности: На основе результатов проверки правил (включая «нежесткие» и негативные правила) вычисляется вероятность того, что кандидат является целевым объектом.
6. Принятие решения: Если параметр вероятности превышает предварительно определенный порог, кандидат подтверждается как целевой объект.
7. Сбор данных: Сохранение информации об идентифицированных объектах (тип, связанные инструкции отрисовки) для дальнейшего использования в индексе.

Какие данные и как использует

Данные на входе

Система использует два основных типа данных: данные до рендеринга и данные после рендеринга.

• Технические/Структурные факторы (Характеристики кода): Данные, извлекаемые из инструкций отрисовки.
  • Структура DOM-дерева.
  • HTML-теги (например, <div>, <img>, <form>, <iframe>).
  • CSS-классы и идентификаторы (ID).
  • Атрибуты элементов.
  • Подключенные скрипты (JavaScript) и стили.
• Визуальные факторы (Характеристики отрисованного объекта): Данные, получаемые после рендеринга страницы.
  • Геометрия элемента (ширина, высота).
  • Положение элемента на экране (координаты X, Y).
  • Видимость элемента (visibility, display, opacity).
  • Визуальное перекрытие элемента другими объектами.
  • Цветовые характеристики.

Какие метрики используются и как они считаются

• Параметр Вероятности (Probability Parameter): Ключевая метрика, рассчитываемая системой. Это агрегированная оценка, основанная на выполнении набора правил.
• Предварительно определенные правила (Predefined Rules): Набор эвристик или признаков для ML-модели. В патенте указано (Claim 3), что характеристики кода определяются на основе оценки экспертов (асессоров), что подразумевает использование размеченных данных для обучения.
• Алгоритмы машинного обучения (Machine Learning): Патент явно упоминает возможность использования ML (Claim 10) для выполнения процесса проверки. Вероятно, используется классификатор, обученный на наборе визуальных и кодовых характеристик для определения типа объекта.
• Типы правил: Используются «нежесткие» правила (Claim 11), вносящие вклад в вероятность, и правила, которые могут негативно воздействовать на итоговый параметр вероятности (Claim 12).
• Пороговые значения: Система использует предварительно определенный порог для параметра вероятности (Claim 4). Если порог превышен, идентификация подтверждается.

Выводы

1. Визуальное восприятие страницы критически важно: Яндекс анализирует не только код, но и финальный результат рендеринга. Это означает, что система стремится понять страницу так, как ее видит пользователь.
2. Гибридный подход к анализу: Точная идентификация объектов достигается за счет комбинации анализа DOM (характеристики кода) и анализа визуального представления (характеристики отрисованного объекта).
3. Фундамент для оценки качества (Proxima/Antiquality): Этот патент описывает технологию, которая позволяет автоматически собирать данные о структуре страницы, расположении рекламы и удобстве интерфейса. Эти данные являются входными для алгоритмов оценки качества и Page Layout.
4. Целенаправленный поиск ключевых элементов: Система активно ищет рекламу, баннеры, формы и логотипы. Понимание того, как эти элементы расположены и как они выглядят, напрямую влияет на оценку сайта.
5. Неэффективность маскировки в коде: Попытки скрыть элементы или запутать парсер через сложный DOM или обфускацию могут быть неэффективны, так как система анализирует визуальный результат. Если элемент виден пользователю, он будет проанализирован системой.

Практика

Best practices (это мы делаем)

• Соблюдение стандартов качества рекламы: Размещайте рекламу так, чтобы она не мешала восприятию основного контента и не была агрессивной (например, соответствие стандартам Coalition for Better Ads). Система точно идентифицирует рекламные блоки и их расположение с помощью визуального анализа, что влияет на оценку качества страницы.
• Обеспечение чистой и логичной визуальной верстки: Убедитесь, что визуальная структура страницы логична на разных устройствах. Основной контент должен быть легко доступен, а ключевые элементы (формы, навигация, логотип) должны быть визуально различимы и корректно расположены.
• Оптимизация стабильности рендеринга (Core Web Vitals): Метрика Cumulative Layout Shift (CLS) напрямую связана со стабильностью визуального представления. Стабильный рендеринг обеспечивает корректный анализ визуальных характеристик системой. Избегайте неожиданных смещений контента при загрузке.
• Семантическая верстка: Используйте семантические теги (например, <form>, <nav>, <header>). Это улучшает Характеристики Кода и помогает системе (в сочетании с визуальным анализом) точнее идентифицировать элементы.
• Обеспечение доступности ресурсов для рендеринга: Убедитесь, что робот Яндекса имеет доступ ко всем CSS и JS файлам, необходимым для корректной отрисовки страницы.

Worst practices (это делать не надо)

• Агрессивная и мешающая реклама: Использование Pop-ups, Interstitial ads (межстраничные объявления), большого количества рекламы в первом экране, липких баннеров, перекрывающих контент. Система точно идентифицирует эти форматы через визуальный анализ и может пессимизировать страницу (Anti-Quality).
• Маскировка рекламы под контент (Мимикрия): Попытки сделать рекламные блоки визуально неотличимыми от основного контента. Система использует комбинацию визуальных и кодовых правил (например, код вызова рекламной сети), чтобы выявить такие блоки.
• Клоакинг и скрытие элементов с помощью сложных CSS/JS трюков: Попытки обмануть систему, показывая разный контент в DOM и в отрисованной версии, или скрывая элементы от пользователя/робота. Так как анализируется финальный рендер, такие манипуляции могут быть обнаружены.
• Запутанная верстка и нестабильный Layout: Сложные и непредсказуемые методы верстки, вызывающие смещения контента (высокий CLS), могут привести к некорректной оценке структуры страницы и ухудшению UX-факторов.

Стратегическое значение

Патент подтверждает стратегический приоритет Яндекса на оценку реального пользовательского опыта (User Experience). Page Layout и удобство интерфейса — это не абстрактные понятия, а измеримые факторы, которые анализируются автоматически с помощью технологий визуального рендеринга. Эта технология является фундаментом для работы алгоритмов качества (Proxima, Antiquality). Долгосрочная SEO-стратегия должна включать глубокую работу над UX/UI, скоростью и стабильностью рендеринга наравне с контентом и ссылками.

Практические примеры

Сценарий 1: Идентификация агрессивной рекламы

1. Ситуация: На сайте при загрузке появляется полноэкранный Pop-up баннер, загруженный через обфусцированный JavaScript.
2. Анализ Кода: Система обнаруживает скрипт, добавляющий элемент в DOM.
3. Анализ Рендеринга: Система отрисовывает страницу и фиксирует, что появился элемент, который занимает всю площадь экрана (визуальная характеристика) и перекрывает основной контент.
4. Применение Правил (ML): Активируются правила (ML-модель), идентифицирующие Pop-up или Interstitial Ad. Рассчитывается высокая вероятность.
5. Результат: Элемент идентифицируется как агрессивная реклама. Данные передаются алгоритмам Anti-Quality, что может привести к пессимизации страницы за плохой UX.

Сценарий 2: Оценка юзабилити коммерческой страницы

1. Ситуация: Страница карточки товара в интернет-магазине.
2. Анализ Кода: Система идентифицирует теги <form>, <button> (Характеристики Кода), относящиеся к добавлению в корзину.
3. Анализ Рендеринга: Система определяет визуальное расположение формы/кнопки. Она фиксирует, что элемент находится на первом экране, заметен и не перекрыт другими блоками (Визуальные Характеристики).
4. Применение Правил: Система оценивает доступность и заметность функционального элемента.
5. Результат: Форма успешно идентифицирована, ее удобное расположение фиксируется как позитивный UX-сигнал (Proxima), подтверждающий функциональность страницы.

Вопросы и ответы