Как Яндекс использует анализ скриншотов и компьютерное зрение для оценки визуальной привлекательности сайтов при ранжировании

Описание

Какую задачу решает

Патент решает проблему, когда высокорелевантные с точки зрения контента результаты поиска оказываются неудовлетворительными для пользователя из-за низкого визуального качества, плохого дизайна или агрессивной рекламы. Пользователи склонны быстро покидать страницы, которые они находят «непривлекательными» (визуально перегруженными, эстетически неприятными), не успев оценить контент. Традиционные факторы ранжирования часто игнорировали этот аспект UX. Изобретение внедряет механизм автоматической оценки визуальной привлекательности для улучшения качества поисковой выдачи.

Что запатентовано

Запатентована система и метод интеграции «Appeal Factor» (Фактор Привлекательности) в процесс ранжирования. Суть изобретения заключается в автоматическом определении вероятности того, что страница понравится пользователю, основываясь на анализе ее скриншота (Screenshot). Этот фактор затем используется наряду с другими сигналами ранжирования для формирования SERP.

Как это работает

Система использует модель машинного обучения (Predictor Model), которая анализирует скриншот страницы. Эта модель (в патенте упоминаются Нейронные сети) предварительно обучается на большом наборе данных, где скриншоты размечены по степени привлекательности. Разметка осуществляется двумя способами: (1) людьми-тестировщиками (асессорами) или (2) автоматически, на основе анализа истории поведения пользователей (User Browsing History). Например, короткое время пребывания на сайте (Time Data) и быстрый возврат в выдачу интерпретируются как низкая привлекательность. В процессе ранжирования система применяет модель к скриншоту страницы-кандидата для вычисления Appeal Factor и учитывает этот скор в финальной формуле.

Актуальность для SEO

Высокая. В 2025 году UX, дизайн и качество верстки являются критически важными компонентами качества поиска. Алгоритмы, оценивающие качество страницы (например, Proxima и Anti-Quality в Яндексе), активно используют метрики, связанные с удовлетворенностью пользователя и отсутствием раздражающих элементов. Описанный механизм автоматизированной оценки визуального представления страницы через анализ скриншотов (с использованием Computer Vision) полностью соответствует современным трендам развития поисковых систем.

Важность для SEO

Влияние на SEO критическое (9/10). Этот патент формализует дизайн, верстку и UX как прямые факторы ранжирования. Он описывает конкретный механизм, позволяющий Яндексу автоматически пессимизировать сайты с плохим дизайном, агрессивной рекламой, всплывающими окнами или запутанной навигацией, даже если их контент релевантен. SEO-специалисты не могут игнорировать визуальное представление сайта, так как оно напрямую анализируется алгоритмами ранжирования.

Детальный разбор

Термины и определения

Appeal Factor (Фактор Привлекательности)

Метрика, рассчитываемая на основе скриншота страницы. Представляет собой вероятность того, что веб-страница покажется пользователю привлекательной. Может относиться к визуальной привлекательности или привлекательности контента. Может быть бинарным значением или числовым скором.

Predictor Model (Модель-предиктор)

Модель машинного обучения, обученная предсказывать Appeal Factor на основе входного скриншота. В патенте упоминается возможность использования алгоритмов на основе Нейронных сетей (Neural Network).

Screenshot (Скриншот)

Визуальное представление веб-страницы. Используется как входные данные для Predictor Model. Может представлять внешний вид всей веб-страницы.

Expert Testers (Эксперты-тестировщики / Асессоры)

Люди, которые вручную оценивают скриншоты и присваивают им оценку привлекательности для создания обучающих данных (Training Data / Ground Truth).

User Browsing History (История поведения пользователей)

Данные о взаимодействии пользователей с веб-страницами. Могут использоваться для автоматического определения привлекательности страницы и создания обучающих данных.

Time Data (Временные данные)

Компонент User Browsing History. Включает время, проведенное пользователем на странице (Dwell Time). Короткое время и возврат к SERP интерпретируется как низкая привлекательность.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на интеграции визуальной оценки страницы в процесс ранжирования.

Claim 1 (Независимый пункт): Описывает основной метод обработки запроса и генерации SERP.

1. Получение запроса и создание списка результатов.
2. Процесс ранжирования включает:
• Доступ к скриншоту как минимум одной веб-страницы из списка.
• Определение Appeal Factor этой страницы на основе скриншота. Фактор представляет собой вероятность того, что страница привлекательна для пользователя.
• Ранжирование страницы, основанное, по крайней мере частично, на этом Appeal Factor.
3. Генерация SERP с ранжированным списком.

Ядро изобретения — использование визуального представления страницы (скриншота) для вычисления метрики качества (Appeal Factor) и применение этой метрики в ранжировании.

Claim 7 (Зависимый от 1): Конкретизирует метод определения Appeal Factor.

1. Appeal Factor определяется с помощью Predictor Model.
2. Модель создается с использованием машинного обучения (Supervised Learning).
3. Обучение включает получение набора данных скриншотов, размеченных соответствующими факторами привлекательности (Ground Truth), и построение модели на их основе.

Claims 8 и 9 (Зависимые от 7): Определяют источники обучающих данных (Ground Truth).

• Claim 8: Набор данных создается экспертами-тестировщиками (асессорами).
• Claim 9: Набор данных создается с использованием истории поведения пользователей (User Browsing History).

Это подчеркивает два ключевых подхода к определению «эталона» привлекательности: прямая оценка (асессоры) и косвенная оценка (поведение пользователей).

Claim 10 (Зависимый от 7): Указывает тип алгоритма.

• Процесс машинного обучения основан на алгоритме нейронных сетей (Neural Network-based). Это подразумевает использование технологий компьютерного зрения для анализа визуальных данных (скриншотов).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, интегрируя офлайн-обработку (обучение модели и индексацию) и онлайн-ранжирование.

CRAWLING & INDEXING (Сканирование и Индексация)

• Сбор данных: Во время обхода сети краулер (например, управляемый подсистемой Scraper) должен не только скачивать контент, но и генерировать и сохранять скриншот страницы. Это требует инфраструктуры для рендеринга страниц.
• Извлечение признаков (Feature Extraction): На этапе индексации (или в офлайн-процессе) к скриншоту применяется Predictor Model для вычисления Appeal Factor. Этот фактор сохраняется в индексе как статический признак документа.

RANKING (Ранжирование)

• Применение фактора: На этапе ранжирования (вероятно, L2 или L3, где применяются основные ML-модели, такие как CatBoost) вычисленный Appeal Factor используется как один из признаков в формуле ранжирования. Документы с более высоким Appeal Factor получают преимущество. Это может быть интегрировано в метрики Proxima или Anti-Quality.

Офлайн-процессы (Обучение модели / Quality Layer)

• Сбор логов поведения пользователей (User Browsing History, Time Data) и оценок асессоров.
• Сопоставление этих данных со скриншотами страниц для формирования обучающей выборки.
• Обучение Predictor Model (например, нейронной сети для анализа изображений) предсказывать привлекательность.

На что влияет

• Все типы контента и запросов: Алгоритм универсален и влияет на любые страницы, для которых можно сгенерировать скриншот.
• Сайты с агрессивной монетизацией: Патент явно указывает на количество и размер рекламы, а также навязчивые призывы к подписке как на факторы, снижающие привлекательность. Сайты, злоупотребляющие рекламой, находятся в зоне риска.
• UX и Дизайн: Напрямую влияет на важность качества верстки, расположения блоков, шрифтов, цветовой палитры, контрастности и общего эстетического восприятия сайта.
• Структура и Навигация: Наличие и удобство навигации, а также четкий брендинг (идентификация владельца сайта) также анализируются моделью.

Когда применяется

• При индексации/переиндексации: Appeal Factor рассчитывается при обработке документа краулером и сохраняется в индексе.
• При ранжировании: Значение фактора используется при каждом запросе, когда документ попадает в список кандидатов на ранжирование.
• Условие активации: Наличие корректно сгенерированного скриншота страницы в базе поисковой системы.

Пошаговый алгоритм

Алгоритм состоит из двух основных фаз: Обучение модели (Офлайн) и Применение модели (Индексация/Ранжирование).

Фаза 1: Обучение Predictor Model (Офлайн)

1. Сбор данных (Скриншоты): Краулер собирает и сохраняет скриншоты множества веб-страниц.
2. Сбор данных (Метки Привлекательности / Ground Truth): Определение эталонного Appeal Factor для этих скриншотов. Это делается одним из двух способов:
• Способ А (Асессоры): Эксперты вручную оценивают скриншоты по шкале привлекательности (визуальный дизайн, контент, общее впечатление).
• Способ Б (Поведение): Анализ логов взаимодействия пользователей. Короткое время на сайте (Time Data) и быстрый возврат к SERP ассоциируются с низкой привлекательностью; длительное пребывание и внутренние переходы — с высокой.
3. Формирование обучающей выборки: Создание пар (Скриншот, Метка Привлекательности).
4. Обучение модели: Использование алгоритма машинного обучения (например, Нейронной Сети) для построения Predictor Model, которая учится находить взаимосвязь между визуальными элементами на скриншоте и его меткой привлекательности.

Фаза 2: Применение модели (Индексация и Ранжирование)

1. Индексация (Расчет фактора):
   • При обходе страницы краулер генерирует ее скриншот.
   • К скриншоту применяется обученная Predictor Model.
   • Модель возвращает расчетный Appeal Factor (например, число от 0 до 1).
   • Этот фактор сохраняется в индексе документа.
2. Ранжирование (Использование фактора):
   • Пользователь вводит запрос, система отбирает кандидатов.
   • Формула ранжирования учитывает различные факторы, включая сохраненный в индексе Appeal Factor.
   • Страницы с более высоким фактором получают буст в ранжировании.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Визуальные данные): Ключевые данные — это Скриншот веб-страницы. Это изображение, содержащее информацию о расположении всех визуальных элементов.
• Поведенческие факторы (для обучения): Используются для формирования эталонных оценок привлекательности. Включают User Browsing History, в частности Time Data (Dwell Time) и возвраты к SERP.
• Оценки Асессоров (Expert Testers) (для обучения): Ручные оценки привлекательности, используемые как Ground Truth.

Патент НЕ использует контентные (текстовые) или ссылочные факторы непосредственно в алгоритме расчета Appeal Factor. Расчет основан именно на визуальных данных скриншота.

Какие метрики используются и как они считаются

• Appeal Factor (Фактор Привлекательности): Основная метрика, вычисляемая системой. Представляет собой вероятность того, что страница понравится пользователю. Может быть бинарной или числовой.
• Алгоритмы машинного обучения: Используется Supervised Learning. В патенте явно упоминается использование Neural Network-based machine-learning algorithm. Это подразумевает использование технологий компьютерного зрения (Computer Vision), вероятно, сверточных нейронных сетей (CNN), для анализа визуальных паттернов.
• Анализируемые визуальные характеристики (Примеры из патента): Модель учится распознавать паттерны на скриншоте, такие как:
  • Количество, размер и расположение рекламных блоков.
  • Количество и расположение призывов к подписке/членству (навязчивые элементы).
  • Соотношение полезного контента к общему пространству страницы.
  • Наличие и четкость навигационных ссылок.
  • Четкость идентификации владельца сайта (брендинг).
  • Визуальный контраст, эстетический стиль, цвета, шрифты (стиль, цвет, размер).

Выводы

1. Визуальная привлекательность — это прямой фактор ранжирования: Яндекс разработал и использует механизм для автоматической оценки дизайна, UX и качества верстки (Appeal Factor) как сигнал ранжирования.
2. Анализ основан на скриншотах и Computer Vision: Система оценивает то, что видит пользователь. Для анализа скриншота страницы используются сложные технологии, включая нейронные сети и компьютерное зрение, а не анализ кода.
3. Поведенческие факторы как эталон качества дизайна: Модель обучается предсказывать привлекательность, используя не только оценки асессоров, но и поведенческие данные (Dwell Time, возвраты к SERP) как эталон. Дизайн, ведущий к плохому поведению, классифицируется как непривлекательный.
4. Пессимизация за плохое UX и рекламу: Основная цель — выявить и понизить в ранге страницы, которые отталкивают пользователей из-за обилия рекламы, плохого дизайна или запутанной структуры, даже если они текстово релевантны.
5. Интеграция SEO и UX/Design: Этот патент стирает границу между техническим SEO и дизайном. Качество визуального представления сайта становится неотъемлемой частью SEO-стратегии.

Практика

Best practices (это мы делаем)

• Инвестировать в качественный дизайн и UX: Обеспечить чистый, современный и эстетически приятный дизайн. Это напрямую влияет на Appeal Factor. Убедитесь, что визуальные элементы (шрифты, цвета, контрастность) делают контент доступным и читаемым.
• Соблюдать баланс между контентом и рекламой: Избегать перегруженности рекламой, особенно в верхней части страницы (Above the Fold). Патент явно указывает, что большое количество и размер рекламы снижают привлекательность. Реклама не должна мешать потреблению основного контента.
• Обеспечить четкую визуальную иерархию и навигацию: Структура страницы должна быть интуитивно понятной. Наличие четких навигационных ссылок упоминается как положительный фактор.
• Повышать доверие через дизайн: Явная индикация владельца сайта (брендинг, логотип) упоминается как признак привлекательности и повышения доверия.
• Мониторинг поведенческих метрик: Анализировать время на сайте и процент отказов (возвратов к выдаче). Эти данные используются для обучения Predictor Model, поэтому улучшение этих метрик критически важно.
• Обеспечить корректный рендеринг: Убедиться, что краулеры Яндекса могут корректно отрендерить страницу и создать репрезентативный скриншот (проверять через Вебмастер). Если скриншот будет некорректным, оценка Appeal Factor также будет неверной.

Worst practices (это делать не надо)

• Использование агрессивной рекламы: Баннеры, перекрывающие контент, всплывающие окна (pop-ups), и большое количество рекламных блоков приведут к низкому Appeal Factor и пессимизации.
• Запутанная структура и плохая верстка: Визуальный хаос, плохой контраст, нечитаемые шрифты, отсутствие четкой навигации.
• Игнорирование дизайна в пользу только текста: Создание страниц, оптимизированных под ключевые слова, но имеющих устаревший или некачественный дизайн.
• Низкое соотношение контент/шум: Ситуации, когда основной контент занимает малую часть экрана по сравнению с рекламой, меню и другими второстепенными блоками.

Стратегическое значение

Патент подтверждает стратегический курс Яндекса на повышение качества пользовательского опыта как ключевого элемента ранжирования. Он демонстрирует применение сложных технологий (Computer Vision, Deep Learning) для оценки параметров, которые ранее считались субъективными (дизайн, эстетика). Это согласуется с метриками Proxima и Anti-Quality. Для долгосрочной SEO-стратегии это означает необходимость тесной интеграции команд SEO, дизайна и UX. Успешное продвижение невозможно без создания визуально привлекательного и удобного продукта.

Практические примеры

Сценарий 1: Пессимизация за избыток рекламы

1. Ситуация: Информационный портал размещает большой рекламный баннер вверху страницы и несколько блоков контекстной рекламы внутри статьи. Поведенческие метрики показывают быстрые возвраты к SERP.
2. Действие системы: Краулер делает скриншот. Модель анализа скриншотов (Neural Network), обученная на поведенческих данных и оценках асессоров, определяет высокую плотность рекламы и присваивает низкий Appeal Factor.
3. Результат: Страница теряет позиции в выдаче, несмотря на высокую текстовую релевантность.

Сценарий 2: Улучшение UX в Ecommerce

1. Ситуация: Страница категории интернет-магазина перегружена фильтрами, баннерами акций и блоками рекомендаций, что затрудняет просмотр товаров. Appeal Factor низкий.
2. Действие (SEO/UX): Проводится редизайн: интерфейс упрощается, фильтры делаются компактнее, отвлекающие баннеры убираются, фокус смещается на товары с четкой навигацией.
3. Ожидаемый результат: При переиндексации обновленный, визуально чистый макет получает более высокую оценку Appeal Factor, так как он соответствует паттернам привлекательных сайтов, заложенным в модель. Это положительно сказывается на ранжировании категории.

Вопросы и ответы