Как Яндекс использует анализ скриншотов для оценки визуальной привлекательности (UX/Дизайна) страницы при ранжировании

Описание

Какую задачу решает

Патент решает проблему ограниченности традиционных факторов ранжирования (релевантность, авторитетность), которые не учитывают визуальную привлекательность и удобство использования (UX) страницы. Изобретение направлено на предотвращение ситуаций, когда пользователь немедленно покидает релевантную страницу, если находит ее отталкивающей, эстетически неприятной или визуально перегруженной. Система улучшает качество выдачи, включая в процесс ранжирования оценку того, насколько вероятно страница понравится пользователю с точки зрения ее внешнего вида.

Что запатентовано

Запатентована система и метод включения Фактора Привлекательности (Appeal Factor) в процесс ранжирования поисковой выдачи. Суть изобретения заключается в анализе скриншота (Screenshot) всей веб-страницы с помощью модели машинного обучения (Predictor Model) для определения вероятности того, что страница покажется пользователю привлекательной. Этот фактор используется наряду с другими сигналами ранжирования.

Как это работает

Система использует модель машинного обучения (в патенте упоминаются Нейронные Сети), обученную на наборе данных, состоящем из скриншотов страниц и соответствующих им оценок привлекательности. Эти оценки генерируются двумя способами: (1) Экспертами-тестировщиками (асессорами) или (2) Автоматически, путем анализа истории поведения пользователей (User Browsing History) (например, корреляция между макетом страницы и показателями отказов или временем на сайте). Во время ранжирования система получает доступ к скриншоту страницы-кандидата, применяет обученную модель для расчета Appeal Factor и использует эту оценку как сигнал ранжирования.

Актуальность для SEO

Высокая. В современном поиске UX, качество макета, плотность рекламы и визуальное представление контента играют критическую роль в удовлетворенности пользователя. Использование методов компьютерного зрения (анализ скриншотов) для автоматической оценки UX является передовым и крайне актуальным подходом к оценке качества страниц, который хорошо вписывается в стратегии типа Proxima и Anti-Quality.

Важность для SEO

Влияние на SEO критическое (9/10). Этот патент имеет огромное значение для пересечения SEO и UX/Дизайна. Он описывает конкретный механизм, позволяющий Яндексу алгоритмически оценивать визуальное представление, макет и удобство использования страницы. Система может пессимизировать перегруженные рекламой, плохо сверстанные или эстетически непривлекательные страницы, независимо от их текстовой релевантности или ссылочного профиля.

Детальный разбор

Термины и определения

Appeal Factor (Фактор Привлекательности)

Метрика, представляющая вероятность того, что веб-страница понравится пользователю. Может оценивать визуальную привлекательность или привлекательность контента. Может быть бинарной (да/нет) или числовой (например, от 1 до 100).

Expert Testers (Эксперты-тестировщики / Асессоры)

Люди, которые просматривают скриншоты веб-страниц и присваивают им оценки привлекательности (Appeal Factor). Используются для создания обучающего набора данных.

Labeled Dataset (Размеченный набор данных)

Набор данных, используемый для обучения модели машинного обучения. Состоит из скриншотов веб-страниц, каждому из которых присвоена оценка Appeal Factor (либо экспертами, либо на основе анализа поведения).

Neural Network (Нейронная сеть)

Тип вычислительной модели машинного обучения, упоминаемый в патенте как возможная реализация Predictor Model. Вероятно, используются методы компьютерного зрения (например, сверточные нейронные сети) для анализа изображений (скриншотов).

Predictor Model / Appeal Factor Model (Модель-предиктор / Модель Фактора Привлекательности)

Модель машинного обучения, обученная предсказывать Appeal Factor для нового, неразмеченного скриншота.

Screenshot (Скриншот)

Визуальное представление всей веб-страницы (entirety of the webpage). Является входными данными для Predictor Model.

User Browsing History (История поведения пользователей)

Данные о взаимодействии пользователей с веб-страницами (например, время на сайте, возвраты на SERP). Включает временные данные (Time Data). Используются как альтернативный источник для создания Labeled Dataset.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на интеграции оценки визуальной привлекательности в процесс ранжирования.

Claim 1 (Независимый пункт): Описывает основной метод обработки поискового запроса и генерации SERP, включающий сравнение как минимум двух страниц.

1. Система получает поисковый запрос и создает список результатов поиска.
2. Процесс ранжирования включает следующие шаги:
• Получение доступа к Первому скриншоту Первой страницы. Патент уточняет логику: если скриншот существует, он извлекается с сервера; если нет — он создается.
• Определение Первого Appeal Factor для Первой страницы как функции от Первого скриншота. Этот фактор представляет вероятность того, что страница привлекательна для пользователя.
• Получение доступа ко Второму скриншоту Второй страницы (аналогичным образом).
• Определение Второго Appeal Factor для Второй страницы.
• Ранжирование Первой страницы относительно Второй страницы, основанное, по крайней мере частично, на Первом и Втором Appeal Factor.
3. Генерация SERP, включающей ранжированный список результатов.

Ядром изобретения является использование анализа скриншота для вычисления фактора ранжирования, отражающего визуальную привлекательность страницы.

Где и как применяется

Изобретение затрагивает несколько слоев поисковой архитектуры, сочетая процессы сбора данных, офлайн-анализа и ранжирования.

CRAWLING & INDEXING – Сканирование, Сбор данных и Индексация

• Сбор данных (CRAWLING): Поисковые роботы (Crawlers) должны не только скачивать контент, но и обеспечивать создание или получение скриншотов всей веб-страницы. Эти скриншоты сохраняются.
• Индексация и извлечение признаков (INDEXING): Appeal Factor, скорее всего, рассчитывается офлайн на этапе индексации или переиндексации, так как анализ скриншотов с помощью нейронных сетей является ресурсоемкой операцией. Система применяет Appeal Factor Model к сохраненному скриншоту и записывает полученный скор (Appeal Factor) в индекс как статический фактор документа.

RANKING – Ранжирование (Уровень L3)

• На этапе финального ранжирования (Upper Reranking), где применяются основные ML-модели (например, CatBoost/YATI), предварительно рассчитанный Appeal Factor извлекается из индекса и используется как один из признаков ранжирования. Он влияет на итоговый Ranking Score документа наряду с релевантностью и другими факторами качества.

QUALITY LAYER – Слой Качества (Офлайн-процессы)

• Этот механизм является частью системы контроля качества, тесно связанной с метриками типа Proxima и, особенно, Anti-Quality. Appeal Factor оценивает визуальное качество и UX.
• Обучение модели: Офлайн-процессы включают сбор данных для обучения модели. Это может быть взаимодействие с асессорами (Expert Testers) или анализ поведенческих логов (User Browsing History).

На что влияет

• Типы контента и запросы: Влияет на все типы контента и запросы, так как является общим сигналом качества, связанным с UX и визуальным представлением.
• Специфические ниши: Особенно сильно влияет на ниши, где визуальная презентация критична (e-commerce, дизайн), а также на информационные сайты с агрессивной монетизацией.
• Элементы страницы: Патент явно указывает, что анализируются визуальные элементы, видимые на скриншоте: количество и размер рекламы, соотношение основного контента и рекламы, навигация, наличие и качество изображений, цвета, шрифты, контрастность, эстетический стиль.

Когда применяется

• Расчет фактора: Производится при индексации или обновлении документа в базе поиска, когда доступен актуальный скриншот страницы.
• Применение в ранжировании: Используется при обработке большинства поисковых запросов на этапе финального ранжирования (L3) для оценки качества документа.

Пошаговый алгоритм

Алгоритм состоит из трех основных процессов: Обучение, Расчет фактора и Ранжирование.

Процесс А: Обучение модели (Офлайн)

1. Сбор данных: Формирование набора скриншотов веб-страниц.
2. Разметка (Labeling): Получение оценок привлекательности (Appeal Factor) для каждого скриншота. Это делается одним из двух методов:
• Метод 1 (Асессоры): Эксперты-тестировщики оценивают привлекательность (визуальную, контентную, общее впечатление).
• Метод 2 (Поведенческие данные): Анализ логов User Browsing History. Извлечение метрик взаимодействия (например, время на сайте, показатель отказов). Короткое время пребывания или быстрый возврат к SERP маркируют страницу как непривлекательную.
3. Обучение модели: Построение Predictor Model (например, Нейронной сети) с использованием размеченного набора данных. Модель учится предсказывать Appeal Factor на основе визуальных характеристик скриншота.

Процесс Б: Расчет фактора (Индексация/Офлайн)

1. Получение скриншота: Поисковый робот создает или получает доступ к скриншоту всей веб-страницы.
2. Анализ: Применение обученной Appeal Factor Model к скриншоту (неразмеченному).
3. Вычисление: Генерация Appeal Factor (числового значения или бинарной метки).
4. Сохранение: Запись Appeal Factor в индекс документа.

Процесс В: Применение в ранжировании (Онлайн)

1. Получение запроса и формирование списка кандидатов.
2. Извлечение признаков: Для страниц-кандидатов из индекса извлекается сохраненный Appeal Factor.
3. Ранжирование: Основная формула ранжирования использует Appeal Factor как один из сигналов для расчета итогового Ranking Score. Страницы с более высоким фактором получают преимущество.
4. Генерация SERP.

Какие данные и как использует

Данные на входе

Основным источником данных для работы алгоритма в фазе применения является визуальная информация.

• Мультимедиа и Визуальные факторы: Скриншот всей веб-страницы. Из него модель извлекает визуальные признаки. В патенте перечислены примеры:
• Количество основного контента.
• Визуальный контраст, эстетический стиль, цвета.
• Шрифт (стиль, цвет, размер).
• Изображения (размер, количество, содержание, включая наличие сексуального, насильственного контента).
• Реклама (размер, количество, расположение баннеров и блоков).
• Навигационные ссылки (доступность, расположение).
• Наличие идентификации владельца сайта (например, логотипа).

Для обучения модели используются дополнительные данные:

• Поведенческие факторы: Используются для создания Labeled Dataset. В патенте явно упоминаются данные о времени (Time Data), проведенном на странице, и действия пользователей (например, быстрый возврат на SERP).
• Экспертные оценки: Оценки, выставленные Expert Testers (асессорами).

Какие метрики используются и как они считаются

• Appeal Factor (Фактор Привлекательности): Основная вычисляемая метрика. Представляет собой вероятность того, что страница привлекательна. Патент указывает, что метрика может быть:
• Бинарной (Bimodal): Например, «хорошо»/»плохо», 1/0.
• Числовой (Numerical value): Например, в диапазоне от 1 до 100.
• Алгоритмы машинного обучения: Используется Predictor Model. В качестве предпочтительной реализации упоминается Neural Network (Нейронная сеть). Это указывает на применение методов компьютерного зрения для анализа скриншотов.
• Метод обучения: Используется Supervised Learning (обучение с учителем). Модель обучается находить функциональную зависимость между входными данными (скриншот) и выходными данными (оценка привлекательности).

Выводы

1. Визуальное представление и UX являются факторами ранжирования: Патент явно подтверждает, что Яндекс алгоритмически оценивает дизайн, макет и удобство использования страницы. Эта оценка (Appeal Factor) является прямым сигналом ранжирования.
2. Анализ на уровне скриншотов (Computer Vision): Система не просто анализирует код или DOM, она буквально «смотрит» на всю страницу как пользователь, анализируя скриншот с помощью машинного обучения (нейросетей).
3. Гибридное обучение основано на человеческом восприятии: Модель (Predictor Model) обучается предсказывать человеческую реакцию. Источниками истины являются либо прямые оценки асессоров, либо поведенческие данные пользователей (например, отказы), коррелирующие с дизайном.
4. Идентифицированы конкретные негативные факторы: В патенте приводятся примеры непривлекательных страниц: агрессивная реклама (баннеры), многочисленные призывы к подписке, занимающие большую часть экрана, малое количество основного контента, отсутствие четкой навигации и информации о владельце сайта.
5. Идентифицированы позитивные факторы: Примеры привлекательных страниц включают чистый дизайн, наличие релевантных изображений, четкую навигацию и понятную идентификацию бренда или владельца сайта.

Практика

Best practices (это мы делаем)

• Инвестиции в качественный UX/UI дизайн: Обеспечивайте чистый, эстетически приятный и современный макет страницы. Алгоритм напрямую оценивает визуальную привлекательность.
• Оптимизация соотношения контента и рекламы: Убедитесь, что основной контент занимает центральное место и не перекрывается рекламой или агрессивными призывами к действию. Соотношение полезного контента к рекламе должно быть высоким. Следуйте рекомендациям Better Ads Standards.
• Четкая навигация и брендинг: Пользователю (и алгоритму) должно быть сразу понятно, чей это сайт (наличие логотипа) и как по нему перемещаться (понятные навигационные ссылки). Патент отмечает это как признаки привлекательного сайта.
• Использование качественных изображений: В патенте отмечается, что наличие релевантных изображений положительно влияет на Appeal Factor.
• Читаемость и контрастность: Убедитесь, что шрифты легко читаются, а цветовая схема обеспечивает достаточный контраст. Эти элементы также анализируются моделью на скриншоте.
• Мониторинг поведенческих метрик: Поскольку Appeal Factor Model может обучаться на поведенческих данных (время на сайте, отказы), необходимо постоянно работать над улучшением этих показателей через оптимизацию UX/UI.

Worst practices (это делать не надо)

• Перегрузка страниц рекламой: Размещение большого количества баннеров, особенно в верхней части страницы (как в примере FIG. 4 патента), приведет к снижению Appeal Factor.
• Агрессивные Pop-up и призывы к подписке: Элементы, которые занимают значительную часть экрана и мешают доступу к основному контенту, будут пессимизированы.
• Пренебрежение дизайном и эстетикой (Визуальный шум): Устаревший, неаккуратный, запутанный или «замусоренный» дизайн получит низкую оценку привлекательности.
• Запутанная навигация или отсутствие идентификации сайта: Если неясно, где находится пользователь и кто предоставил информацию, это негативно скажется на оценке.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Яндекса на удовлетворенность пользователя и качество UX. Он демонстрирует, что SEO больше не ограничивается текстом и ссылками; оно неразрывно связано с дизайном и удобством использования. Поисковые системы активно развивают методы компьютерного зрения (Computer Vision) для автоматической оценки качества макета. Вероятно, Appeal Factor является одним из компонентов глобальных алгоритмов оценки качества, таких как Proxima и Anti-Quality. Долгосрочная стратегия должна включать оптимизацию не только кода и контента, но и визуального восприятия страницы.

Практические примеры

Сценарий 1: Ранжирование информационных статей (MFA vs Качественный сайт)

Сравнение двух сайтов по запросу (например, «информация о ленивцах», как в патенте).

1. Сайт А (Плохой UX / MFA): Имеет релевантный текст, но страница перегружена баннерной рекламой, содержит несколько больших блоков с призывом оформить подписку, основной контент занимает малую часть экрана, навигация запутана.
2. Сайт Б (Хороший UX): Также имеет релевантный текст. Дизайн чистый, есть четкий логотип, понятная навигация, много качественных фотографий по теме, реклама минимальна и аккуратно встроена.
3. Действие системы: Система анализирует скриншоты обеих страниц с помощью Predictor Model.
   • Сайт А получает низкий Appeal Factor из-за визуальной перегруженности и доминирования рекламы.
   • Сайт Б получает высокий Appeal Factor из-за эстетики и удобства.
4. Результат: При схожих показателях релевантности и авторитетности, Сайт Б будет ранжироваться выше Сайта А благодаря более высокому Appeal Factor.

Сценарий 2: Редизайн и обратная связь

1. Ситуация: Сайт провел редизайн, сделав его более современным, но усложнив навигацию.
2. Реакция пользователей: Пользователи начинают чаще покидать сайт (рост отказов), так как не могут найти нужную информацию.
3. Действие системы (Обучение): Система анализирует User Browsing History и связывает новый дизайн (скриншот) с негативными поведенческими сигналами. Эти данные используются для переобучения Appeal Factor Model.
4. Результат (Ранжирование): Модель начинает оценивать новый дизайн как менее привлекательный. Appeal Factor сайта снижается, что негативно влияет на ранжирование. Это подчеркивает важность не только эстетики, но и функционального UX.

Вопросы и ответы