Как Google эффективно измеряет и ранжирует пользовательский опыт (UX) взаимодействия с контентом и рекламой

Термины и определения

Content Experience Type (CET) (Тип Пользовательского Опыта)

Набор правил или параметров для генерации Content Experience Documents. CET определяет характеристики как основного (first-party), так и стороннего (third-party) контента, включая макет, типы медиа (аудио, видео, текст), размеры, автовоспроизведение, а также правила выбора контента (например, на основе истории браузера).

Content Experience Document (Документ Пользовательского Опыта)

Конкретная реализация веб-страницы или ресурса, сгенерированная в соответствии с правилами определенного CET. Включает основной контент и сторонний контент (например, рекламу).

Feedback Request Document (FRD) (Документ Запроса Обратной Связи)

Электронный документ (например, опрос), отправляемый пользователю. Содержит несколько Content Experience Documents (соответствующих разным CETs) и инструменты для сбора обратной связи.

Update Subset (Подмножество для обновления)

Группа CETs, выбранная из общего рейтинга для текущей итерации оценки. Выбирается так, чтобы включать CETs, близкие по рангу.

Predetermined Update Threshold (Предопределенный порог обновления)

Максимально допустимая разница в рангах между CETs внутри Update Subset. Используется для фокусировки на близко ранжированных элементах и повышения эффективности процесса.

Viewer Experience (Опыт взаимодействия пользователя)

Субъективный опыт пользователя при просмотре контента. Измеряется по метрикам, таким как удовлетворенность (Satisfaction), раздражение (Annoyance), отвлечение (Distraction), доверие (Trustworthy) и др.

Bradley-Terry analysis (Анализ Брэдли-Терри)

Статистическая модель для предсказания исхода парных сравнений. Используется для преобразования парных предпочтений пользователей (какой CET лучше) в общий рейтинг всех CETs.

Content Engagement Verification Page (Страница верификации вовлеченности)

Часть FRD, содержащая вопросы для проверки того, что пользователь действительно взаимодействовал с контентом (например, вопросы на понимание прочитанного, FIG. 12).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод снижения использования компьютерных ресурсов для обновления рейтингов динамически генерируемого контента.

1. Система идентифицирует текущий рейтинг Content Experience Types (CETs).
2. Система итеративно обновляет рейтинг, выполняя следующие шаги:
• (i) Выбор Update Subset: Выбираются CETs так, чтобы разница в рангах между самым высоко- и самым низкоранжированным CET в этом подмножестве была меньше, чем Predetermined Update Threshold. Порог устанавливается для сокращения числа итераций.
• (ii) Получение запроса от клиентского устройства на Feedback Request Document (FRD).
• (iii) Идентификация идентификатора клиентского устройства.
• (iv) Генерация FRD: Создается документ, включающий несколько Content Experience Documents. Каждый документ соответствует одному CET из Update Subset и генерируется с использованием параметров CET И информации, связанной с идентификатором клиентского устройства (персонализация).
• (v) Передача FRD на устройство.
• (vi) Получение обратной связи и использование её для обновления рейтинга CETs.

Ядро изобретения заключается в специфическом методе выборки (фокус на близких рангах для эффективности) и в динамической генерации контента для оценки, которая учитывает персонализацию.

Claim 5 (Зависимый): Уточняет условие завершения итераций.

Итерации продолжаются до выполнения условия завершения (update termination condition). Это условие основано на сравнении количества CETs, чей ранг изменился после обновления, с предопределенным порогом изменения ранга (predetermined rank-change threshold).

Claim 7 (Зависимый): Уточняет метод обновления рейтинга.

Обновление рейтинга CETs выполняется с использованием анализа Брэдли-Терри (Bradley-Terry analysis).

Claim 8 (Зависимый): Уточняет параметры CET.

Параметры как минимум одного CET соответствуют правилам выбора контента на основе онлайн-активности, связанной с идентификатором клиентского устройства (например, история просмотров).

Где и как применяется

Этот патент описывает инфраструктуру оценки и не вписывается напрямую в стандартные этапы обработки поискового запроса в реальном времени. Это система для офлайн-анализа, тестирования и обучения моделей.

Обучение и Валидация Моделей (Вне стандартных фаз)
Система используется для сбора данных о пользовательском опыте (Viewer Experiences). Результаты этого процесса — ранжированные списки Content Experience Types (CETs) — используются для обучения и валидации алгоритмов, которые затем применяются в поиске.

Влияние на INDEXING и RANKING:
Модели, обученные с помощью данных этой системы (например, классификаторы качества макета или Page Experience), могут применяться на этапе INDEXING для извлечения признаков качества страницы. Эти признаки затем используются на этапе RANKING для корректировки позиций документов.

Входные данные:

• Список Content Experience Types (CETs) и их параметры.
• Текущий рейтинг CETs.
• Идентификаторы клиентских устройств (тестировщиков) и связанная с ними информация (для персонализации).
• Запросы на Feedback Request Documents (FRDs).

Выходные данные:

• Обновленный, более точный рейтинг CETs.
• Данные для анализа влияния конкретных параметров (например, автовоспроизведения рекламы) на пользовательский опыт.

На что влияет

• Конкретные типы контента и форматы: Влияет на оценку страниц с различными макетами, особенно на соотношение основного контента и рекламы (third-party content). Оцениваются различные форматы медиа: текст, изображения, видео, аудио.
• Технические аспекты UX: Система может оценивать влияние производительности (latency, lag) на опыт пользователя, как указано в описании.
• Мобильные устройства: В примерах (FIG. 7) явно упоминается тестирование опыта на мобильных веб-страницах (Android phone or iPhone).
• Персонализация контента/рекламы: Система разработана для оценки того, как контент, выбранный на основе данных пользователя (история просмотров, куки, данные аккаунта), влияет на его опыт.

Когда применяется

Система применяется в процессе разработки и улучшения алгоритмов оценки качества контента и пользовательского опыта.

• Условия работы: Применяется итеративно для уточнения рейтинга CETs.
• Триггеры активации: Активация конкретной итерации происходит для подмножества CETs, где наблюдается высокая неопределенность ранжирования (т.е. ранги близки в пределах порога P).
• Условие завершения: Процесс останавливается при достижении условия завершения (termination condition), например, когда рейтинг стабилизировался (количество изменений ранга ниже порога rank-change threshold или после N итераций без изменений).

Пошаговый алгоритм

Процесс итеративного обновления рейтинга (Dynamic Resampling) (На основе FIG. 6)

1. Инициализация: Установить счетчик последовательных итераций без изменения рейтинга (n) в 0.
2. Выбор базового CET: Выбрать CET из общего списка.
3. Генерация подмножества (Update Subset): Идентифицировать все CETs, чей текущий ранг находится в пределах заданного порога (P) от ранга базового CET.
4. Формирование тестового набора для FRD: Выбрать M различных CETs из подмножества для включения в один документ запроса обратной связи (FRD).
5. Генерация и отправка FRD:
   • Идентифицировать получателя (клиентское устройство) и его идентификатор.
   • Сгенерировать Content Experience Documents для каждого из M выбранных CETs, используя правила CET и информацию об идентификаторе устройства (персонализация).
   • Отправить FRD на клиентское устройство.
6. Сбор обратной связи: Получить отзывы пользователей (например, ранжирование предпочтений).
7. Обновление рейтинга: Пересчитать общий рейтинг CETs на основе новой обратной связи (используя Bradley-Terry algorithm).
8. Проверка стабильности: Сравнить новый рейтинг с предыдущим.
   • Если рейтинг изменился: Сбросить счетчик (n) в 0.
   • Если рейтинг не изменился: Инкременровать счетчик (n).
9. Проверка условия завершения: Проверить, достиг ли счетчик (n) порогового значения (N).
   • Если ДА: Завершить процесс.
   • Если НЕТ: Вернуться к шагу 2.

Какие данные и как использует

Данные на входе

• Контентные, Структурные и Мультимедиа факторы (Параметры CETs): Данные, определяющие CETs.
  • Типы медиа (image, video, audio, text).
  • Размеры контента (в пикселях).
  • Настройки автовоспроизведения (Autoplay).
  • Наличие гиперссылок (Hyperlink).
  • Расположение элементов (например, реклама между 2 и 3 абзацами).
• Пользовательские и Поведенческие факторы (Для генерации контента в тесте):
  • Идентификаторы устройств (Device identifiers).
  • История браузера (browsing history), например, за последние 5 минут.
  • Файлы cookie или данные аккаунта.
  • Самодекларируемая информация (Self-reported information): возраст, пол, доход, интересы (собираются через FRD, FIG. 9).
• Данные обратной связи (Feedback Information):
  • Парные сравнения или явное ранжирование CETs (FIG. 14).
  • Оценки по конкретным метрикам UX (FIG. 13).
  • Данные для верификации вовлеченности (Content engagement verification) (FIG. 12).

Какие метрики используются и как они считаются

Метрики оценки Viewer Experience (Субъективные):

• Удовлетворенность (Satisfaction).
• Раздражение (Annoying).
• Полезность (Useful).
• Доверие (Trustworthy).
• Визуальная привлекательность (Visually Pleasing).
• Отвлечение (Distracting).
• Неуместность (Inappropriate).
• Беспокойство/Дискомфорт (Uneasiness).

Методы расчетов и Метрики управления процессом:

• Ranking Score (Оценка ранжирования): Вычисляется для каждого CET. Патент явно упоминает использование алгоритма Брэдли-Терри (Bradley-Terry algorithm) для преобразования парных сравнений в глобальный рейтинг.
• Модель Брэдли-Терри: Вероятность того, что опыт i предпочтительнее опыта j, выражается как $\alpha\_{i}/(\alpha\_{i}+\alpha\_{j})$, где $\alpha$ — это оценка ранжирования. Параметры $\alpha$ определяются путем максимизации функции логарифмического правдоподобия: $L(\alpha) = \sum_{i=1}^{n}\sum_{j=1}^{n}[w_{ij}log\alpha_i - w_{ij}log(\alpha_i+\alpha_j)]$, где $w_{ij}$ — количество раз, когда опыт i был предпочтен опыту j.
• Пороги (P, N): Параметры Predetermined Update Threshold (P) и порог стабилизации (N) используются для управления эффективностью и завершением процесса тестирования.

1. Подтверждение научного подхода к измерению UX: Патент демонстрирует сложную инфраструктуру для систематического и эффективного измерения пользовательского опыта. Google не полагается на общие принципы, а научно тестирует конкретные конфигурации контента и рекламы (CETs).
2. Ключевые метрики UX: Патент явно перечисляет метрики, которые измеряются: удовлетворенность, раздражение, отвлечение, доверие, визуальная привлекательность и дискомфорт. Эти метрики, вероятно, лежат в основе или коррелируют с сигналами Page Experience.
3. Оценка персонализированного опыта: Система динамически генерирует контент, используя данные пользователя (история просмотров, куки). Это подчеркивает, что Google оценивает влияние персонализированной рекламы на общий опыт взаимодействия со страницей.
4. Эффективность через фокусировку (Dynamic Resampling): Основное техническое нововведение — фокусировка сбора данных на близко ранжированных элементах. Это позволяет Google быстро и эффективно адаптировать свои модели оценки качества.
5. Важность вовлеченности: Система включает механизмы верификации вовлеченности (Content Engagement Verification), чтобы убедиться, что пользователь действительно взаимодействовал с контентом перед оценкой.
6. Инфраструктурный характер: Патент описывает методологию тестирования, а не алгоритм ранжирования. Результаты этих тестов используются для обучения моделей, которые затем могут влиять на поиск.

Best practices (это мы делаем)

Хотя патент инфраструктурный, он дает важное понимание приоритетов Google в оценке UX.

• Оптимизация ключевых метрик UX: Сосредоточьтесь на создании опыта, который максимизирует удовлетворенность (Satisfaction) и минимизирует раздражение (Annoyance) и отвлечение (Distraction). Это напрямую соответствует метрикам, которые измеряет система.
• Аккуратная интеграция рекламы: Проверяйте, как рекламные блоки влияют на пользовательский опыт. Убедитесь, что реклама не является чрезмерно навязчивой, не вызывает дискомфорта (Uneasiness) и соответствует ожиданиям пользователей в плане доверия (Trustworthy).
• Внимание к визуальной привлекательности и макету: Поскольку система тестирует различные CETs (макеты), необходимо гарантировать, что макет сайта удобен, визуально привлекателен (Visually Pleasing) и не мешает потреблению основного контента.
• Приоритет мобильного опыта: Примеры в патенте явно указывают на тестирование мобильных веб-страниц. Оптимизация UX на мобильных устройствах остается критически важной.
• Применение методологии в собственных A/B тестах: Используйте принцип Dynamic Resampling в своих тестах: фокусируйте трафик на сравнении вариантов с близкими показателями эффективности, чтобы быстрее достичь статистической значимости.

Worst practices (это делать не надо)

• Использование раздражающих форматов: Избегайте форматов, которые с высокой вероятностью вызовут Annoyance, например, агрессивное автовоспроизведение видео со звуком или полноэкранные всплывающие окна (Intrusive Interstitials).
• Создание отвлекающих макетов: Не размещайте контент таким образом, чтобы он сильно отвлекал (Distracting) от основной цели страницы. Система активно измеряет этот показатель.
• Игнорирование влияния рекламы на доверие: Размещение низкокачественной или вводящей в заблуждение рекламы может снизить Trustworthy сайта в целом, что фиксируется системой оценки.

Стратегическое значение

Патент подтверждает, что сигналы пользовательского опыта (Page Experience) основаны на прямых измерениях удовлетворенности пользователей, проводимых масштабно и эффективно. Google располагает инфраструктурой для количественной оценки того, какие именно элементы дизайна, функционала и рекламы улучшают или ухудшают UX. Стратегически это означает, что оптимизация должна быть направлена на создание комфортного, нераздражающего и полезного взаимодействия. Взаимодействие основного контента и рекламы рассматривается как единый опыт.

Практические примеры

Сценарий: Оптимизация макета статьи на контентном сайте

1. Анализ текущего макета (CET): Текущий макет включает автовоспроизведение видеорекламы в боковой колонке и два рекламных блока внутри текста.
2. Применение инсайтов из патента: Мы знаем, что Google измеряет "Annoyance" и "Distraction". Автовоспроизведение видео и частые разрывы текста могут негативно влиять на эти метрики.
3. Действие: Разработать альтернативный макет (Новый CET). Убрать автовоспроизведение видео (заменить на click-to-play). Сократить количество рекламных блоков внутри текста до одного, разместив его так, чтобы он не прерывал чтение.
4. Ожидаемый результат: Новый макет получит более высокую оценку по метрикам удовлетворенности в системах оценки Google. Если данные из этой системы используются для настройки сигналов Page Experience, страницы с новым макетом получат преимущество в ранжировании.