Как Google обучает ИИ-модели для автоматической оценки качества сайтов на основе данных асессоров и предвзятой выборки

Термины и определения

Aggregate Quality (Совокупное качество)

Оценка качества веб-сайта в целом, основанная на анализе нескольких его страниц, а не только одной посадочной страницы.

Biased Sampling / Specified Quality Distribution (Предвзятая выборка / Заданное распределение качества)

Метод отбора выборки сайтов для асессоров. Выборка намеренно смещается так, чтобы включить больше сайтов среднего качества, чем очень низкого или очень высокого. Это улучшает обучение модели на сложных случаях.

Calculated Quality Rating (Расчетный рейтинг качества)

Оценка качества сайта, сгенерированная моделью машинного обучения для сайтов, которые не оценивались людьми. Используется в ранжировании.

Initial Quality Score / Normalized Quality Indicator (Начальная оценка качества)

Предварительная оценка качества сайта, рассчитанная на основе известных сигналов. Используется для формирования предвзятой выборки.

Raters (Асессоры)

Люди, которые оценивают веб-сайты (аналог Google Quality Raters), предоставляя обучающие данные (Ground Truth).

Support Vector Machine (SVM) / Support Vector Regression (SVR) (Метод опорных векторов)

Алгоритмы машинного обучения. Они строят гиперплоскость в многомерном пространстве признаков (сигналов), которая наилучшим образом разделяет сайты разных классов качества.

Viewing Appeal (Привлекательность просмотра)

Классификация контента асессором как имеющего широкую (broad appeal) или нишевую (niche appeal) привлекательность.

Website Quality Rating (Рейтинг качества веб-сайта)

Оценка качества, присвоенная сайту человеком-асессором на основе Aggregate Quality.

Website Signals (Сигналы веб-сайта)

Измеримые атрибуты сайта. Примеры в патенте: Click rate (частота кликов), blog subscription rate (уровень подписки на блог), PageRank.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации сигналов качества, включающий специфический метод выборки данных.

1. Вычисление Initial Quality Score для множества сайтов на основе их атрибутов.
2. Отбор сайтов для оценки асессорами на основе этих начальных оценок И согласно заданной Specified Quality Distribution.
3. Ключевое условие выборки (Biased Sampling): Выборка должна включать:
   • Первое количество (Q1) сайтов среднего качества (между низким и высоким порогом).
   • Второе количество (Q2) сайтов низкого качества (ниже низкого порога).
   • Третье количество (Q3) сайтов высокого качества (выше высокого порога).
   • При этом Q1 должно быть больше, чем Q2 и Q3. (Система намеренно отбирает больше сайтов среднего качества).
4. Предоставление асессорам групп сайтов, включающих образцы из всех трех категорий (низкое, среднее, высокое качество).
5. Получение от асессоров Website Quality Ratings, основанных на агрегированном качестве нескольких страниц сайта.
6. Сопоставление этих рейтингов с Website Signals.
7. Создание модели машинного обучения (machine learned model), характеризующей взаимосвязь между рейтингами и сигналами.
8. Применение модели к неразмеченным сайтам для генерации Calculated Quality Ratings.

Claim 2 и 3 (Зависимые): Уточняют применение изобретения в поиске.

Система использует сгенерированный Calculated Quality Rating для фильтрации (возвращая только сайты выше определенного порога) (Claim 2) и/или упорядочивания списка результатов поиска (Claim 3).

Claim 4, 5, 6 и 7 (Зависимые): Детализируют процесс сбора данных асессорами.

Асессоры также предоставляют классификацию категорий (например, Спам, Непристойное, Не загрузилось) и индикаторы привлекательности (Viewing Appeal). Сайты, классифицированные как Спам, Непристойное или Не загрузилось, фильтруются и не используются для обучения модели качества.

Claim 10 и 11 (Зависимые): Уточняют тип машинного обучения.

Модель может быть Support Vector Machine (SVM). Обучение SVM включает идентификацию гиперплоскости, которая максимизирует расстояние между опорными векторами (support vectors) и гиперплоскостью.

Где и как применяется

Этот патент описывает инфраструктурный процесс, который происходит преимущественно офлайн, но его результаты напрямую влияют на этапы индексирования и ранжирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе система собирает и вычисляет исходные Website Signals (например, PageRank, данные о кликах), которые хранятся в Signal Store. После обучения модели, сгенерированный Calculated Quality Rating также сохраняется в индексе как важный признак (feature) сайта.

Офлайн-процессы (ML Training / Data Analysis)
Основная логика патента выполняется здесь:

1. Предварительная оценка и Выборка: Вычисление Initial Quality Scores и формирование предвзятой выборки.
2. Оценка (Rating): Сбор данных от асессоров.
3. Обучение (Training): Генерация модели машинного обучения (SVM/SVR).
4. Применение (Inference): Расчет Calculated Quality Rating для всего индекса.

RANKING и RERANKING
Поисковая система (Search Device) использует сохраненный Calculated Quality Rating как фактор ранжирования для упорядочивания результатов или как фильтр для исключения сайтов, не достигающих определенного порога качества.

Входные данные:

• Набор Website Signals для большого количества сайтов.
• Данные от асессоров: Website Quality Ratings, Category Classifications, Appeal Signals.

Выходные данные:

• Обученная модель машинного обучения (например, формула гиперплоскости SVM).
• Calculated Quality Ratings, присвоенные сайтам в индексе.

На что влияет

• Конкретные типы контента: Патент особо выделяет блоги (blogs) как пример контента с сильно варьирующимся качеством. Методология применима к любым типам веб-сайтов.
• Качество выдачи: Влияет на все типы запросов, позволяя поисковой системе повышать сайты с высоким Calculated Quality Rating и понижать/фильтровать сайты с низким.

Когда применяется

• Обучение модели: Происходит периодически офлайн. Это необходимо, так как сайты и их сигналы постоянно меняются.
• Триггеры активации: Обновление модели может быть запущено при значительном изменении Website Signals (например, если сигнал изменился более чем на 10%) или по расписанию.
• Применение модели: Происходит на этапе индексирования или обновления данных о сайте.
• Использование рейтинга: Происходит при каждом поисковом запросе для ранжирования и фильтрации результатов.

Пошаговый алгоритм

Процесс А: Подготовка данных и обучение модели (Офлайн)

1. Идентификация предиктивных сигналов: Определение Website Signals, которые предположительно коррелируют с качеством (например, PageRank, Click rate).
2. Предварительный расчет и нормализация:
   1. Нормализация значений сигналов (приведение к единой шкале, например, 0-1).
   2. Расчет Initial Quality Score (предварительная оценка качества).
3. Формирование смещенной выборки (Biased Sampling):
   1. Определение Quality Distribution (например, 10% низкое, 80% среднее, 10% высокое качество).
   2. Отбор сайтов для заполнения этих сегментов (биннов).
4. Сбор человеческих оценок:
   1. Асессоры просматривают сайты (несколько страниц) из выборки.
   2. Присваивают Website Quality Rating, основанный на агрегированном качестве.
   3. Классифицируют сайт (спам и т.д.) и определяют Viewing Appeal.
5. Подготовка данных для обучения: Фильтрация сайтов, помеченных как спам или незагрузившиеся. Ассоциация оставшихся оценок с соответствующими Website Signals.
6. Обучение модели (Model Training):
   1. Использование алгоритма машинного обучения (например, SVM или SVR).
   2. Модель определяет взаимосвязи, находя оптимальную гиперплоскость в n-мерном пространстве признаков, которая разделяет сайты разного качества. Фокус на сайтах среднего качества (которые с большей вероятностью станут опорными векторами).
   3. Генерация математической формулы этой гиперплоскости (готовая модель).

Процесс Б: Применение модели и использование в поиске

1. Применение модели (Model Application): Модель применяется к Website Signals всех неразмеченных сайтов в индексе.
2. Генерация рейтинга: Расчет Calculated Quality Rating для каждого сайта.
3. Сохранение: Сохранение этих рейтингов в Signal Store.
4. Использование в поиске: Поисковая система использует Calculated Quality Rating для фильтрации и ранжирования результатов по запросу пользователя.

Какие данные и как использует

Данные на входе

Система использует два основных типа входных данных: измеряемые сигналы сайта (для входа в модель) и данные человеческой оценки (для обучения модели).

Измеряемые сигналы сайта (Website Signals):

• Ссылочные факторы: PageRank явно упоминается как мера важности сайта и индикатор качества.
• Поведенческие факторы:
  • Click rate (частота кликов): Количество кликов или CTR по URL сайта в результатах поиска (упоминаются как общий поиск, так и поиск по блогам). Может быть нормализован по позиции.
  • Blog subscription rate (уровень подписки): Количество пользователей, подписавшихся на блог (например, через Google Reader). Указывает на вовлеченность и лояльность аудитории.

Данные человеческой оценки (Ground Truth):

• Website Quality Rating: Оценка (например, 1-5). Факторы, упомянутые для оценки асессорами: оригинальность контента/аргументов, соотношение оригинального и скопированного контента, макет сайта, грамматика/орфография, наличие неполных страниц.
• Category classifications: Метки для фильтрации (спам, непристойный контент, не загрузился).
• Viewing Appeal: Классификация привлекательности (широкая или нишевая).

Какие метрики используются и как они считаются

• Методы машинного обучения: Основной метод — Support Vector Machine (SVM) или Support Vector Regression (SVR). Также упоминаются логистическая регрессия и нейронные сети. SVM работает путем нахождения гиперплоскости, которая наилучшим образом разделяет сайты с разными оценками качества, максимизируя зазор между опорными векторами и гиперплоскостью.
• Нормализация сигналов: Для приведения различных сигналов к единой шкале (например, 0-1) при формировании выборки. Используется стандартная формула Min-Max Normalization: $\frac{SignalValue - MinValue}{MaxValue - MinValue}$.
• Calculated Quality Rating: Итоговая метрика качества сайта, являющаяся выходом обученной модели.

1. Масштабирование человеческих суждений: Патент описывает фундаментальный механизм, позволяющий Google переводить субъективные оценки качества асессоров в алгоритмические сигналы, применимые ко всему вебу. Модели качества обучаются на основе данных асессоров (Quality Raters).
2. Агрегированная оценка качества (Aggregate Quality): Асессоры оценивают сайт в целом, просматривая несколько страниц. Это подчеркивает важность общего качества всего сайта, а не оптимизации отдельных страниц.
3. Важность методологии обучения (Biased Sampling): Ключевой аспект патента — использование смещенной выборки с акцентом на сайты среднего качества. Это позволяет модели лучше улавливать нюансы и строить более точные прогнозы в сложных случаях, а не просто отделять очевидный спам от супер-авторитетных сайтов.
4. Сигналы как предикторы качества: Патент явно указывает, что измеримые сигналы, такие как PageRank (ссылочная авторитетность) и вовлеченность пользователей (click rate, subscription rate), используются как входные признаки для прогнозирования того, как человек оценил бы качество сайта.
5. Использование продвинутого ML (SVM): Применение Support Vector Machines (одним из изобретателей является Corinna Cortes, эксперт по SVM) подтверждает использование сложных методов для нахождения нелинейных зависимостей и построения точных классификаторов качества.
6. Качество как фактор ранжирования и фильтрации: Сгенерированный Calculated Quality Rating напрямую используется для упорядочивания и фильтрации результатов поиска.

Best practices (это мы делаем)

• Ориентация на Quality Rater Guidelines (QRG) и E-E-A-T: Поскольку система обучает модель машинного обучения на основе человеческих оценок, QRG является прямым источником информации о том, что Google считает качеством. Стратегия должна быть направлена на соответствие этим критериям, так как они служат эталоном (Ground Truth) для обучения алгоритмов.
• Улучшение агрегированного качества сайта: Необходимо работать над качеством всего сайта, включая дизайн, юзабилити, оригинальность контента и техническое состояние. Асессоры оценивают сайт целиком (aggregate quality), и модель учится этому. Наличие большого количества низкокачественных страниц негативно повлияет на общую оценку.
• Стимулирование естественных сигналов авторитетности и вовлеченности: Поскольку модель использует Website Signals для предсказания качества (примеры: PageRank, Click Rate), необходимо сосредоточиться на стратегиях, которые улучшают эти метрики естественным образом: получение качественных ссылок и создание контента, который привлекает и удерживает аудиторию.
• Работа над «средней зоной» качества: Помните о предвзятой выборке. Google активно тренирует модели различать средние и хорошие сайты. Недостаточно быть просто «не спамом». Необходимо демонстрировать четкие сигналы E-E-A-T и полезности, чтобы выделиться из среднего диапазона.

Worst practices (это делать не надо)

• Имитация сигналов без реального качества: Попытки искусственно завысить входные сигналы (например, накрутка кликов, покупка низкокачественных ссылок). Поскольку модель обучается предсказывать человеческую оценку, несоответствие между завышенными сигналами и реальным качеством контента может быть выявлено как аномалия.
• Фокус на одной странице в ущерб сайту: Создание нескольких высококачественных страниц на сайте, который в остальном состоит из низкокачественного или скопированного контента. Агрегированная оценка качества будет низкой.
• Игнорирование базовых показателей качества: Наличие грамматических ошибок, плохого макета, преимущественно скопированного контента или технических проблем приведет к низким оценкам асессоров и, как следствие, к низкой алгоритмической оценке.

Стратегическое значение

Этот патент имеет фундаментальное значение для SEO. Он описывает инфраструктуру, лежащую в основе алгоритмов оценки качества (Core Updates, Helpful Content System). Стратегически это подтверждает, что E-E-A-T и пользовательский опыт — это не просто концепции, а характеристики, которые активно измеряются и моделируются с помощью сложного машинного обучения. Долгосрочная стратегия должна быть направлена на то, чтобы измеряемые сигналы сайта отражали реальное качество, которое воспринимают люди (асессоры).

Практические примеры

Сценарий: Создание нового алгоритма качества (например, Helpful Content Update)

Патент описывает методологию, как такой алгоритм мог быть создан.

1. Постановка задачи: Google хочет идентифицировать «неполезный контент, созданный для поисковых систем».
2. Формирование выборки (Biased Sampling): Используя предварительные сигналы, Google отбирает 1000 сайтов: 100 очевидно полезных, 100 очевидного SEO-спама и 800 сайтов смешанного качества (фокус на сложных случаях).
3. Сбор оценок: Асессоры получают инструкции (QRG) по определению «полезности» и оценивают эти 1000 сайтов.
4. Обучение модели: Google запускает SVM или другую ML-модель для поиска корреляций между оценками полезности и сотнями доступных Website Signals (структура текста, ссылочный профиль, данные о кликах и т.д.). Модель учится на 800 сложных случаях.
5. Результат: Создается классификатор «полезности контента» (модель).
6. Применение: Модель применяется ко всему индексу, генерируя Calculated Quality Rating (оценку полезности) для каждого сайта.
7. Влияние на поиск: Сайты с низкой оценкой полезности понижаются в ранжировании.