Как Google рассчитывает качество сайта, анализируя признаки и оценки связанных с ним ресурсов (принцип «Плохого соседства»)

Описание

Какую задачу решает

Патент решает задачу более точной и масштабируемой оценки качества сущностей в интернете (например, веб-сайтов или веб-страниц). Он предлагает метод, который позволяет оценке качества не зависеть исключительно от собственных признаков сущности, но также учитывать контекст ее окружения – признаки и качество связанных с ней («соседних») сущностей. Это улучшает способность системы выявлять низкокачественные ресурсы, которые могут манипулировать собственными признаками, но находятся в окружении других низкокачественных ресурсов.

Что запатентовано

Запатентована система и метод для вычисления Quality Scores сущностей с использованием модели машинного обучения (Quality Model). Эта модель обучается на тренировочном наборе данных и затем применяется к новым сущностям. Ключевая особенность – включение в модель «признаков соседей» (Neighbor Features) наряду с собственными признаками сущности (Entity Specific Feature Values). Это позволяет качеству итеративно распространяться («размазываться») по графу связей между сущностями.

Как это работает

Система работает через итеративный процесс обучения и применения модели:

• Обучение модели: Quality Model обучается на наборе тренировочных сущностей (Training Entities), у которых уже есть известная оценка качества. Модель учится предсказывать эту оценку, используя собственные признаки сущности и признаки ее соседей.
• Применение модели: Модель применяется к кандидатным сущностям (Candidate Entities).
• Входные данные для расчета: Для вычисления новой оценки качества используются три типа данных: текущая (или дефолтная) оценка качества сущности, ее собственные признаки (например, Selection Rate, Layout Score) и агрегированные признаки соседей (например, средний Quality Score связанных сайтов).
• Распространение качества: Поскольку новые оценки качества используются в последующих расчетах для других сущностей (как Neighbor Features), качество распространяется по сети.
• Переобучение: Модель может периодически переобучаться с учетом обновленных оценок качества.

Актуальность для SEO

Высокая. Оценка качества сайтов и концепция «плохого соседства» остаются критически важными для борьбы со спамом и продвижения авторитетного контента (E-E-A-T). Описанный механизм представляет собой обобщенную и масштабируемую реализацию того, как окружение сайта влияет на его собственную оценку качества, что полностью соответствует современным подходам Google к ранжированию.

Важность для SEO

Патент имеет высокое значение (8/10) для SEO-стратегии. Он описывает конкретный механизм, посредством которого Google может оценивать качество сайта на основе его связей. Это подчеркивает важность не только получения ссылок с качественных ресурсов, но и необходимость избегать любых ассоциаций (ссылки, общий хостинг, общие скрипты) с низкокачественными сайтами, так как их низкие Quality Scores и негативные признаки могут напрямую снизить оценку вашего сайта через механизм Neighbor Features.

Детальный разбор

Термины и определения

Candidate Entity (Кандидатная сущность)

Сущность (например, веб-сайт или страница), для которой вычисляется новая оценка качества с помощью обученной модели. Она отличается от сущностей, использованных для обучения модели.

Entity (Сущность)

Объект, качество которого оценивается. Примеры включают веб-сайт, веб-страницу, ресурс или группу веб-сайтов, имеющих общую характеристику.

Entity Specific Feature Values (Собственные значения признаков сущности)

Признаки, которые определяются независимо от соседних сущностей. Примеры, приведенные в патенте: Layout Score, Selection Rate (CTR), Selection Duration (Click-length / Dwell Time).

Irregular Graph (Нерегулярный граф)

Структура данных, используемая для представления сущностей (узлы) и связей между ними (ребра).

Link (Связь)

Соединение между двумя сущностями, определяющее соседство. Связь может быть основана на гиперссылках (входящих или исходящих), общем хостинге (hosted by a single host data processing apparatus), наличии идентичных данных (например, скрипта или изображения) или общих характеристиках.

Neighbor Data / Neighbor Features (Данные соседей / Признаки соседей)

Характеристики сущностей, связанных с оцениваемой сущностью. Чаще всего это агрегированные оценки качества соседей (например, Average Neighbor Quality Score), но могут включать и другие их признаки.

Quality Management System (Система управления качеством)

Система, которая обеспечивает расчет и распространение оценок качества для сущностей.

Quality Model (Модель качества)

Модель (например, формула с коэффициентами), обученная на тренировочных данных для предсказания оценки качества сущности на основе ее собственных признаков и признаков соседей.

Quality Score (Оценка качества)

Числовая метрика, указывающая на меру качества сущности (например, вероятность того, что сайт является высококачественным). First Quality Score — входная оценка, Second Quality Score — выходная (пересчитанная) оценка.

Training Entities (Тренировочные сущности)

Набор сущностей с известными (заданными) оценками качества, используемый для обучения Quality Model.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод вычисления оценок качества.

1. Система получает первую модель качества (first quality model), обученную на первом наборе тренировочных сущностей.
2. Идентифицируется набор кандидатных сущностей (candidate entities), которые отличаются от тренировочных.
3. Для каждой кандидатной сущности выполняется:
   1. Получение первой оценки качества (first quality score) для нее.
   2. Получение одного или нескольких признаков соседей (neighbor features) для соседних сущностей (связанных с кандидатной).
   3. Получение одного или нескольких собственных значений признаков (entity specific feature values) для кандидатной сущности (определенных независимо от соседей).
   4. Определение второй оценки качества (second quality score) с использованием первой модели качества. Эта оценка вычисляется на основе первой оценки качества, признаков соседей и собственных признаков.

Ядро изобретения — это применение обученной модели для расчета новой оценки качества (second quality score) на основе трех компонентов: текущей оценки (first quality score), контекста окружения (neighbor features) и собственных характеристик (entity specific feature values).

Claim 2 (Зависимый): Описывает итеративное улучшение модели и распространение качества.

Система обучает вторую модель качества (second quality model) на основе признаков тренировочных сущностей. При этом указывается, что по крайней мере одна соседняя сущность хотя бы одной тренировочной сущности является кандидатной сущностью (для которой ранее был рассчитан second quality score).

Это означает, что рассчитанные на предыдущем шаге (Claim 1) оценки качества для кандидатных сущностей могут использоваться при переобучении модели, что обеспечивает итеративное уточнение оценок и распространение качества по графу.

Claims 4 и 5 (Зависимые): Уточняют, что такое «связь» (link).

• Связь может означать, что соседняя сущность содержит ссылку, указывающую на кандидатную сущность (входящая ссылка). (Claim 4)
• Связь может означать, что соседняя и кандидатная сущности размещены на одном хост-аппарате (общий хостинг). (Claim 5)

Claim 6 (Зависимый): Уточняет, что такое «признак соседа».

Признак соседа может быть средним баллом качества соседей (average neighbor quality score).

Claim 7 (Зависимый): Уточняет примеры собственных признаков.

Собственные признаки могут включать: оценку макета (layout score), частоту выбора (selection rate/CTR) и продолжительность выбора (selection duration/dwell time).

Где и как применяется

Изобретение описывает механизм расчета метрик качества, которые затем используются поисковой системой.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна извлекать и рассчитывать Entity Specific Feature Values (например, Layout Score). Также система должна идентифицировать связи (Links) между сущностями (гиперссылки, общий хостинг, общие фрагменты кода), чтобы построить граф и определить соседей (Neighbor Entities). Quality Management System работает на этом этапе для итеративного расчета Quality Scores, которые сохраняются в индексе.

RANKING – Ранжирование
Рассчитанные Quality Scores используются поисковой системой как один из сигналов для ранжирования результатов поиска. В патенте указано, что результаты, ссылающиеся на ресурсы с низкокачественных сайтов, понижаются в ранжировании, а с высококачественных – повышаются.

CRAWLING – Сканирование и Сбор данных
Патент также упоминает, что Quality Scores могут использоваться для определения того, какие сущности следует индексировать и как часто их следует сканировать. Сущности с высокими оценками качества могут сканироваться чаще, чем с низкими.

Входные данные:

• Набор тренировочных сущностей с заданными Quality Scores.
• Граф связей между сущностями (определяющий соседей).
• Entity Specific Feature Values для всех сущностей.
• Начальные (или дефолтные) Quality Scores для кандидатных сущностей.

Выходные данные:

• Обученная Quality Model (например, набор коэффициентов).
• Обновленные Quality Scores для кандидатных сущностей.

На что влияет

• Конкретные типы контента и сайты: Влияет на любые сущности (Entities), которые могут быть связаны между собой. Это включает веб-сайты, отдельные веб-страницы, документы, изображения и т.д.
• Влияние на ниши: Механизм особенно сильно влияет на ниши, где распространено создание сетей сайтов (PBN), использование общего хостинга для множества доменов или активный обмен ссылками. В таких нишах качество будет быстро распространяться между связанными ресурсами.
• Хостинг и инфраструктура: Поскольку совместное размещение (co-hosting) определено как тип связи, патент напрямую влияет на сайты, использующие общий хостинг или IP-адреса, особенно если они делят инфраструктуру с низкокачественными сайтами.

Когда применяется

• Условия работы: Алгоритм применяется для расчета или обновления Quality Scores. Это, вероятно, происходит периодически в офлайн-режиме или в рамках процессов индексирования и переоценки, а не в реальном времени при обработке запроса.
• Итеративность: Процесс является итеративным. Применение модели изменяет оценки качества, что, в свою очередь, изменяет Neighbor Features для связанных сайтов, влияя на их последующие оценки.

Пошаговый алгоритм

Этап А: Обучение модели качества (Quality Model Training)

1. Сбор тренировочных данных: Идентифицируется набор тренировочных сущностей (Training Entities), для которых известны целевые Quality Scores (например, на основе оценок асессоров или пользовательских отзывов).
2. Извлечение признаков: Для каждой тренировочной сущности собираются:
   1. Собственные признаки (Entity Specific Feature Values).
   2. Признаки соседей (Neighbor Features), например, среднее качество связанных сущностей.
3. Обучение: Используя методы машинного обучения (например, итеративные процедуры, такие как Сэмплирование по Гиббсу – Gibbs sampling или mean field procedures), система определяет коэффициенты модели, которые наилучшим образом предсказывают целевые Quality Scores на основе признаков. Пример модели из патента: QS(CEX) = c0 + c1*qsX + c2*nfX + c3*esfX.

Этап Б: Применение модели качества (Quality Score Computation)

1. Получение обученной модели: Система загружает Quality Model (коэффициенты), полученную на Этапе А.
2. Идентификация кандидатов: Определяется набор кандидатных сущностей (Candidate Entities), отличных от тренировочных.
3. Получение первой оценки качества: Для каждой кандидатной сущности получается текущая или начальная оценка качества (First Quality Score). Это может быть дефолтное значение (например, 0.5).
4. Получение признаков соседей: Для каждой кандидатной сущности идентифицируются соседи и вычисляются Neighbor Features (например, средняя оценка качества соседей).
5. Получение собственных признаков: Для каждой кандидатной сущности извлекаются Entity Specific Feature Values.
6. Вычисление второй оценки качества: Quality Model применяется к входным данным для расчета новой оценки (Second Quality Score).
7. Сохранение и распространение: Новые оценки сохраняются (например, в Индексе) и используются в качестве Neighbor Features при последующих расчетах для других сущностей.

Этап В: Итеративное уточнение

1. Переобучение модели: Периодически система может переобучать Quality Model (Этап А), используя обновленные оценки качества, полученные на Этапе Б, для уточнения коэффициентов модели и адаптации к изменениям в экосистеме.

Какие данные и как использует

Данные на входе

Патент явно упоминает следующие типы данных, используемые для оценки качества:

1. Данные о связях (Определение соседей):

• Ссылочные факторы: Входящие гиперссылки (сосед ссылается на кандидата) и исходящие гиперссылки.
• Технические факторы: Общий хостинг (размещение на одном host data processing apparatus).
• Контентные/Структурные факторы: Наличие идентичных копий данных (shared characteristic), таких как определенный скрипт, изображение, документ или фрагмент кода (code snippet).

2. Собственные признаки сущности (Entity Specific Feature Values):

• Структурные/Визуальные факторы: Layout Score – оценка качества, связанная с визуальным макетом сущности.
• Поведенческие факторы:
  • Selection Rate (CTR) – частота, с которой сущность выбирается, когда она представлена в качестве результата поиска.
  • Selection Duration (Click-length / Dwell Time) – среднее время, в течение которого сущность отображается на устройстве пользователя после выбора.

3. Признаки соседей (Neighbor Features):

• Качество соседей: Quality Scores соседних сущностей.

Какие метрики используются и как они считаются

• Quality Score (QS): Основная рассчитываемая метрика. Может представлять собой вероятность того, что сайт является высококачественным (например, от 0.0 до 1.0).
• Average Neighbor Quality Score: Агрегированная метрика, представляющая собой среднее значение Quality Scores одного или нескольких соседей. Также упоминается возможность использования медианы или n-го перцентиля, а также использование выборки (sample) соседей вместо всех.
• Quality Model Coefficients (c0, c1, c2, c3…): Весовые коэффициенты, определяемые в процессе машинного обучения. Они определяют степень влияния различных признаков на итоговый Quality Score.

Методы вычислений:

• Машинное обучение: Используется для тренировки Quality Model. Упоминаются итеративные процедуры, такие как Сэмплирование по Гиббсу (Gibbs sampling) или процедуры среднего поля (mean field procedures).
• Нормализация: Упоминается, что Quality Scores, Neighbor Features и Entity Specific Feature Values могут быть нормализованы (например, масштабированы до диапазона 0-1).

Выводы

1. Качество заразно (Quality Smearing): Основной вывод патента заключается в том, что качество сущности напрямую зависит от качества ее окружения. Система разработана так, чтобы качество распространялось («размазывалось») по графу связей. Связь с высококачественными сайтами может повысить оценку, а связь с низкокачественными – понизить.
2. Обобщенное определение «Связи»: Патент расширяет понятие связи (Link) за пределы гиперссылок. Связями также считаются общий хостинг и общие элементы контента/кода (скрипты, изображения). Это значительно расширяет понятие «соседства» и включает инфраструктурные факторы.
3. Важность собственных признаков сохраняется: Несмотря на фокус на соседях, модель также использует Entity Specific Feature Values. Патент явно упоминает поведенческие факторы (Selection Rate, Selection Duration) и оценку макета (Layout Score) как важные компоненты качества.
4. Итеративный расчет и переобучение: Система не является статической. Quality Scores пересчитываются, и эти новые оценки немедленно влияют на расчеты для связанных сайтов. Более того, сама модель машинного обучения может переобучаться на основе этих обновленных данных, адаптируясь к изменениям в экосистеме.
5. Влияние на краулинг и ранжирование: Рассчитанные Quality Scores используются не только для ранжирования, но и для управления краулинговым бюджетом (частотой сканирования).

Практика

Best practices (это мы делаем)

• Аудит исходящих ссылок и связей: Тщательно контролируйте, на какие сайты вы ссылаетесь. Ссылки на низкокачественные или спамные ресурсы создают связь (Link), и их негативные признаки (Neighbor Features) будут учитываться при расчете вашего Quality Score.
• Выборочный подход к входящим ссылкам: Фокусируйтесь на получении ссылок с сайтов, которые предположительно имеют высокий Quality Score и положительные собственные признаки (хорошие ПФ, качественный макет). Их качество будет положительно влиять на ваш сайт. Регулярно отклоняйте (disavow) ссылки из «плохих соседств».
• Контроль технического окружения: Избегайте использования дешевого общего хостинга (shared hosting), где вашими соседями могут быть сотни низкокачественных сайтов. Согласно патенту (Claim 5), общий хостинг является связью, и признаки соседей по хостингу могут влиять на вашу оценку качества.
• Аудит используемых скриптов и внешних ресурсов: Будьте осторожны при использовании сторонних скриптов, виджетов, рекламных сетей или CDN, которые также используются большим количеством низкокачественных сайтов. Патент указывает, что общие элементы кода/контента могут формировать связь между сущностями.
• Улучшение собственных сигналов качества (ПФ и Юзабилити): Продолжайте работать над улучшением поведенческих факторов (Selection Rate, Selection Duration) и качества макета/юзабилити (Layout Score). Это не только напрямую влияет на ваш Quality Score, но и делает ваш сайт более качественным «соседом» для других.

Worst practices (это делать не надо)

• Участие в сетях обмена ссылками (Link Schemes) и PBN: Этот патент напрямую нацелен на борьбу с такими практиками. Создание сети взаимосвязанных сайтов низкого или среднего качества приведет к тому, что низкое качество будет распространяться между всеми участниками сети.
• Игнорирование качества хостинга: Размещение качественного сайта на спамном IP или в окружении дорвеев на общем хостинге создает риск понижения Quality Score из-за негативных Neighbor Features.
• Слепое наращивание ссылочной массы: Стратегия «чем больше ссылок, тем лучше» опасна. Большое количество входящих ссылок с низкокачественных ресурсов может снизить средний балл качества соседей (Average Neighbor Quality Score) и негативно повлиять на итоговую оценку.
• Использование обфусцированного или подозрительного кода: Использование скриптов или элементов, часто встречающихся на взломанных или спамных сайтах, может создать нежелательные связи с этими ресурсами.

Стратегическое значение

Патент подтверждает стратегическую важность комплексного подхода к качеству сайта, который включает не только контент и техническую оптимизацию, но и гигиену внешнего окружения. Он предоставляет техническую основу для концепции «плохого соседства» (Bad Neighborhood) и показывает, как Google может алгоритмически и масштабируемо учитывать эти факторы. Долгосрочная стратегия должна включать мониторинг и управление всеми типами связей сайта (ссылочными, техническими, контентными) для обеспечения нахождения в качественной экосистеме.

Практические примеры

Сценарий 1: Влияние общего хостинга

1. Ситуация: У вас есть качественный корпоративный сайт (Сайт А), размещенный на общем хостинге. На этом же сервере размещено 100 спамных сайтов (Соседи Б).
2. Механизм по патенту: Система управления качеством идентифицирует связь между Сайтом А и Соседями Б на основе общего хостинга (Claim 5).
3. Расчет: При расчете Quality Score для Сайта А система вычисляет Average Neighbor Quality Score. Поскольку Соседи Б имеют низкие оценки, этот средний балл будет низким.
4. Результат: Несмотря на хорошие собственные признаки Сайта А, низкий Average Neighbor Quality Score понизит его итоговый Quality Score, что может привести к снижению позиций в поиске и уменьшению краулингового бюджета.
5. Действие: Переезд на выделенный сервер или качественный хостинг с лучшей репутацией.

Сценарий 2: Улучшение качества через ссылочное окружение

1. Ситуация: Молодой сайт (Сайт В) имеет средние собственные признаки, но сумел получить несколько ссылок с авторитетных государственных и образовательных ресурсов (Соседи Г).
2. Механизм по патенту: Система идентифицирует связь на основе входящих гиперссылок (Claim 4).
3. Расчет: Соседи Г имеют очень высокие Quality Scores. Average Neighbor Quality Score для Сайта В будет высоким.
4. Результат: Высокий балл соседей значительно повышает итоговый Quality Score Сайта В, компенсируя недостаток его собственных признаков и способствуя лучшему ранжированию.

Вопросы и ответы