Как Google использует внешние сигналы (соцсети, новости, блоги) для верификации реальной популярности контента и фильтрации накруток

Термины и определения

Access Analyzer (Анализатор доступов)

Компонент системы, который отслеживает базу данных использования и создает предварительный список популярного контента на основе количества доступов (просмотров).

Content sharing service (Сервис обмена контентом)

Платформа, которая предоставляет пользователям контент (видео, аудио, текст, изображения). Примером может служить YouTube.

External sources (Внешние источники)

Сторонние веб-ресурсы, не принадлежащие Content sharing service. Примеры включают блоги, новостные сайты, социальные сети.

External Source Interface Module (Модуль взаимодействия с внешними источниками)

Компонент, который отслеживает зарегистрированные External sources и фиксирует, какой контент на них размещен.

Externally verified list (Внешне верифицированный список)

Итоговый список популярного контента, сгенерированный после перекрестной проверки с внешними источниками и применения весовых коэффициентов.

Geography Verifier (Географический верификатор)

Компонент внутри List Verifier, который определяет, релевантны ли внешние источники, упоминающие контент, географическому положению пользователя, которому будет показан список.

List Generator (Генератор списка)

Компонент, который создает Externally verified list, используя информацию от List Verifier и применяя Predetermined weights.

List Verifier (Верификатор списка)

Компонент, который проверяет, присутствует ли контент из предварительного списка на External sources, и подсчитывает количество таких источников.

Predetermined weights (Предопределенные веса)

Весовые коэффициенты, применяемые к количеству доступов, количеству внешних упоминаний и географической релевантности для расчета итогового рейтинга популярности.

Preliminary list (Предварительный список)

Начальный список популярного контента, основанный только на количестве доступов (просмотров).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основную систему верификации популярности контента.

1. Система создает Preliminary list популярного контента на основе количества доступов (просмотров) на Content sharing service.
2. Система верифицирует популярность этого контента для подмножества пользователей в определенном географическом регионе, используя External sources.
3. Процесс верификации включает:
   • Идентификацию контента, размещенного на External sources.
   • Определение совпадений между Preliminary list и контентом на External sources.
   • При обнаружении совпадения система определяет два ключевых параметра: (i) количество внешних источников, на которых размещен контент, и (ii) релевантность этих внешних источников определенному географическому региону.
4. Система создает Externally verified list для показа пользователям в этом географическом регионе. Список формируется на основе этих двух параметров (количества внешних источников и их географической релевантности).

Claim 9 (Независимый пункт): Описывает метод, аналогичный системе в Claim 1, фокусируясь на генерации нового списка.

Метод включает ранжирование предварительного списка по просмотрам и его верификацию по географическому признаку через внешние источники. Новый список популярного контента генерируется на основе количества внешних источников, размещающих контент, и релевантности этих источников географическому положению пользователя.

Claim 3 (Зависимый от 1) и Claim 10 (Зависимый от 9): Детализируют механизм ранжирования.

Для генерации верифицированного (нового) списка система использует Predetermined weights (предопределенные веса) для двух факторов: количества доступов (просмотров) и количества внешних источников, на которых размещен контент.

Claim 4 (Зависимый от 3) и Claim 14 (Зависимый от 10): Добавляют географический фактор в ранжирование.

Предопределенные веса также основываются на географическом положении пользователя, которому будет показан список.

Где и как применяется

Важно отметить, что патент описывает процессы внутри Content Sharing Service (например, YouTube), а не в основном веб-поиске Google. Он применяется для генерации списков типа "Популярное", "В тренде" или рекомендательных блоков.

RANKING – Ранжирование (внутри сервиса)
На этом этапе генерируется Preliminary list. Система использует внутренние данные о количестве доступов (просмотров) для создания базового рейтинга популярности.

RERANKING – Переранжирование (внутри сервиса)
Основной этап применения патента. Система активирует процесс верификации:

1. Сбор внешних данных: External Source Interface Module собирает данные о контенте, размещенном на зарегистрированных External sources.
2. Верификация и подсчет: List Verifier сравнивает Preliminary list с внешними данными, подсчитывает количество внешних упоминаний для каждого элемента.
3. Географическая оценка: Geography Verifier оценивает релевантность этих внешних источников местоположению пользователя.
4. Применение весов и переранжирование: List Generator рассчитывает новые оценки популярности, применяя Predetermined weights к просмотрам, количеству внешних упоминаний и географической релевантности, и формирует финальный Externally verified list.

Входные данные:

• Внутренние счетчики доступов (просмотры) из Usage Database.
• Список зарегистрированных внешних источников из External Source Database.
• Данные о контенте, размещенном на внешних источниках в реальном времени или за период.
• Географическое положение пользователя, для которого генерируется список.

Выходные данные:

• Externally verified list — отсортированный список популярного контента с новыми оценками популярности.

На что влияет

• Конкретные типы контента: В первую очередь влияет на контент, размещаемый на платформах обмена (видео, изображения, аудио), где популярность традиционно измеряется просмотрами.
• Конкретные ниши или тематики: Оказывает сильное влияние на ниши, подверженные искусственному завышению просмотров (например, музыкальные клипы, гейминг) или на контент с высокой степенью локализации, который может доминировать в просмотрах, но не иметь широкого распространения за пределами своего региона/языка.

Когда применяется

• Условия применения: Алгоритм применяется, когда Content sharing service необходимо сгенерировать список популярного контента для показа пользователям. Это может происходить на главной странице, в разделе "Тренды", в рекомендациях после просмотра или при попытке пользователя покинуть сервис.
• Временные рамки и частота применения: Списки могут динамически обновляться через предопределенные промежутки времени (Claim 5). Сбор данных с внешних источников также может быть ограничен по времени (например, контент, размещенный за последние две недели).

Пошаговый алгоритм

Процесс генерации верифицированного списка популярности.

1. Получение предварительного рейтинга: Система получает рейтинг контента, основанный на количестве доступов (просмотров) за определенный период. Формируется Preliminary list.
2. Сбор внешних данных: Система опрашивает зарегистрированные External sources (блоги, новости, соцсети) и получает информацию о контенте, который на них размещен (упомянут или встроен).
3. Итеративная верификация списка: Система перебирает каждый элемент в Preliminary list.
4. Проверка на кросс-референсы: Для текущего элемента определяется, присутствует ли он на одном или нескольких External sources.
5. Подсчет внешних источников: Если контент присутствует на внешних источниках, система подсчитывает общее количество таких источников.
6. Географическая верификация: Система определяет релевантность этих внешних источников географическому положению пользователя, для которого готовится список.
7. Генерация нового списка: После завершения итерации система генерирует новый список (Externally verified list).
8. Расчет новых оценок (Re-ranking): Для каждого элемента рассчитывается новая оценка популярности. Оценка базируется на применении Predetermined weights к трем факторам:
   • Количество внутренних доступов.
   • Количество внешних источников, ссылающихся на контент.
   • Географическая релевантность внешних источников.
9. Сортировка и передача: Новый список сортируется по рассчитанным оценкам и передается Content sharing service для отображения пользователю.

Какие данные и как использует

Данные на входе

Система использует следующие типы данных для верификации популярности:

• Поведенческие факторы: Количество доступов (просмотры, клики) к каждому элементу контента внутри Content sharing service. Это основной показатель для формирования Preliminary list.
• Внешние факторы (аналог ссылочных): Данные о присутствии (упоминание, встраивание) контента на External sources (блоги, новостные сайты, социальные сети).
• Географические факторы: Географическое положение пользователя, для которого формируется список. Географическая принадлежность или релевантность External sources.

Какие метрики используются и как они считаются

Система вычисляет и использует следующие ключевые метрики:

• Number of accesses (Количество доступов): Внутренний счетчик просмотров контента.
• Number of external sources (Количество внешних источников): Количество уникальных зарегистрированных внешних источников, на которых обнаружен данный контент.
• Geographic relevance (Географическая релевантность): Метрика, определяющая, насколько внешние источники, ссылающиеся на контент, релевантны местоположению пользователя.
• Итоговая оценка популярности: Рассчитывается путем применения Predetermined weights к трем вышеуказанным метрикам. Конкретные формулы взвешивания в патенте не приводятся, но указано, что веса могут быть настроены администратором системы. Пример из патента показывает, что больший вес может быть придан количеству внешних источников, чем количеству доступов.

1. Популярность требует внешнего подтверждения: Внутренние просмотры (Number of accesses) являются лишь отправной точкой. Для попадания в списки популярного контенту необходимо подтверждение его значимости за пределами платформы.
2. Количество внешних упоминаний — ключевая метрика: Система явно подсчитывает количество External sources (блоги, новости, соцсети), которые разместили контент. Чем больше разнообразных внешних источников ссылаются на контент, тем выше его верифицированная популярность.
3. Защита от накруток и нишевого контента: Механизм служит фильтром против искусственного завышения просмотров, так как такой контент редко получает широкое органическое распространение на внешних сайтах. Также он понижает контент, который популярен только в узкой нише и не интересен широкой аудитории.
4. Географическая релевантность источников: Система учитывает не только факт упоминания, но и то, насколько внешний источник релевантен местоположению пользователя (Geographic relevance). Упоминание на локальном новостном сайте может быть более весомым для локального списка популярного, чем на международном ресурсе.
5. Взвешенная модель популярности: Итоговый рейтинг определяется комбинацией просмотров, внешних упоминаний и географической релевантности с использованием настраиваемых Predetermined weights.

Best practices (это мы делаем)

• Стимулирование Off-Platform дистрибуции: Ключевая стратегия для повышения видимости контента (например, видео) в трендах или списках популярного. Необходимо активно поощрять пользователей и партнеров встраивать (embed) контент на своих сайтах, блогах и делиться им в социальных сетях.
• Цифровой PR и Outreach: Работайте над получением органических упоминаний и встраиваний контента на новостных сайтах и авторитетных тематических ресурсах. Это напрямую увеличивает метрику Number of external sources.
• Локальная стратегия продвижения: Для попадания в локальные списки популярного (например, Тренды YouTube в определенной стране) фокусируйтесь на получении упоминаний от географически релевантных внешних источников (местные СМИ, локальные блоги). Это повышает Geographic relevance.
• Создание вирального контента: Фокусируйтесь на создании контента, который имеет потенциал для широкого распространения и обсуждения за пределами платформы, а не только внутри нее.

Worst practices (это делать не надо)

• Покупка просмотров и использование ботов: Этот патент описывает механизм, напрямую направленный на борьбу с искусственной инфляцией просмотров. Контент с высокими просмотрами, но нулевым внешним подтверждением, будет отфильтрован из списков популярного.
• Изолированная оптимизация: Недостаточно оптимизировать контент только под внутренний поиск платформы (например, теги/заголовки на YouTube). Игнорирование внешних сигналов ограничит потенциал попадания в тренды.
• Создание узконишевого контента без стратегии распространения: Контент, интересный только очень узкой группе пользователей, может набрать много просмотров от них, но не получит внешнего подтверждения и, следовательно, не будет считаться популярным для широкой аудитории.

Стратегическое значение

Патент подтверждает, что платформы Google (такие как YouTube) оценивают жизненность и популярность контента, выходя за рамки собственных метрик. Реальная популярность требует валидации со стороны внешнего интернета. Для SEO-стратегии это означает, что продвижение контента не заканчивается на платформе его размещения. Интеграция SEO, SMM и PR критически важна для максимизации видимости в рекомендательных системах и списках трендов.

Практические примеры

Сценарий: Верификация популярности видео на YouTube

Сравниваем два видео:

• Видео А: "Как завязать галстук". 1 миллион просмотров (много повторных просмотров от узкой аудитории или частичная накрутка). Внешние источники: 0.
• Видео Б: "Обзор нового смартфона". 800 тысяч просмотров (органический трафик). Внешние источники: 20 (встроено на TechCrunch, The Verge, 5 популярных блогах и 13 новостных сайтах).

1. Предварительный список (по просмотрам): Видео А (1М) выше Видео Б (800К).
2. Верификация: Система проверяет внешние источники.
   • Видео А: 0 внешних источников.
   • Видео Б: 20 внешних источников.
3. Переранжирование: Система применяет Predetermined weights. Предположим, что вес внешних упоминаний выше веса просмотров.
   • Оценка Видео А снижается из-за отсутствия внешней верификации.
   • Оценка Видео Б значительно повышается за счет 20 внешних источников.
4. Результат (В тренде): Видео Б занимает более высокую позицию в списке "Популярное", чем Видео А, несмотря на меньшее количество просмотров, так как его популярность подтверждена внешним интернетом.