Как Google использует консенсус между сайтами для валидации ключевых слов и ранжирования изображений и видео

Термины и определения

Baseline Result Score (Базовая оценка результата)

Исходная оценка ранжирования нетекстового контента до применения корректировок, описанных в патенте.

Boost Factor (Коэффициент повышения)

Множитель (обычно > 1.0), применяемый к Baseline Result Score, если запрос совпадает с Final Label. Его значение зависит от Match Score.

Final Label (Финальная метка)

Надежная метка (N-грамма), прошедшая процесс валидации консенсусом. Используется для определения релевантности и бустинга ранжирования.

Initial Label (Исходная метка)

Текст, ассоциированный с нетекстовым контентом на конкретной веб-странице (окружающий текст, метаданные, имена файлов). Включает сам текст и идентификатор источника (URL).

Initial Label Group (Группа исходных меток)

Набор Initial Labels, сгруппированных по общему признаку. Группы формируются на основе Matching Web Pages или Matching Labels.

Matching Labels (Совпадающие метки)

Две или более Initial Labels, имеющие достаточную степень схожести (Label Similarity Score выше порога). Схожесть может быть текстуальной (общие слова) или семантической (общая концепция, высокая cosine similarity).

Matching Web Pages (Совпадающие веб-страницы)

Две или более веб-страницы, имеющие общие характеристики источника. Конкретно упоминаются страницы с одного домена или от одного издателя (same publisher).

Match Score (Оценка совпадения)

Мера схожести между поисковым запросом пользователя и Final Label.

Non-text content item (Нетекстовый элемент контента)

Контент, предоставленный в нетекстовом формате (изображения, видео, аудио, мультимедиа).

Ключевые утверждения (Анализ Claims)

Claim 1 и Claim 17 (Независимые пункты): Описывают ядро системы и метода валидации меток.

1. Система получает набор Initial Labels для нетекстового элемента, каждый с идентификатором источника.
2. Параллельный процесс группировки:
   1. Группировка по Источнику (Claims 4, 5, 27, 28): Идентифицируются наборы Matching Web Pages (один домен или издатель). Исходные метки из этих страниц группируются в отдельные Initial Label Groups.
   2. Группировка по Содержанию (Claims 29, 30, 31): Идентифицируются наборы Matching Labels (похожий текст, концепция или cosine similarity). Эти метки группируются в другие отдельные Initial Label Groups.
3. Выбор Финальных Меток (Консенсус): Система выбирает в качестве Final Labels те N-граммы, которые присутствуют в как минимум пороговом количестве (Threshold Number) сформированных ранее Initial Label Groups.

Ключевая инновация — требование консенсуса не по количеству упоминаний, а по количеству различных групп. Группировка по источнику специально предназначена для нейтрализации манипуляций со стороны одного сайта.

Claim 18 (Зависимый): Описывает применение Final Labels в ранжировании.

1. Система получает запрос и определяет совпадение с Final Label.
2. Если ДА, оценка ранжирования (Result Score) для этого элемента увеличивается.

Claim 21, 22, 23 (Зависимые): Детализируют механизм повышения.

• Повышение происходит путем умножения Baseline Result Score на Boost Factor (>1.0).
• Вычисляется Match Score между запросом и Final Label.
• Boost Factor выбирается на основе Match Score и может быть пропорционален ему (чем лучше совпадение, тем выше бустинг).

Claim 32 (Зависимый): Упоминает обработку уникальных меток.

• Метки, которые не попали ни в одну из групп (ни по источнику, ни по содержанию), могут быть сгруппированы в отдельные (уникальные) Initial Label Groups и также участвовать в расчете консенсуса.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, связывая процессы индексирования и ранжирования для нетекстового контента.

CRAWLING и INDEXING (Предварительный этап) – Сбор данных и извлечение признаков
На этом этапе система обнаруживает нетекстовый контент, идентифицирует все страницы, где он используется (включая дубликаты или близкие копии), и извлекает Initial Labels (окружающий текст, метаданные). Эти данные сохраняются (например, в Label Store).

INDEXING (Основной процесс / Офлайн-анализ)
Основной алгоритм патента (выбор Final Labels) работает на этом этапе. Система (Image Search Component) анализирует агрегированные Initial Labels, выполняет двойное группирование и определяет Final Labels на основе консенсуса. Эти финальные метки индексируются и ассоциируются с нетекстовым элементом.

RANKING / RERANKING – Ранжирование и Переранжирование
Во время обработки запроса (например, в Google Images или Video) система использует предварительно рассчитанные Final Labels. Вычисляется Match Score между запросом и метками. Если совпадение есть, система рассчитывает Boost Factor и применяет его к Baseline Result Score. Это влияет на финальную позицию контента в выдаче.

Входные данные:

• Набор Initial Labels для нетекстового элемента.
• Идентификаторы ресурсов (URL) для каждой исходной метки.
• Данные о доменах и издателях.

Выходные данные:

• Набор Final Labels, ассоциированных с нетекстовым элементом.

На что влияет

• Конкретные типы контента: Изображения, видео, аудио и мультимедийный контент. Влияет на ранжирование в вертикальных поисках и мультимедийных блоках в веб-поиске.
• Конкретные ниши: Наибольшее влияние на контент, который часто копируется или встраивается на разных сайтах (товары в e-commerce, стоковые фото, новостные сюжеты, популярные видео).

Когда применяется

• Условия работы алгоритма (Выбор меток): Алгоритм применяется, когда нетекстовый элемент встречается на нескольких веб-страницах (multiple web pages).
• Триггеры активации (Ранжирование): Механизм бустинга активируется, когда поисковый запрос пользователя совпадает с одной из предварительно рассчитанных Final Labels.
• Пороговые значения: Критическим является «пороговое количество» (threshold number) групп меток для достижения консенсуса. Также используется порог сходства (similarity threshold) для определения Matching Labels.

Пошаговый алгоритм

Процесс А: Выбор Финальных Меток (Офлайн / Индексирование)

1. Выбор контента: Выбирается нетекстовый элемент, связанный с несколькими веб-страницами.
2. Получение данных: Извлекается набор Initial Labels (текст и URL источника).
3. Группировка по Источнику:
   1. Идентифицируются наборы Matching Web Pages (например, по домену или издателю).
   2. Для каждого набора создается отдельная Initial Label Group.
4. Группировка по Содержанию:
   1. Идентифицируются наборы Matching Labels (например, по текстовой схожести или концепции).
   2. Для каждого набора создается отдельная Initial Label Group.
5. Обработка уникальных меток (Опционально): Метки, не попавшие в группы, могут формировать собственные уникальные группы.
6. Генерация N-грамм: Для каждой Initial Label Group генерируются N-граммы (слова и фразы) на основе текста меток внутри группы.
7. Анализ Консенсуса: Подсчитывается количество уникальных Initial Label Groups, в которых встречается каждая N-грамма.
8. Выбор Финальных Меток: N-граммы, количество упоминаний которых достигло или превысило пороговое значение (Threshold Number), выбираются как Final Labels.

Процесс Б: Применение в Ранжировании (Онлайн / Query Time)

1. Получение запроса: Система получает поисковый запрос.
2. Вычисление Совпадения: Вычисляется Match Score между запросом и набором Final Labels нетекстового элемента.
3. Выбор Коэффициента: Если совпадение есть, выбирается Boost Factor, основанный на значении Match Score (может быть пропорционален ему).
4. Корректировка Оценки: Baseline Result Score нетекстового элемента увеличивается (например, умножается) с использованием Boost Factor.
5. Формирование Выдачи: Результаты сортируются на основе скорректированных оценок.

Какие данные и как использует

Данные на входе

Система фокусируется на контекстуальных и технических факторах, связанных с размещением контента.

• Контентные и Структурные факторы:
  • Proximate Text: Текст, расположенный в пределах порогового количества пикселей от нетекстового элемента или в том же разделе страницы.
  • Заголовки страниц или разделов.
• Технические факторы и Метаданные:
  • Метаданные элемента: Имена файлов, данные об авторстве, описания (включая alt-text).
  • Resource Identifier (URL): Используется для идентификации источника метки.
  • Domain/Publisher Information: Данные о домене и издателе используются для идентификации Matching Web Pages.
• Поведенческие факторы:
  • Пользовательские метки: Текст, предоставленный пользователями для описания контента (упоминается как возможный источник Initial Labels).

Какие метрики используются и как они считаются

• Threshold Number of Separate Initial Label Groups (Порог консенсуса): Ключевая метрика патента. Минимальное количество различных групп меток, в которых должна появиться N-грамма, чтобы стать Final Label.
• Label Similarity Score (Оценка схожести меток): Метрика для определения Matching Labels. Может рассчитываться как:
  • Количество общих слов.
  • Семантическая схожесть с концепцией.
  • Cosine similarity measure (косинусное сходство).
• Match Score (Оценка совпадения): Мера схожести между поисковым запросом и Final Label.
• Boost Factor (Коэффициент повышения): Множитель для Baseline Result Score. В патенте указано, что он может быть пропорционален Match Score.

1. Консенсус как основа доверия: Ключевой вывод — Google не доверяет описанию изображения или видео из одного источника. Для формирования надежной метки (Final Label) требуется подтверждение (консенсус) из нескольких независимых групп источников или контекстов.
2. Механизм защиты от манипуляций на уровне сайта: Группировка меток с одного домена или от одного паблишера (Matching Web Pages) в одну группу нейтрализует попытки спама. Многократное повторение ключевого слова на одном сайте будет засчитано как один «голос» в пользу этого ключевого слова.
3. Важность разнообразия источников и контекстов: Чтобы термин стал Final Label, он должен появиться в разных группах. Это подчеркивает важность того, чтобы контент был описан схожим образом на разных доменах (разнообразие источников) и/или разными релевантными фразами (разнообразие контекстов).
4. Финальные метки как сильный фактор бустинга: Final Labels не просто определяют релевантность, но и активно повышают ранжирование через Boost Factor. Наличие высоконадежной метки, совпадающей с запросом, может значительно улучшить позиции контента.
5. Семантическое понимание описаний: Система учитывает не только точное совпадение слов, но и концептуальную схожесть (Matching Labels, cosine similarity), что указывает на применение семантического анализа для группировки меток.

Best practices (это мы делаем)

• Комплексная и точная оптимизация контекста: Обеспечивайте наличие релевантного и точного текстового контекста везде, где используется изображение или видео. Это включает оптимизацию Proximate Text (окружающий текст, подписи), метаданных (включая имена файлов) и атрибутов (например, alt text). Это формирует качественные Initial Labels, которые с большей вероятностью найдут подтверждение у других источников.
• Стимулирование распространения контента на качественных внешних ресурсах (Digital PR): Поскольку для достижения консенсуса требуются метки из разных групп, важно, чтобы ваш контент (инфографика, видеообзоры) размещался на авторитетных внешних сайтах с релевантным текстовым окружением. Это создает дополнительные независимые Initial Label Groups.
• Консистентность при синдикации: Если вы предоставляете контент партнерам (например, фото товаров для маркетплейсов), убедитесь, что предоставляемые метаданные и описания точны и последовательны. Это увеличивает вероятность формирования сильных Final Labels за счет консенсуса между вашим сайтом и сайтами партнеров.
• Использование разнообразной семантики: Используйте синонимы и связанные концепции в описаниях. Система может группировать метки по смыслу (Matching Labels), даже если слова разные. Это увеличивает вероятность формирования разнообразных групп, подтверждающих основную тему контента.

Worst practices (это делать не надо)

• Манипуляции на одном домене (Keyword Stuffing): Создание множества страниц на одном домене с одним и тем же изображением и переоптимизированным текстом неэффективно. Все эти упоминания будут объединены в одну группу по источнику (Matching Web Pages) и дадут только один голос при расчете консенсуса.
• Использование нерелевантных или кликбейтных описаний: Использование текста, который не соответствует содержанию изображения/видео, приведет к формированию нерелевантных Initial Labels. Если эти метки не найдут подтверждения в других источниках, они будут отфильтрованы.
• Манипуляция метками через сеть сателлитов (PBN): Попытка создать искусственный консенсус на сети контролируемых сайтов может быть неэффективной, если Google определит, что эти сайты принадлежат одному издателю (publisher). В этом случае все они попадут в одну Initial Label Group.

Стратегическое значение

Патент подтверждает стратегию Google по борьбе с манипуляциями и повышению точности поиска за счет анализа сигналов со всего интернета. Для SEO это означает, что оптимизация нетекстового контента — это не только On-Page задача, но и Off-Page. Стратегия должна включать PR и контент-маркетинг, направленные на то, чтобы ключевые визуальные активы компании появлялись в правильном контексте на авторитетных ресурсах, тем самым формируя необходимый консенсус.

Практические примеры

Сценарий 1: Оптимизация изображения продукта в E-commerce (Успех)

Изображение: Фотография кроссовок "Nike Air Max 90, синие".

1. Сбор Initial Labels:
   • Сайт A (Магазин): Метка "Распродажа кроссовок Nike".
   • Сайт B (Блог обзорщика): Метка "Обзор Air Max 90 синего цвета".
   • Сайт C (Форум): Метка "Посмотрите на мои новые кроссовки".
   • Сайт D (Другой магазин): Метка "Синие Air Max 90 в наличии".
2. Группировка и Генерация N-грамм: Система создает 4 группы по источникам (предполагая, что сайты независимы) и дополнительные группы по схожести меток. N-граммы генерируются для каждой группы.
3. Консенсус (Порог = 2 группы):
   • "Nike": 2+ группы. -> Final Label.
   • "Air Max 90": 2+ группы. -> Final Label.
   • "Синие" / "Синего цвета": 2+ группы. -> Final Label.
   • "Распродажа": 1 группа. -> Отклонено.
4. Результат: При запросе "Синие кроссовки Air Max 90" это изображение получит значительный Boost Factor, так как запрос хорошо совпадает с валидированными Final Labels. Текст о "распродаже" игнорируется.

Сценарий 2: Попытка манипуляции (Неудача)

1. Ситуация: SEO-специалист хочет ранжировать изображение кота по запросу "дешевая страховка авто".
2. Действия: Он размещает изображение кота на своем сайте 10 раз, каждый раз с alt-text "Лучшее фото дешевой страховки авто".
3. Работа алгоритма: Система видит 10 Initial Labels. Но все они с одного домена (Matching Web Pages). Они группируются в ОДНУ Initial Label Group.
4. Отсутствие консенсуса: Другие сайты, использующие это фото кота, описывают его как "смешной кот".
5. Результат: N-грамма "дешевая страховка авто" появляется только в одной группе. Порог не достигнут, она не становится Final Label. Изображение не ранжируется по страховым запросам.