Как Google анализирует топовые органические результаты для извлечения связанных концепций и расширения понимания запроса

Описание

Какую задачу решает

Патент решает проблему недостаточного количества или отсутствия контента «второго типа» (в первую очередь, рекламы), найденного в ответ на поисковый запрос. Когда система не может найти достаточно рекламных объявлений, напрямую соответствующих терминам запроса (например, для нишевых или неоднозначных запросов), это снижает эффективность монетизации и релевантность рекламной выдачи. Цель — расширить охват рекламного инвентаря.

Что запатентовано

Запатентована система для расширения идентификации контента путем анализа результатов основного поиска. Система анализирует контент «первого типа» (органические результаты), чтобы идентифицировать «Коррелирующие сущности» (Correlated Entities) — часто встречающиеся или выделенные термины и фразы. Затем эти Correlated Entities используются для поиска контента «второго типа» (рекламы). Процесс преимущественно выполняется офлайн путем предварительного расчета ассоциаций.

Как это работает

Система работает в двух режимах: офлайн (предварительная обработка) и онлайн (обслуживание запроса).

• Офлайн: Система обрабатывает ключевые слова, выполняет по ним запросы и анализирует органические результаты (Content of the first type). Из них извлекаются Correlated Entities — термины, встречающиеся в нескольких документах. Эти сущности ранжируются (по частоте, расположению) и сохраняется связь между исходным ключевым словом и сущностями.
• Онлайн: При получении запроса рекламная система (Content Engine) использует не только ключевые слова запроса, но и предварительно связанные с ними Correlated Entities для поиска рекламы (Content of the second type). Этот механизм может активироваться условно, если рекламы по исходному запросу недостаточно.

Актуальность для SEO

Высокая. Хотя методы семантического анализа значительно продвинулись, базовая концепция анализа результатов поиска для расширения понимания запроса остается фундаментальной. Способность извлекать релевантные темы из высокоранжированного контента остается критически важной как для рекламных систем (Google Ads), так и для общего понимания контента поисковыми системами.

Важность для SEO

Влияние на SEO косвенное, но значимое (5.5/10). Патент не описывает алгоритмы органического ранжирования. Однако он дает критически важное понимание того, как Google анализирует контент топовых страниц для определения контекста запроса. Это подтверждает, что структура, ясность и тематический охват контента на страницах, занимающих высокие позиции, определяют, какие концепции (Correlated Entities) Google ассоциирует с исходным запросом.

Детальный разбор

Термины и определения

Content of the first type (Контент первого типа)

Контент, идентифицированный в ответ на запрос. Как правило, это органические результаты поиска (веб-документы).

Content of the second type / Content Items (Контент второго типа / Элементы контента)

Дополнительный контент, идентифицируемый системой. Как правило, это рекламные объявления (Advertisements).

Correlated Entities (Коррелирующие сущности)

Сущности (однословные или многословные выражения), извлеченные из контента первого типа. Определяются как термины, которые встречаются в нескольких документах в наборе результатов. Являются основой для поиска контента второго типа.

Correlation Engine (Механизм корреляции)

Компонент, отвечающий за анализ контента первого типа и идентификацию Correlated Entities на основе частотных показателей.

Ranking Engine (Механизм ранжирования)

Компонент, отвечающий за ранжирование извлеченных Correlated Entities на основе различных метрик (частота, местоположение, релевантность источника).

Relevance Measure (Мера релевантности)

Метрика, указывающая степень релевантности между двумя элементами, например, между веб-документом и исходным запросом.

Keyword/Correlated Entity Data Store (Хранилище ключевых слов и сущностей)

База данных, хранящая ассоциации между ключевыми словами и идентифицированными Correlated Entities, созданные в офлайн-режиме.

Ключевые утверждения (Анализ Claims)

Патент US8171011B2 фокусируется на процессе предварительной (офлайн) ассоциации ключевых слов и сущностей, и их последующем использовании.

Claim 1 (Независимый пункт): Описывает метод, включающий предварительный расчет ассоциаций и их использование при обработке запроса.

Часть A (Офлайн-процесс):

1. Выбирается множество ключевых слов.
2. Для каждого ключевого слова:
   1. Генерируется запрос.
   2. Получается набор релевантных веб-документов.
   3. Идентифицируются Correlated Entities из этого набора. Ключевое условие: каждая сущность должна встречаться в нескольких документах набора.
   4. Эти Correlated Entities ассоциируются с исходным ключевым словом.

Часть B (Онлайн-процесс):

1. Система получает новый запрос, включающий одно из этих ключевых слов.
2. Выбираются ранее ассоциированные Correlated Entities.
3. Идентифицируются элементы контента (реклама), релевантные этим Correlated Entities.
4. Система предоставляет пользователю результаты поиска и найденную рекламу.

Ядро изобретения заключается в использовании консенсуса органического поиска (сущности, встречающиеся в нескольких топовых документах) для выявления связанных концепций и их использования для таргетинга рекламы.

Claim 2 и 3 (Зависимые): Детализируют ранжирование Correlated Entities.

• Claim 2: Ранжирование основывается на средней частоте встречаемости (average frequency of occurrence) сущности в наборе документов.
• Claim 3: Ранжирование основывается на местоположении (locations) сущностей в документах (например, приоритет отдается заголовкам, выделенному тексту).

Claim 4 (Зависимый): Описывает фильтрацию и приоритизацию рекламы. Если реклама релевантна как исходному ключевому слову, так и Correlated Entity, она получает приоритет в показе.

Claim 18 (Зависимый): Вводит условный триггер. Процесс идентификации (использования) Correlated Entities выполняется только в том случае, если количество рекламы, найденной по исходному ключевому слову, не превышает порогового значения.

Где и как применяется

Изобретение функционирует как мост между системой органического поиска и системой доставки рекламы.

INDEXING – Индексирование и извлечение признаков
Система должна иметь доступ к контенту и структуре веб-документов (кэшированные копии) для анализа частоты и расположения терминов.

QUNDERSTANDING – Понимание Запросов (Офлайн-обработка)
Основное применение (согласно Claim 1). Система выполняет офлайн-процесс для построения базы данных ассоциаций (Keyword/Correlated Entity Data Store). Это расширяет семантическое понимание ключевых слов за счет анализа связанного с ними контента.

RANKING – Ранжирование
На этом этапе генерируются органические результаты (контент первого типа), которые служат входными данными для офлайн-анализа.

METASEARCH / RERANKING (Онлайн-обработка)
Применение в реальном времени. Content Engine (рекламный движок) использует исходный запрос и/или предварительно рассчитанные Correlated Entities для идентификации рекламы. Происходит смешивание и потенциальное переранжирование рекламы (приоритезация пересечений по Claim 4).

Входные данные:

• Ключевые слова (офлайн) или Запрос пользователя (онлайн).
• Набор органических результатов поиска (Content of the first type).
• Меры релевантности (Relevance Measure) органических результатов запросу.

Выходные данные:

• База данных ассоциаций между ключевыми словами и ранжированными Correlated Entities (офлайн).
• Набор рекламных объявлений (Content of the second type), релевантных запросу и/или сущностям (онлайн).

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, по которым существует мало рекламодателей, таргетирующихся напрямую (длиннохвостые, нишевые, неоднозначные запросы).
• Конкретные типы контента: Влияет на то, как анализируется контент в топе органической выдачи. Система анализирует текст, заголовки и структуру этих страниц для извлечения сущностей. Не влияет напрямую на ранжирование самих органических результатов.

Когда применяется

• Постоянно (через офлайн-процесс): Процесс предварительного вычисления ассоциаций выполняется постоянно в фоновом режиме для обновления базы данных.
• Условно (при обслуживании запроса): Патент описывает селективное применение (Claim 18). Система может активировать поиск по Correlated Entities, только если количество рекламы, найденной по исходному запросу, не превышает определенный порог (например, 5 объявлений).

Пошаговый алгоритм

Процесс А: Офлайн-генерация ассоциаций (Claim 1)

1. Выбор ключевых слов: Система выбирает набор ключевых слов для анализа.
2. Генерация запросов и получение результатов: Для каждого ключевого слова формируется запрос и получаются релевантные веб-документы (контент первого типа).
3. Идентификация Коррелирующих Сущностей: Correlation Engine анализирует документы. Идентифицируются выражения, которые встречаются в нескольких документах и чья частота превышает порог.
4. Ранжирование сущностей: Ranking Engine ранжирует Correlated Entities на основе:
   1. Частоты встречаемости (средней или общей).
   2. Местоположения (заголовки, выделения, крупный шрифт).
   3. Меры релевантности (Relevance Measure) исходного документа запросу.
5. Ассоциация и сохранение: Наиболее релевантные Correlated Entities ассоциируются с исходным ключевым словом и сохраняются в Data Store.

Процесс Б: Обработка запроса в реальном времени (Claim 1)

1. Получение запроса: Система получает запрос от пользователя.
2. Первичный поиск рекламы: Content Engine ищет рекламу по терминам запроса.
3. Проверка порога (Условная активация): Система проверяет, превышает ли количество найденной рекламы заданный порог (согласно Claim 18).
   1. Если ДА: Поиск завершается.
   2. Если НЕТ: Активируется механизм расширения.
4. Получение Коррелирующих Сущностей: Система извлекает предварительно вычисленные Correlated Entities (из Процесса А), связанные с ключевыми словами запроса.
5. Вторичный поиск рекламы: Content Engine ищет рекламу, используя Correlated Entities.
6. Фильтрация и объединение: Результаты объединяются. Контенту, релевантному и запросу, и сущностям, отдается приоритет (Claim 4).
7. Предоставление результатов: Объединенный набор рекламы предоставляется пользователю вместе с органическими результатами.

Какие данные и как использует

Данные на входе

Система использует данные, извлеченные из органических результатов поиска (Content of the first type).

• Контентные факторы: Полный текст веб-документов из топа выдачи. Анализируются однословные и многословные выражения.
• Структурные факторы: Местоположение (locations) текста на странице. Упоминается, что сущности в заголовках (titles, headings) могут ранжироваться выше (Claim 3).
• Мультимедиа факторы (Форматирование): Визуальное представление текста. В описании патента упоминается, что сущности, отображаемые более крупным шрифтом (larger font) или иным образом выделенные (prominently displayed), могут ранжироваться выше.
• Системные данные (Relevance Measure): Предварительно рассчитанная оценка релевантности веб-документа исходному запросу, предоставляемая Search Engine.

Какие метрики используются и как они считаются

• Frequency of Occurrence (Частота встречаемости): Подсчет количества появлений термина или фразы в наборе документов.
• Average Frequency (Средняя частота): Среднее количество появлений сущности на документ в наборе результатов (Claim 2).
• Prominence Score (Оценка заметности): Метрика, основанная на структурных и визуальных факторах (заголовки, крупный шрифт). Используется для ранжирования Correlated Entities.
• Relevance Measure (Мера релевантности документа): Используется для взвешивания Correlated Entities. Сущности из документов с высокой релевантностью запросу получают больший вес.
• Ad Inventory Threshold (Порог рекламного инвентаря): Предопределенное число (например, 5 объявлений), используемое для принятия решения о необходимости активации механизма расширения (Claim 18).

Выводы

1. Органическая выдача формирует контекст запроса: Патент демонстрирует, как Google использует содержание топовых органических результатов как надежный источник для понимания контекста запроса и выявления связанных тем (Correlated Entities). То, что находится в топе, определяет семантическое поле запроса для систем Google.
2. Важность со-встречаемости (Co-occurrence) в нескольких документах: Ключевым критерием для идентификации Correlated Entity является ее появление в нескольких документах из набора результатов (Claim 1). Это подчеркивает важность общих тем и концепций (консенсуса) в рамках ниши.
3. Извлечение сущностей основано на частоте и заметности: Ключевыми факторами для ранжирования Correlated Entities являются частота их упоминания и их структурная/визуальная заметность (заголовки, выделение).
4. Релевантность источника имеет значение: Система предпочитает сущности, извлеченные из страниц, которые наиболее релевантны исходному запросу. Сущности наследуют релевантность от своего источника.
5. Офлайн-обработка для скорости: Ключевая часть работы (связывание ключевых слов и сущностей) выполняется офлайн, что позволяет системе быстро реагировать на запросы в реальном времени.
6. Фокус на AdTech, но с выводами для SEO: Хотя основная цель — улучшение монетизации SERP, используемые методы анализа контента дают SEO-специалистам четкие сигналы о важности структуры и тематического охвата контента.

Практика

Best practices (это мы делаем)

Хотя патент направлен на AdTech, его механизмы анализа контента имеют прямые последствия для SEO-стратегий.

• Анализ контекста SERP (Выявление Correlated Entities): Регулярно анализируйте топовые органические результаты, чтобы понять, какие термины и фразы часто встречаются и выделяются. Это поможет понять, какие Correlated Entities Google, вероятно, ассоциирует с данным запросом, и соответствующим образом скорректировать контент-стратегию.
• Обеспечение тематического охвата (Topical Coverage): Создавайте контент, который всесторонне раскрывает тему и включает релевантные связанные концепции, выявленные при анализе SERP. Ваш контент должен соответствовать тематическому ядру, сформированному лидерами.
• Четкая структура и иерархия контента: Используйте логичную структуру заголовков (H1-H6). Патент явно указывает (Claim 3), что местоположение (locations), такое как заголовки, используется для повышения ранга Correlated Entities. Ключевые концепции должны быть отражены в структуре документа.
• Визуальное выделение ключевой информации: Используйте форматирование (списки, полужирный шрифт) для выделения важной информации. Патент упоминает, что визуальная заметность (например, larger font) может влиять на ранг Correlated Entities.

Worst practices (это делать не надо)

• Игнорирование структуры контента: Публикация «стены текста» без четкой иерархии и выделения ключевых моментов снижает способность системы эффективно извлекать и высоко ранжировать Correlated Entities из вашего контента.
• Узкая оптимизация под один ключ (Thin Content): Создание контента, который фокусируется только на точном вхождении ключевого слова и игнорирует связанные темы. Система ищет сущности, которые отражают более широкий контекст.
• Изолированная оптимизация без учета SERP: Создание контента без анализа того, какие концепции уже доминируют в выдаче. Это риск создания контента, который не соответствует семантическому контексту, который Google уже определил для запроса.

Стратегическое значение

Патент подтверждает, что Google активно анализирует композицию и содержание SERP для извлечения контекста. Google использует уже ранжирующийся контент как «источник истины» для понимания тематики запроса. Для SEO это подчеркивает переход от оптимизации под ключевые слова к оптимизации под темы и концепции (Semantic SEO). Стратегически важно создавать контент, который содержит четкие, структурированные и часто встречающиеся концепции, которые определяют тематику.

Практические примеры

Сценарий: Оптимизация статьи о питании

1. Исходный запрос: «Кето диета для начинающих».
2. Анализ SERP (Content of the first type): SEO-специалист анализирует Топ-5 результатов. Он замечает, что во всех статьях часто встречаются и выделены в подзаголовках фразы: «макронутриенты», «состояние кетоза», «список разрешенных продуктов», «побочные эффекты».
3. Извлечение (Предполагаемые Correlated Entities): Google, вероятно, идентифицирует эти фразы как Correlated Entities, так как они частотны (встречаются в нескольких документах) и структурно выделены.
4. Действия SEO: Специалист обновляет свою статью, убедившись, что для каждого из этих понятий создан отдельный раздел с четким подзаголовком (H2/H3) и подробным описанием.
5. Результат: Статья становится более полным и лучше структурированным ресурсом. Это улучшает ее органическое ранжирование и делает ее более ценным источником для извлечения Correlated Entities системой Google.

Вопросы и ответы