Как Google кастомизирует результаты веб-поиска, встроенного на сторонние сайты, и рассчитывает тематическую авторитетность доменов

Описание

Какую задачу решает

Патент решает проблему потенциальной нерелевантности результатов общего веб-поиска (general search engine), когда запрос инициируется со специализированного тематического сайта (third party website). Стандартный поиск игнорирует контекст сайта, на котором находится пользователь. Например, запрос [giants] с сайта о бейсболе может вернуть общие результаты вместо информации о бейсбольной команде San Francisco Giants. Изобретение позволяет адаптировать выдачу под тематику источника запроса.

Что запатентовано

Запатентована система кастомизации результатов общего поиска на основе контекста стороннего сайта, с которого поступил запрос. Ядром системы является использование Site Profile (профиля сайта), который содержит информацию о релевантных темах или доменах. Этот профиль используется для переранжирования стандартных результатов поиска путем повышения (boosting) ресурсов, тематически соответствующих профилю сайта-источника.

Как это работает

Когда пользователь отправляет запрос через встроенный поисковый интерфейс (например, Google CSE) на стороннем сайте, запрос передается общему поисковому движку вместе с Site Profile. Поисковая система обращается к Topic Directory, которая содержит заранее рассчитанные веса (boost values или Topic Boosts) для различных доменов в рамках тем профиля. Если документ в результатах поиска принадлежит домену с высоким boost value в релевантной теме, его базовая оценка релевантности (IR score) увеличивается, что повышает его позицию в финальной выдаче.

Актуальность для SEO

Средняя. Технология лежит в основе Google Custom Search Engine (CSE) / Programmable Search Engine. Концепция адаптации поиска под контекст актуальна для встроенных решений. Однако важно отметить, что данный патент является продолжением (continuation) заявок, начиная с 2004 года. Некоторые упомянутые технологии, например, использование Open Directory Project (DMOZ), устарели, но базовые принципы расчета тематического авторитета остаются значимыми.

Важность для SEO

Влияние на SEO: 4/10. Патент имеет минимальное прямое влияние на стратегии органического SEO для основного поиска Google (google.com), так как описывает работу CSE. Однако он имеет высокое стратегическое значение, так как детально раскрывает конкретный алгоритм, который Google использует для расчета тематической авторитетности доменов (Topic Boosts) на основе анализа графа связей (site graph).

Детальный разбор

Термины и определения

Boost Value (Topic Boost / Weight)

Коэффициент повышения. Числовое значение, указывающее на степень авторитетности сайта в определенной теме. Используется как множитель для базовой оценки релевантности (IR score) документа.

Customization Control

Элемент управления (например, слайдер), позволяющий владельцу сайта указать степень влияния (degree of influence) профиля сайта на результаты поиска (от 0% до 100%).

General Search Engine

Общий поисковый движок (например, Google Поиск), который выполняет поиск по генерализованному корпусу документов (например, всему Интернету).

Site Graph

Граф сайтов. Структура данных, где узлы представляют собой сайты (хосты), а ребра взвешены на основе количества ссылок с одного сайта на другой.

Site Profile

Профиль сайта. Набор тем (topics), ключевых слов или доменов, которые отражают контекст стороннего сайта. Используется для кастомизации поиска.

Start Sites (S0)

Начальные сайты. Набор авторитетных сайтов, выбранных для определенной темы (например, из Topic Directory), которые используются как отправная точка для расчета boost values других сайтов (S1 и S2).

Third Party Website

Сторонний сайт. Веб-сайт, который встраивает интерфейс к общему поисковому движку.

Topic Directory

Тематическая директория. Иерархический каталог тем (например, DMOZ). Используется для определения Site Profile и хранения boost values.

Ключевые утверждения (Анализ Claims)

Патент US10929487B1 является продолжением (continuation) более ранних заявок. Claims сосредоточены на механизме приоритизации результатов на основе домена источника запроса.

Claim 1 (Независимый пункт): Описывает основной метод кастомизации поиска, инициированного со стороннего ресурса.

1. Система получает запрос, отправленный через поисковый интерфейс веб-ресурса, размещенного на Домене А (сторонний сайт), который отличается от домена поисковой системы.
2. Поисковая система идентифицирует элементы контента (документы), релевантные запросу.
3. Для каждого элемента контента система идентифицирует его интернет-домен.
4. Система генерирует ответ, который приоритизирует (ранжирует) элементы контента.
5. Эта приоритизация основана на интернет-доменах этих элементов контента в соответствии с Доменом А (доменом источника запроса).
6. Система предоставляет сгенерированный ответ.

Ядром изобретения является изменение порядка результатов поиска в зависимости от того, с какого домена (Third Party Website) пришел запрос. Это достигается путем анализа доменов найденных результатов и их соответствия контексту (определяемому через Site Profile) исходного домена.

Claim 7 (Зависимый): Уточняет механизм приоритизации.

Система определяет оценку (score) для каждого элемента, а затем корректирует эти оценки на основе их интернет-доменов. Финальная приоритизация основана на скорректированных оценках. Это юридическое описание механизма бустинга (применения boost values к IR scores).

Где и как применяется

Изобретение применяется в рамках инфраструктуры, обслуживающей встроенные поисковые решения (например, Google CSE/PSE).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит критически важный офлайн-расчет данных. Система анализирует site graph для построения Topic Directory и определения тематических boost values (Topical Authority) для доменов в рамках различных тем (см. Алгоритм, Процесс Б).

RANKING – Ранжирование
На этом этапе генерируется базовый набор результатов для запроса с использованием стандартных алгоритмов ранжирования и рассчитываются базовые IR scores.

RERANKING – Переранжирование
Основной этап применения патента в реальном времени. Система получает запрос, сопровождаемый Site Profile. Customization Server определяет применимые boost values. Базовые IR scores документов из релевантных доменов умножаются на эти значения. Затем результаты переранжируются. Если используется Customization Control, происходит интерполяция между базовым и кастомизированным ранжированием.

Входные данные:

• Поисковый запрос (Q).
• Site Profile (Topic IDs) или Site_ID.
• Базовые IR scores.
• Topic Directory (карты соответствия Site -> Boost).
• Значение Degree of Influence (опционально).

Выходные данные:

• Кастомизированный набор результатов поиска (R_profile).

На что влияет

• Область применения: Патент влияет только на результаты поиска, инициированные через специальный встроенный интерфейс на сторонних сайтах (например, Google CSE/PSE). Он не влияет на ранжирование в основном поиске google.com.
• Специфические запросы: Наибольшее влияние оказывается на неоднозначные запросы, где контекст сайта помогает уточнить интент.

Когда применяется

• Триггеры активации: Алгоритм активируется только тогда, когда запрос к общему поисковому движку содержит параметры site_profile или Site_ID, идентифицирующие источник запроса как сторонний сайт с определенным профилем.

Пошаговый алгоритм

Процесс А: Обработка запроса в реальном времени

1. Получение данных: Система получает запрос (Q) и Site Profile со стороннего сайта.
2. Генерация базовых результатов: Поисковый движок генерирует стандартный набор результатов и рассчитывает базовые IR scores.
3. Идентификация тем и Boost Values: Customization Server определяет темы профиля и извлекает соответствующие карты {Site -> Boost} из Topic Directory.
4. Применение Boost: Для каждого документа проверяется, присутствует ли его домен в извлеченных картах. Если да, базовый IR score документа умножается на соответствующий boost value.
5. Интерполяция (Опционально): Если владелец сайта указал степень влияния (Degree of Influence), система интерполирует результаты между базовым (0% влияния) и полностью скорректированным набором (100% влияния).
6. Переранжирование и Выдача: Результаты сортируются на основе финальных оценок и возвращаются пользователю.

Процесс Б: Офлайн-расчет Boost Values (Алгоритм Тематической Авторитетности)

Этот процесс описывает, как Google вычисляет авторитетность сайтов в контексте определенной темы.

1. Построение Site Graph: Генерируется граф, где узлы — это хосты, а ребра взвешены по количеству ссылок между ними.
2. Идентификация Start Sites (S0): Для конкретной темы (например, «Health») выбирается набор авторитетных начальных сайтов (например, из авторитетного каталога типа DMOZ).
3. Первый проход (S1): Идентифицируются сайты (S1), на которые активно ссылаются сайты из S0. Сайтам S1 присваиваются веса в зависимости от интенсивности ссылок из S0.
4. Второй проход (S2): Идентифицируются сайты (S2), на которые активно ссылаются сайты из S1. Сайтам S2 присваиваются веса в зависимости от интенсивности ссылок из S1.
5. Сохранение Boost Values: Сайты из набора S2 и их веса сохраняются как boost values (тематическая авторитетность) для данной темы.

Какие данные и как использует

Данные на входе

• Ссылочные факторы: Критически важны для офлайн-расчета boost values (Процесс Б). Используется Site Graph (анализ связей между хостами). Анализируется структура ссылок от Start Sites (S0 -> S1 -> S2).
• Контентные факторы (Косвенно): В патенте упоминается, что Site Profile может быть создан автоматически путем анализа ключевых слов (keyword analysis) на страницах стороннего сайта.
• Поведенческие факторы (Косвенно): Упоминается возможность автоматического создания Site Profile путем анализа логов предыдущих запросов на сайте или анализа паттернов браузинга пользователей (site-to-site browsing).
• Структурные факторы (Косвенно): Упоминается возможность автоматического создания Site Profile путем анализа исходящих и входящих ссылок стороннего сайта (link analysis).

Какие метрики используются и как они считаются

• IR Score (Information Retrieval Score): Базовая оценка релевантности документа запросу.
• Boost Value (Weight): Множитель, применяемый к IR score. Рассчитывается офлайн на основе анализа Site Graph путем итеративного распространения веса от авторитетных Start Sites (Процесс Б). Отражает тематическую авторитетность домена.
• Degree of Influence: Коэффициент от 0% до 100%, задаваемый владельцем сайта. Используется для линейной интерполяции между базовым и кастомизированным ранжированием.

Выводы

1. Ограниченное применение для основного SEO: Основные выводы патента касаются управления функциональностью встроенного поиска (CSE/PSE) и не применимы напрямую к оптимизации под основной органический поиск Google.com.
2. Контекст источника запроса как фактор ранжирования (в CSE): Патент демонстрирует механизм, позволяющий изменять ранжирование результатов в зависимости от того, с какого сайта (используя его Site Profile) пришел запрос.
3. Детальный алгоритм расчета Тематической Авторитетности: Ключевой технический инсайт патента — детальное описание метода расчета boost values (Topical Authority) для доменов в рамках конкретной темы (Процесс Б). Этот расчет основан на анализе ссылочного графа (Site Graph) и итеративном распространении авторитетности от доверенных источников (S0 -> S1 -> S2).
4. Авторитет на уровне домена: Boost значения рассчитываются и применяются на уровне сайта (домена/хоста). Патент прямо указывает: «All pages within a given site get that site’s boost value».
5. Автоматизация и контроль: Система предусматривает автоматическое определение Site Profile и позволяет владельцам сайтов регулировать степень влияния профиля на выдачу с помощью Customization Control.

Практика

Хотя патент описывает кастомный поиск (CSE/PSE), алгоритм расчета Topic Boosts (Процесс Б) дает критически важные инсайты для построения Topical Authority в органическом поиске.

Best practices (это мы делаем)

Для SEO-специалистов (стратегия Topical Authority):

• Построение тематического авторитета: Патент подтверждает, что Google имеет конкретные механизмы для количественной оценки тематической авторитетности на уровне домена. Сосредоточьтесь на том, чтобы ваш сайт был признан авторитетом в вашей нише (стал частью S1 или S2 для вашей темы).
• Стратегический линкбилдинг на основе модели S0/S1/S2: Используйте описанный алгоритм для построения ссылочного профиля.
  • Определите «анкорные» авторитеты (S0) в вашей нише (университеты, госорганы, главные отраслевые организации).
  • Определите сайты первого уровня (S1), на которые ссылаются S0.
  • Стремитесь получать ссылки именно с сайтов S1 и других тематически релевантных S2 сайтов. Ссылки с таких сайтов, согласно механизму патента, являются ключевыми для передачи тематического веса (Boost).

Для владельцев сайтов, использующих Google CSE/PSE:

• Точная настройка Site Profile: Активно используйте функционал CSE/PSE для определения Site Profile (релевантные темы и доверенные домены), чтобы повысить качество поиска для пользователей вашего сайта.
• Использование Customization Control: Экспериментируйте со степенью влияния (Degree of Influence), чтобы сбалансировать выдачу.

Worst practices (это делать не надо)

• Игнорирование тематической релевантности ссылок: Покупка ссылок только на основе общих метрик (например, DR) без учета тематической связи неэффективна для построения Topic Boost. Если ссылающийся сайт не является частью тематического графа (S1/S2), он не передаст нужный тематический вес.
• Фокус только на Page-Level оптимизации: Патент подчеркивает, что тематический авторитет (Boost) рассчитывается и применяется на уровне сайта/домена. Недостаточно оптимизировать отдельные страницы, если сайт в целом не является тематическим авторитетом.

Стратегическое значение

Патент подтверждает, что Google обладает сложной инфраструктурой для расчета и применения тематических весов для доменов на основе анализа ссылочного графа. Хотя в данном патенте это описано в контексте кастомизированного поиска, крайне вероятно, что подобные механизмы расчета Topical Authority используются и в основном органическом поиске для оценки E-E-A-T и определения тематических лидеров. Это делает построение тематического авторитета через контент и стратегический линкбилдинг ключевым элементом долгосрочной SEO-стратегии.

Практические примеры

Сценарий: Применение инсайтов из расчета Topic Boost для SEO-стратегии медицинского сайта.

1. Задача: Повысить тематический авторитет нового медицинского блога.
2. Анализ ниши (по методологии патента):
   • S0 (Анкорные авторитеты): Определяем сайты типа WHO (who.int), CDC (cdc.gov), крупные университеты (.edu), NIH (nih.gov).
   • S1 (Сайты первого уровня): Анализируем, на кого ссылаются S0. Это могут быть крупные медицинские порталы (WebMD, Mayo Clinic), научные журналы (The Lancet).
   • S2 (Целевой уровень): Анализируем, на кого ссылаются S1. Это могут быть специализированные блоги врачей, нишевые клиники.
3. Действия SEO-специалиста: Разработать стратегию линкбилдинга, фокусируясь на получении обратных ссылок с сайтов S1 и релевантных S2. Например, публиковать исследования, которые могут процитировать WebMD или специализированные блоги.
4. Ожидаемый результат: Получение ссылок с S1/S2 позволит новому блогу интегрироваться в тематический Site Graph и увеличить свой тематический вес (Topic Boost), что положительно скажется на ранжировании по медицинским запросам.

Вопросы и ответы