Как Google автоматически определяет поисковые запросы в URL-адресах рефереров для таргетинга рекламы

Термины и определения

Content Item (Единица контента)

Контент, предназначенный для показа пользователю. В патенте прямо указано, что это может быть реклама (advertisement).

Content Management System (CMS) (Система управления контентом)

Система, отвечающая за анализ URL, генерацию шаблонов и выбор Content Items. В контексте патента функционирует как рекламный сервер.

Diversity Metric (Метрика разнообразия)

Ключевая метрика, используемая для оценки разнообразия значений конкретного параметра URL для данного сайта. Высокое значение предполагает, что параметр содержит пользовательский ввод (например, поисковый запрос), а не статическое значение.

Parameter / Parameter Value (Параметр / Значение параметра)

Компоненты URL. Например, в URL ?q=cars, 'q' — это параметр, а 'cars' — значение параметра.

Query Parameter (Параметр запроса)

Параметр URL, который система идентифицировала (на основе Diversity Metric) как содержащий пользовательский ввод или поисковый запрос.

Referring URL (Реферальный URL / URL источника перехода)

URL-адрес предыдущей веб-страницы, с которой пользователь перешел на текущую страницу.

Template (Шаблон)

Набор правил, сгенерированный системой для автоматического парсинга и извлечения значений параметров из Referring URLs конкретного сайта.

Website Parameter Pair (Пара (Сайт, Параметр))

Комбинация идентификатора сайта (например, домена) и имени параметра, используемая для анализа. Например, (foo.com, q).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обучения системы (идентификация параметров запроса).

1. Анализ множества Referring URLs для одного и того же веб-сайта.
2. Идентификация конкретного параметра и различных значений этого параметра в проанализированных URL.
3. Определение того, является ли данный параметр Query Parameter для этого сайта. Критерий определения: количество различных значений параметра (Diversity Metric) достигает заданного порогового числа (specified threshold number).
4. Генерация шаблона (Template) для парсинга будущих Referring URLs этого сайта. Шаблон идентифицирует значения данного параметра как поисковый термин (query term).

Ядро изобретения — использование статистического разнообразия значений как индикатора того, что параметр содержит пользовательский ввод.

Claim 2 (Зависимый от 1): Описывает применение сгенерированного шаблона в реальном времени.

1. Получение запроса на контент (content item request) для страницы, который включает Referring URL.
2. Парсинг значения параметра из Referring URL с использованием ранее сгенерированного шаблона.
3. Выбор единицы контента (Content Item) на основе извлеченного значения параметра.
4. Предоставление выбранного контента для отображения на странице.

Claim 6 (Зависимый от 1): Уточняет тип контента.

Единица контента (Content Item) является рекламой (advertisement).

Где и как применяется

Этот патент не вписывается в стандартную архитектуру органического поиска Google (CRAWLING, INDEXING, RANKING и т.д.). Он описывает инфраструктуру рекламных технологий (AdTech), функционирующую внутри Content Management System (например, Google AdSense/Ad Manager).

Этап 1: Офлайн-анализ и обучение
Этот этап включает анализ данных и машинное обучение, применяемое к логам Referring URLs.

• Система анализирует исторические данные о переходах пользователей для выявления закономерностей в структуре URL различных сайтов.
• На этом этапе вычисляются Diversity Metrics и генерируются Templates.

Этап 2: Применение в реальном времени (Content Serving)
Этот этап происходит в момент запроса рекламы при загрузке страницы у пользователя.

• Система получает запрос на контент, содержащий Referring URL.
• Она применяет соответствующий Template для извлечения query term.
• Извлеченный термин используется как ключевое слово для выбора наиболее релевантной рекламы.

Входные данные:

• (Офлайн): Логи, содержащие множество Referring URLs.
• (Онлайн): Запрос на контент (Content item request), включающий текущий Referring URL.

Выходные данные:

• (Офлайн): База данных шаблонов (Templates) для парсинга конкретных пар (Сайт, Параметр).
• (Онлайн): Выбранная единица контента (Реклама).

На что влияет

• Типы контента: Влияет исключительно на выбор рекламы (advertisements), отображаемой на сайтах издателей (publisher websites) в рамках рекламной сети. Не влияет на органическое ранжирование.
• Специфические сайты: Влияет на сайты, которые генерируют исходящий трафик и чьи URL содержат пользовательский ввод (например, поисковые системы, E-commerce с внутренним поиском).

Когда применяется

• Условия работы (Офлайн): Применяется периодически для анализа накопленных логов URL и обновления базы шаблонов.
• Триггеры активации (Офлайн): Генерация шаблона происходит, когда Diversity Metric для конкретной пары (Сайт, Параметр) превышает установленный порог (determined threshold).
• Условия работы (Онлайн): Применяется при каждом запросе рекламы, при условии доступности Referring URL и наличия для него сгенерированного шаблона.

Пошаговый алгоритм

Процесс разделен на две фазы: обучение (генерация шаблонов) и применение (выбор контента).

Фаза А: Обучение и генерация шаблонов (Офлайн)

1. Сбор данных: Анализ множества Referring URLs из логов.
2. Извлечение компонентов: Из каждого URL извлекаются данные сайта (домен), параметры и их значения.
3. Генерация пар: Формирование пар (Сайт, Параметр).
4. Агрегация значений: Группировка всех значений, связанных с каждой конкретной парой (Сайт, Параметр). Например, для (foo.com, q) значениями могут быть "cars", "trucks", "motorcycles".
5. Расчет метрики разнообразия: Определение Diversity Metric для каждой пары (например, путем подсчета количества уникальных значений).
6. Применение порога: Выбор пар, у которых Diversity Metric превышает заданный порог. Эти параметры классифицируются как Query Parameters.
7. Генерация шаблонов: Создание и сохранение шаблона (Template) для парсинга выбранных пар. Шаблон определяет, как интерпретировать значение параметра как поисковый термин.

Фаза Б: Применение и выбор контента (Онлайн)

1. Получение запроса: Поступление запроса на предоставление контента (рекламы). Запрос включает Referring URL.
2. Выбор шаблона: Поиск и извлечение соответствующего Template, сгенерированного на Фазе А для сайта из Referring URL.
3. Парсинг URL: Применение шаблона к Referring URL для извлечения значения Query Parameter (поискового термина).
4. Выбор контента: Использование извлеченного поискового термина для выбора релевантного Content Item (рекламы).
5. Предоставление контента: Отправка выбранного контента для отображения на странице пользователя.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на анализе структуры URL.

• Технические факторы:
  • Referring URLs: Основной источник данных. Анализируется структура URL, наличие и имена параметров (например, CGI-параметры), значения этих параметров.
  • Данные сайта (Домены): Используются для группировки URL по сайтам.
• Поведенческие/Пользовательские факторы:
  • Подразумеваемый интерес пользователя, выраженный через User Input Data (поисковый запрос), встроенный в реферальный URL.

Какие метрики используются и как они считаются

• Diversity Metric (Метрика разнообразия): Ключевая метрика изобретения. Она рассчитывается для каждой пары (Сайт, Параметр).
  • Метод расчета: Определяется как количество различных или уникальных значений параметра. Например: для (websitel.com, q) значения "cars", "trucks", "motorcycles" дают метрику 3.
• Determined Threshold / Specified Threshold Number (Определенный порог): Пороговое значение для Diversity Metric.
  • Применение: Если Diversity Metric > Порог, то параметр считается Query Parameter.
  • Определение порога: Порог может быть фиксированным (например, 3) или определяться динамически на основе анализа метрик для сайтов, о которых уже известно, что их параметры содержат поисковые запросы (benchmarking).

Патент описывает внутренние инфраструктурные процессы Google, ориентированные на систему управления контентом (рекламой), без прямых рекомендаций для органического SEO.

1. Фокус на AdTech, а не на SEO: Все описанные механизмы направлены на улучшение таргетинга рекламы (advertisements) и не связаны с алгоритмами ранжирования органического поиска.
2. Автоматическое обучение парсингу URL: Система Google способна автоматически, без ручного вмешательства, учиться понимать структуру URL сторонних сайтов и определять, какие части URL содержат семантически значимую информацию (пользовательский ввод).
3. Diversity Metric как индикатор интента: Ключевая инновация заключается в использовании метрики разнообразия для автоматического определения того, содержит ли параметр URL поисковый запрос. Система предполагает, что параметры с высокой вариативностью значений содержат пользовательский ввод.
4. Понимание интента из рефереров: Механизм позволяет Google понимать намерение пользователя на основе его предыдущих поисков (даже на сторонних сайтах) и использовать это для таргетинга рекламы на последующих страницах.

Патент является инфраструктурным для рекламных технологий (AdTech) и не дает практических выводов для влияния на органическое ранжирование (SEO).

Best practices (это мы делаем)

В патенте нет информации о лучших практиках для SEO. Однако, исходя из того, что патент демонстрирует способность Google анализировать структуру URL, можно вывести общие технические рекомендации:

• Использование понятной структуры URL для внутреннего поиска: Для страниц внутреннего поиска рекомендуется использовать стандартные и очевидные параметры запросов (например, ?q=, ?s=). Это является хорошей практикой, которая облегчает анализ поведения пользователей системами веб-аналитики (например, Google Analytics), которые могут использовать схожие механизмы для идентификации поисковых терминов.

Worst practices (это делать не надо)

В патенте нет информации о худших практиках для SEO.

• Использование запутанных параметров для ключевой информации: Передача поисковых запросов через неоднозначные или зашифрованные параметры URL может затруднить автоматический анализ этих данных внешними системами аналитики.

Стратегическое значение

Стратегическое значение для органического SEO минимально. Патент подтверждает способность Google проводить глубокий анализ структуры URL в масштабах всего интернета и автоматически адаптироваться к различным реализациям сайтов. Хотя данный конкретный патент применяется в AdTech, аналогичные методы анализа URL критически важны и в Google Search для понимания структуры сайта и управления краулингом.

Практические примеры

Практических примеров применения для органического SEO нет. Ниже приведен пример работы механизма в контексте AdTech для иллюстрации изобретения.

Сценарий (AdTech): Автоматическое определение параметра запроса

1. Анализ логов: Google анализирует логи реферальных URL с сайта Example.com:
   • http://www.example.com/search?q=cars&lang=en
   • http://www.example.com/search?q=trucks&lang=en
   • http://www.example.com/search?q=bikes&lang=en
2. Расчет метрик:
   • Пара (example.com, q) имеет значения: "cars", "trucks", "bikes". Diversity Metric = 3.
   • Пара (example.com, lang) имеет значение: "en". Diversity Metric = 1.
3. Применение порога: Если порог равен 2, параметр 'q' идентифицируется как параметр запроса.
4. Генерация шаблона: Создается шаблон для извлечения значения параметра 'q' из URL example.com.
5. Применение: Пользователь ищет "red cars" на example.com и переходит на сайт Publisher.com. Google получает реферальный URL http://www.example.com/search?q=red+cars&lang=en.
6. Результат: Используя шаблон, Google извлекает запрос "red cars" и показывает релевантную рекламу на Publisher.com.