Как Google отслеживает клики (CTR) на сторонних сайтах и защищает свои данные от парсинга в API и виджетах

Термины и определения

API Module (Модуль API)

Компонент на сервере Google (Backend Host Server), обрабатывающий запросы от сторонних сайтов. Определяет правила взаимодействия и обеспечивает безопасность данных.

Descriptor / Human-readable description data (Дескриптор)

Первый набор данных (first data elements). Минимальная информация о результате, достаточная для того, чтобы пользователь мог однозначно отличить (unambiguously differentiable) один результат от другого. Например, название компании и улица.

Opaque Token (Непрозрачный токен)

Уникальный идентификатор (unique identifier). Зашифрован, генерируется во время выполнения запроса (runtime), имеет короткий срок жизни (TTL) и не может быть расшифрован третьей стороной. Используется для валидации запроса на получение деталей.

Substantive Content / Content Information (Основной контент)

Второй набор данных (second data elements). Подробная информация о результате (контакты, отзывы, фото, часы работы и т.д.), предоставляемая только после валидации токена.

Time to Live (TTL) (Время жизни)

Максимальный срок действия Opaque Token (например, несколько минут). Ключевой элемент защиты от парсинга.

Widget / Scripted Interface (Виджет / Скриптовый интерфейс)

Приложение (часто на JavaScript), встроенное в стороннюю веб-страницу. Обеспечивает взаимодействие пользователя с сервисами Google напрямую.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод двухэтапного получения данных с защитой.

1. Система получает поисковый запрос от интерфейса, предоставленного третьей стороной.
2. Идентифицируются результаты поиска.
3. Результаты обрабатываются для разделения на Descriptors (описательные данные) и Content Information (основной контент).
4. С каждым результатом ассоциируется уникальный идентификатор (Opaque Token), который предотвращает несанкционированный доступ третьей стороны.
5. Система отправляет инструкции для отображения дескрипторов и связанных с ними токенов.
6. Система получает запрос на дополнительные данные (второй этап) для выбранного результата, включающий соответствующий токен.
7. Проверяется наличие и валидность токена.
8. Если токен валиден, система отправляет инструкции для отображения основного контента.

Claim 6 (Зависимый от 1): Детализирует характеристики Opaque Token.

Токен является шифруемым и дешифруемым (сервером), генерируется при каждом выполнении поиска (at each run time) и является уникальным даже для двух идентичных поисковых запросов, выполненных в разное время.

Claim 7 (Зависимый от 1): Указывает, что уникальный идентификатор имеет ассоциированный срок жизни (time to live).

Claim 9 и 10 (Зависимые от 1): Уточняют, что метод применяется к запросам на местоположение (request for one or more locations).

Где и как применяется

Патент описывает инфраструктурный механизм доставки контента и сбора данных, который поддерживает процессы ранжирования.

CRAWLING (Сбор данных)
Механизм позволяет собирать точные данные о поведении пользователей (Click-Through Rate) со сторонних доменов. Это является формой сбора данных о взаимодействии.

RANKING – Ранжирование
Основная система ранжирования генерирует список результатов. Критически важно, что данные, собранные с помощью этого механизма (CTR), используются для влияния на будущее ранжирование. В патенте указано: "Click-through rates may also be used as a ranking signal for geographic search results..."

METASEARCH / Доставка результатов
Основное применение патента. Он управляет тем, как результаты, полученные на этапе RANKING, безопасно доставляются пользователю через сторонний веб-сайт (API/Widgets).

Входные данные (Этап 1):

• Поисковый запрос от стороннего интерфейса (текст, координаты).

Выходные данные (Этап 1):

• Список дескрипторов (Descriptors).
• Opaque Tokens для каждого результата.

Входные данные (Этап 2):

• Индикация выбора пользователя (клик).
• Соответствующий Opaque Token.

Выходные данные (Этап 2):

• Основной контент (Substantive Content).
• Зарегистрированный клик (для аналитики и CTR).

На что влияет

• Конкретные типы контента и Ниши: Наибольшее влияние на Локальный поиск (Local Search) и данные, распространяемые через Google Maps/Places API. Касается агрегаторов, каталогов, сайтов бронирования и любых ресурсов, встраивающих локальные данные Google.
• Специфические запросы: Географические и локальные запросы, обрабатываемые через API.

Когда применяется

• Условия работы: Применяется, когда пользователь взаимодействует со сторонним веб-сайтом, использующим защищенный API или виджет поисковой системы.
• Триггеры активации: Активируется при первоначальном запросе (Этап 1) и при последующем выборе результата пользователем (Этап 2).
• Пороговые значения: Ключевым порогом является Time to Live (TTL) токена, упомянутый как "несколько минут".

Пошаговый алгоритм

Процесс многоэтапного получения результатов (Double Fetch)

Этап 1: Доставка списка

1. Получение запроса: Система получает первый поисковый запрос от виджета на стороннем сайте.
2. Идентификация результатов: Поисковая система идентифицирует релевантные результаты.
3. Разделение данных: Для каждого результата система отделяет Substantive Content от Descriptor. Дескриптор формируется так, чтобы быть однозначно различимым.
4. Генерация токенов: Для каждого результата генерируется уникальный Opaque Token (зашифрованный, с коротким TTL).
5. Отправка списка: Список Дескрипторов и Токенов отправляется виджету для отображения пользователю.

Этап 2: Доставка контента

1. Получение выбора: Пользователь выбирает результат. Виджет отправляет второй запрос, содержащий Opaque Token.
2. Валидация токена: Система проверяет токен (подлинность, TTL).
3. Регистрация клика: Если токен валиден, система регистрирует клик (для расчета CTR) и извлекает контент.
4. Доставка контента: Substantive Content отправляется непосредственно в виджет пользователя.
5. Мониторинг злоупотреблений: Система может отслеживать соотношение запросов Этапа 1 и Этапа 2 для выявления попыток парсинга (misuse indication).

Какие данные и как использует

Данные на входе

• Контентные/Индексированные данные: Проиндексированные данные (Web Index, Place Metadata). Они разделяются на Descriptors (название, базовый адрес) и Substantive Content (телефон, отзывы, фото и т.д.).
• Пользовательские/Географические факторы (Запрос): Исходный поисковый запрос пользователя, данные о местоположении, последующий выбор конкретного результата (клик).
• Системные данные (Безопасность): Криптографические данные для создания и шифрования Opaque Tokens.

Какие метрики используются и как они считаются

• Opaque Token Validation: Процесс, включающий дешифровку и проверку уникальности токена. В патенте упоминается использование случайных чисел и криптографии.
• Time to Live (TTL): Предопределенное временное окно (например, несколько минут) для валидности токена.
• Click-Through Rate (CTR): Ключевая метрика. Рассчитывается путем отслеживания соотношения успешных запросов Этапа 2 (валидированные клики) к запросам Этапа 1 (показы списка). Патент явно указывает, что CTR используется как ranking signal для географических результатов.
• Индикатор злоупотребления (Misuse indication): Отслеживание соотношения запросов Этапа 2 к Этапу 1. Если соотношение превышает 1:1, это может указывать на попытку скрапинга.

1. Подтверждение CTR как фактора ранжирования в Local SEO: Патент явно указывает, что одна из целей механизма — сбор надежных данных Click-Through Rate для использования в качестве сигнала ранжирования для географических результатов.
2. Сбор поведенческих сигналов вне доменов Google (Off-Domain): Google активно собирает данные о взаимодействии с результатами на любом сайте, использующем их API (например, Google Maps). Поведение пользователей на сторонних сайтах влияет на ранжирование.
3. Приоритет защиты данных (Anti-Scraping): Механизм Opaque Token с коротким TTL и двухэтапная загрузка демонстрируют, как Google защищает свои проприетарные данные от массового сбора третьими сторонами.
4. Важность дескрипторов (Сниппетов): Поскольку пользователь принимает решение о клике на основе Descriptor, привлекательность и точность этой базовой информации (Название, Адрес) критически важна для максимизации CTR.
5. Инфраструктурная основа экосистемы: Патент описывает техническую реализацию контроля Google над своими данными и сбора метрик в распределенной экосистеме API и виджетов.

Best practices (это мы делаем)

• Оптимизация привлекательности локальных листингов (Google Business Profile): Необходимо максимизировать привлекательность Descriptor (название, рейтинг, базовый адрес). Поскольку CTR, собранный через этот механизм, является сигналом ранжирования, увеличение вовлеченности на всех платформах (включая сторонние сайты с виджетами) напрямую влияет на локальные позиции.
• Обеспечение точности и уникальности данных (NAP): Убедитесь, что базовые данные о компании точны и помогают пользователю однозначно идентифицировать ваш бизнес среди других. Это повышает вероятность клика по нужному результату.
• Построение цитируемости и встраиваний (Citation Building): Поощряйте релевантные сторонние сайты (блоги, каталоги) встраивать виджеты Карт с вашим местоположением. Патент подтверждает, что Google учитывает вовлеченность пользователей с этими встраиваниями.
• Корректное использование API (для разработчиков): При использовании Google API на своем сайте следуйте документации. Правильная реализация гарантирует, что положительные взаимодействия пользователей будут корректно учтены Google.

Worst practices (это делать не надо)

• Попытки парсинга данных через API: Патент напрямую направлен на предотвращение этого. Использование Opaque Tokens с коротким TTL и мониторинг злоупотреблений делают массовый парсинг неэффективным и рискованным.
• Манипуляция кликами (Click Fraud): Попытки искусственно накрутить CTR через API усложняются. Токены уникальны для каждой сессии, генерируются в реальном времени и требуют сложной эмуляции поведения для обхода защиты.
• Игнорирование поведенческих факторов в Local SEO: Недооценка важности CTR и вовлеченности пользователей как сигнала ранжирования является ошибкой, учитывая инфраструктуру, описанную в патенте.

Стратегическое значение

Патент подтверждает стратегическую важность поведенческих сигналов (User Engagement) в экосистеме Google, особенно для локального поиска. Он демонстрирует, что Google разработал надежную инфраструктуру для сбора этих сигналов за пределами своих собственных доменов. Для SEO-специалистов это означает, что оптимизация под пользователя (SXO/CRO) и работа над привлекательностью листингов является необходимым условием для эффективного ранжирования, так как CTR напрямую используется как ranking signal.

Практические примеры

Сценарий: Использование CTR с сайта агрегатора для улучшения ранжирования ресторана

1. Контекст: Популярный сайт-агрегатор ресторанов использует Google Maps API для отображения карты и списка заведений.
2. Действие пользователя: Пользователь ищет "итальянская пицца рядом" на сайте агрегатора.
3. Первый этап: Агрегатор получает от Google список из 10 ресторанов. Для каждого отправляется только Descriptor (название, примерное расположение) и Opaque Token.
4. Выбор: Ресторан "Пицца Марио" имеет привлекательный дескриптор (высокий рейтинг). Пользователь кликает на него, чтобы увидеть телефон и точный адрес.
5. Второй этап: Сайт агрегатора отправляет Opaque Token обратно в Google для получения деталей. Google валидирует токен и отдает контент.
6. Влияние на SEO: Google регистрирует клик по "Пицца Марио". Из-за более высокого CTR по сравнению с конкурентами, Google может повысить ранжирование "Пицца Марио" по релевантным запросам в локальном поиске и на Картах.