Как Google отслеживает клики (CTR) на сторонних сайтах и защищает свои данные от парсинга в API и виджетах

Описание

Какую задачу решает

Патент решает две критические проблемы, возникающие при предоставлении доступа к проприетарным данным (например, базе данных Google Places) через API или виджеты на сторонних веб-сайтах:

• Защита данных (Anti-Scraping): Предотвращение несанкционированного массового сбора (парсинга) ценных данных поисковой системы разработчиками сторонних сайтов.
• Надежный сбор метрик (Cross-Domain Analytics): Обеспечение точного и достоверного механизма для сбора данных о вовлеченности пользователей (Click-through rate, CTR) на сторонних доменах, где традиционные методы отслеживания ненадежны.

Дополнительно механизм повышает эффективность передачи данных, отправляя полный объем информации только по запросу (double fetch).

Что запатентовано

Запатентована система многоэтапного (двухэтапного) получения результатов поиска. Система разделяет данные на базовое описание (Descriptor) и основной контент (Substantive Content). При первоначальном запросе отправляется только описание и уникальный зашифрованный идентификатор (Opaque Token). Основной контент предоставляется только после того, как пользователь выберет результат, и система валидирует токен. Это стимулирует запрос деталей и позволяет системе точно зафиксировать клик.

Как это работает

Механизм функционирует как защищенный шлюз:

1. Этап 1 (Список): Пользователь инициирует поиск (например, локальный) на стороннем сайте. Google генерирует результаты, но отправляет только минимальные Descriptors (например, название и район). Для каждого результата создается Opaque Token — зашифрованный, уникальный для сессии и имеющий короткий срок жизни (Time to Live, TTL).
2. Этап 2 (Детали): Когда пользователь выбирает результат, виджет отправляет второй запрос, содержащий Opaque Token.
3. Валидация и Доставка: Google проверяет подлинность и TTL токена. Если он действителен, система предоставляет Substantive Content (телефон, отзывы, фото) напрямую пользователю. Этот второй запрос позволяет точно измерить CTR.

Актуальность для SEO

Высокая. Использование Google Maps API, Google Places и встраиваемых виджетов повсеместно. Защита проприетарных данных и сбор поведенческих сигналов (CTR) для машинного обучения и улучшения ранжирования остаются критически важными задачами для Google.

Важность для SEO

Патент имеет высокое значение (70/100), особенно для Локального SEO (Local SEO). Хотя он описывает инфраструктуру, в тексте прямо указано его применение для ранжирования: «Click-through rates могут также использоваться как ranking signal для географических результатов поиска». Этот патент описывает, как именно Google надежно собирает эти сигналы CTR со сторонних сайтов, подтверждая, что вовлеченность пользователей с вашим листингом (например, в виджете Карты на чужом блоге) влияет на ваше локальное ранжирование.

Детальный разбор

Термины и определения

API Module (Модуль API)

Компонент на сервере Google (Backend Host Server), обрабатывающий запросы от сторонних сайтов. Определяет правила взаимодействия и обеспечивает безопасность данных.

Descriptor / Human-readable description data (Дескриптор)

Первый набор данных (first data elements). Минимальная информация о результате, достаточная для того, чтобы пользователь мог однозначно отличить (unambiguously differentiable) один результат от другого. Например, название компании и улица.

Opaque Token (Непрозрачный токен)

Уникальный идентификатор (unique identifier). Зашифрован, генерируется во время выполнения запроса (runtime), имеет короткий срок жизни (TTL) и не может быть расшифрован третьей стороной. Используется для валидации запроса на получение деталей.

Substantive Content / Content Information (Основной контент)

Второй набор данных (second data elements). Подробная информация о результате (контакты, отзывы, фото, часы работы и т.д.), предоставляемая только после валидации токена.

Time to Live (TTL) (Время жизни)

Максимальный срок действия Opaque Token (например, несколько минут). Ключевой элемент защиты от парсинга.

Widget / Scripted Interface (Виджет / Скриптовый интерфейс)

Приложение (часто на JavaScript), встроенное в стороннюю веб-страницу. Обеспечивает взаимодействие пользователя с сервисами Google напрямую.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод двухэтапного получения данных с защитой.

1. Система получает поисковый запрос от интерфейса, предоставленного третьей стороной.
2. Идентифицируются результаты поиска.
3. Результаты обрабатываются для разделения на Descriptors (описательные данные) и Content Information (основной контент).
4. С каждым результатом ассоциируется уникальный идентификатор (Opaque Token), который предотвращает несанкционированный доступ третьей стороны.
5. Система отправляет инструкции для отображения дескрипторов и связанных с ними токенов.
6. Система получает запрос на дополнительные данные (второй этап) для выбранного результата, включающий соответствующий токен.
7. Проверяется наличие и валидность токена.
8. Если токен валиден, система отправляет инструкции для отображения основного контента.

Claim 6 (Зависимый от 1): Детализирует характеристики Opaque Token.

Токен является шифруемым и дешифруемым (сервером), генерируется при каждом выполнении поиска (at each run time) и является уникальным даже для двух идентичных поисковых запросов, выполненных в разное время.

Claim 7 (Зависимый от 1): Указывает, что уникальный идентификатор имеет ассоциированный срок жизни (time to live).

Claim 9 и 10 (Зависимые от 1): Уточняют, что метод применяется к запросам на местоположение (request for one or more locations).

Где и как применяется

Патент описывает инфраструктурный механизм доставки контента и сбора данных, который поддерживает процессы ранжирования.

CRAWLING (Сбор данных)
Механизм позволяет собирать точные данные о поведении пользователей (Click-Through Rate) со сторонних доменов. Это является формой сбора данных о взаимодействии.

RANKING – Ранжирование
Основная система ранжирования генерирует список результатов. Критически важно, что данные, собранные с помощью этого механизма (CTR), используются для влияния на будущее ранжирование. В патенте указано: «Click-through rates may also be used as a ranking signal for geographic search results…»

METASEARCH / Доставка результатов
Основное применение патента. Он управляет тем, как результаты, полученные на этапе RANKING, безопасно доставляются пользователю через сторонний веб-сайт (API/Widgets).

Входные данные (Этап 1):

• Поисковый запрос от стороннего интерфейса (текст, координаты).

Выходные данные (Этап 1):

• Список дескрипторов (Descriptors).
• Opaque Tokens для каждого результата.

Входные данные (Этап 2):

• Индикация выбора пользователя (клик).
• Соответствующий Opaque Token.

Выходные данные (Этап 2):

• Основной контент (Substantive Content).
• Зарегистрированный клик (для аналитики и CTR).

На что влияет

• Конкретные типы контента и Ниши: Наибольшее влияние на Локальный поиск (Local Search) и данные, распространяемые через Google Maps/Places API. Касается агрегаторов, каталогов, сайтов бронирования и любых ресурсов, встраивающих локальные данные Google.
• Специфические запросы: Географические и локальные запросы, обрабатываемые через API.

Когда применяется

• Условия работы: Применяется, когда пользователь взаимодействует со сторонним веб-сайтом, использующим защищенный API или виджет поисковой системы.
• Триггеры активации: Активируется при первоначальном запросе (Этап 1) и при последующем выборе результата пользователем (Этап 2).
• Пороговые значения: Ключевым порогом является Time to Live (TTL) токена, упомянутый как «несколько минут».

Пошаговый алгоритм

Процесс многоэтапного получения результатов (Double Fetch)

Этап 1: Доставка списка

1. Получение запроса: Система получает первый поисковый запрос от виджета на стороннем сайте.
2. Идентификация результатов: Поисковая система идентифицирует релевантные результаты.
3. Разделение данных: Для каждого результата система отделяет Substantive Content от Descriptor. Дескриптор формируется так, чтобы быть однозначно различимым.
4. Генерация токенов: Для каждого результата генерируется уникальный Opaque Token (зашифрованный, с коротким TTL).
5. Отправка списка: Список Дескрипторов и Токенов отправляется виджету для отображения пользователю.

Этап 2: Доставка контента

1. Получение выбора: Пользователь выбирает результат. Виджет отправляет второй запрос, содержащий Opaque Token.
2. Валидация токена: Система проверяет токен (подлинность, TTL).
3. Регистрация клика: Если токен валиден, система регистрирует клик (для расчета CTR) и извлекает контент.
4. Доставка контента: Substantive Content отправляется непосредственно в виджет пользователя.
5. Мониторинг злоупотреблений: Система может отслеживать соотношение запросов Этапа 1 и Этапа 2 для выявления попыток парсинга (misuse indication).

Какие данные и как использует

Данные на входе

• Контентные/Индексированные данные: Проиндексированные данные (Web Index, Place Metadata). Они разделяются на Descriptors (название, базовый адрес) и Substantive Content (телефон, отзывы, фото и т.д.).
• Пользовательские/Географические факторы (Запрос): Исходный поисковый запрос пользователя, данные о местоположении, последующий выбор конкретного результата (клик).
• Системные данные (Безопасность): Криптографические данные для создания и шифрования Opaque Tokens.

Какие метрики используются и как они считаются

• Opaque Token Validation: Процесс, включающий дешифровку и проверку уникальности токена. В патенте упоминается использование случайных чисел и криптографии.
• Time to Live (TTL): Предопределенное временное окно (например, несколько минут) для валидности токена.
• Click-Through Rate (CTR): Ключевая метрика. Рассчитывается путем отслеживания соотношения успешных запросов Этапа 2 (валидированные клики) к запросам Этапа 1 (показы списка). Патент явно указывает, что CTR используется как ranking signal для географических результатов.
• Индикатор злоупотребления (Misuse indication): Отслеживание соотношения запросов Этапа 2 к Этапу 1. Если соотношение превышает 1:1, это может указывать на попытку скрапинга.

Выводы

1. Подтверждение CTR как фактора ранжирования в Local SEO: Патент явно указывает, что одна из целей механизма — сбор надежных данных Click-Through Rate для использования в качестве сигнала ранжирования для географических результатов.
2. Сбор поведенческих сигналов вне доменов Google (Off-Domain): Google активно собирает данные о взаимодействии с результатами на любом сайте, использующем их API (например, Google Maps). Поведение пользователей на сторонних сайтах влияет на ранжирование.
3. Приоритет защиты данных (Anti-Scraping): Механизм Opaque Token с коротким TTL и двухэтапная загрузка демонстрируют, как Google защищает свои проприетарные данные от массового сбора третьими сторонами.
4. Важность дескрипторов (Сниппетов): Поскольку пользователь принимает решение о клике на основе Descriptor, привлекательность и точность этой базовой информации (Название, Адрес) критически важна для максимизации CTR.
5. Инфраструктурная основа экосистемы: Патент описывает техническую реализацию контроля Google над своими данными и сбора метрик в распределенной экосистеме API и виджетов.

Практика

Best practices (это мы делаем)

• Оптимизация привлекательности локальных листингов (Google Business Profile): Необходимо максимизировать привлекательность Descriptor (название, рейтинг, базовый адрес). Поскольку CTR, собранный через этот механизм, является сигналом ранжирования, увеличение вовлеченности на всех платформах (включая сторонние сайты с виджетами) напрямую влияет на локальные позиции.
• Обеспечение точности и уникальности данных (NAP): Убедитесь, что базовые данные о компании точны и помогают пользователю однозначно идентифицировать ваш бизнес среди других. Это повышает вероятность клика по нужному результату.
• Построение цитируемости и встраиваний (Citation Building): Поощряйте релевантные сторонние сайты (блоги, каталоги) встраивать виджеты Карт с вашим местоположением. Патент подтверждает, что Google учитывает вовлеченность пользователей с этими встраиваниями.
• Корректное использование API (для разработчиков): При использовании Google API на своем сайте следуйте документации. Правильная реализация гарантирует, что положительные взаимодействия пользователей будут корректно учтены Google.

Worst practices (это делать не надо)

• Попытки парсинга данных через API: Патент напрямую направлен на предотвращение этого. Использование Opaque Tokens с коротким TTL и мониторинг злоупотреблений делают массовый парсинг неэффективным и рискованным.
• Манипуляция кликами (Click Fraud): Попытки искусственно накрутить CTR через API усложняются. Токены уникальны для каждой сессии, генерируются в реальном времени и требуют сложной эмуляции поведения для обхода защиты.
• Игнорирование поведенческих факторов в Local SEO: Недооценка важности CTR и вовлеченности пользователей как сигнала ранжирования является ошибкой, учитывая инфраструктуру, описанную в патенте.

Стратегическое значение

Патент подтверждает стратегическую важность поведенческих сигналов (User Engagement) в экосистеме Google, особенно для локального поиска. Он демонстрирует, что Google разработал надежную инфраструктуру для сбора этих сигналов за пределами своих собственных доменов. Для SEO-специалистов это означает, что оптимизация под пользователя (SXO/CRO) и работа над привлекательностью листингов является необходимым условием для эффективного ранжирования, так как CTR напрямую используется как ranking signal.

Практические примеры

Сценарий: Использование CTR с сайта агрегатора для улучшения ранжирования ресторана

1. Контекст: Популярный сайт-агрегатор ресторанов использует Google Maps API для отображения карты и списка заведений.
2. Действие пользователя: Пользователь ищет «итальянская пицца рядом» на сайте агрегатора.
3. Первый этап: Агрегатор получает от Google список из 10 ресторанов. Для каждого отправляется только Descriptor (название, примерное расположение) и Opaque Token.
4. Выбор: Ресторан «Пицца Марио» имеет привлекательный дескриптор (высокий рейтинг). Пользователь кликает на него, чтобы увидеть телефон и точный адрес.
5. Второй этап: Сайт агрегатора отправляет Opaque Token обратно в Google для получения деталей. Google валидирует токен и отдает контент.
6. Влияние на SEO: Google регистрирует клик по «Пицца Марио». Из-за более высокого CTR по сравнению с конкурентами, Google может повысить ранжирование «Пицца Марио» по релевантным запросам в локальном поиске и на Картах.

Вопросы и ответы