Как Google использует кластеризацию IP-адресов и активность пользователей для точного определения их местоположения

Описание

Какую задачу решает

Патент решает проблему низкой надежности и точности определения географического местоположения (геолокации) пользователя исключительно на основе его IP-адреса. Поскольку интернет-провайдеры (ISP) часто динамически распределяют IP-адреса между пользователями, один и тот же IP-адрес может использоваться разными устройствами в разное время, а одно и то же устройство может менять IP-адреса. Это затрудняет точную локализацию, критически важную для предоставления релевантных локальных результатов поиска.

Что запатентовано

Запатентована система для более точного определения геолокации устройств. Изобретение состоит из двух ключевых компонентов. Во-первых, это механизм кластеризации устройств, которые совместно используют общий пул динамически выделяемых IP-адресов (IP address cluster или allocation pool), путем отслеживания миграции IP-адресов между уникальными идентификаторами (например, cookies). Во-вторых, это метод оценки географического местоположения всего кластера путем анализа совокупности «событий» (events) — действий пользователей, таких как поисковые запросы с локальным интентом, — исходящих от всех устройств в кластере.

Как это работает

Система работает в несколько этапов:

• Отслеживание миграции IP: Система отслеживает, как IP-адреса переназначаются между устройствами в течение определенного времени, используя уникальные идентификаторы (например, cookies или MAC-адреса).
• Кластеризация: Устройства, которые обмениваются адресами внутри определенного диапазона IP, группируются в кластер (allocation pool). Предполагается, что эти устройства обслуживаются одной и той же инфраструктурой ISP и физически расположены рядом.
• Сбор событий: Система собирает events (поисковые запросы, запросы карт, языковые настройки) от всех устройств в кластере.
• Оценка геолокации: Используя статистические методы (например, Expectation-Maximization algorithm), система анализирует эти события для расчета location probability distribution — вероятности того, что кластер находится в одном или нескольких географических местоположениях.

Актуальность для SEO

Высокая. Точное определение местоположения пользователя остается критически важной задачей для Google, особенно в контексте мобильного и локального поиска. Динамическое распределение IP-адресов по-прежнему широко распространено. Описанный метод предоставляет надежный способ определения геолокации на уровне города или почтового индекса, когда более точные данные (например, GPS) недоступны.

Важность для SEO

Патент имеет низкое прямое влияние (3/10) на стратегии ранжирования, но описывает критически важную инфраструктуру для Локального SEO (Local SEO). Он не описывает алгоритмы ранжирования, а механизм улучшения точности входных данных для них — а именно, местоположения пользователя. Более точное понимание Google местоположения пользователя позволяет системе предоставлять более релевантные локальные результаты, что подчеркивает важность оптимизации под локальный поиск.

Детальный разбор

Термины и определения

Allocation Pool (Пул распределения)

Диапазон IP-адресов, которые динамически назначаются и переназначаются интернет-провайдером группе клиентских устройств, обычно расположенных в одном географическом районе. Синоним IP Address Cluster в контексте патента.

Cookie (Куки)

В контексте патента используется как один из примеров уникального идентификатора клиентского устройства, позволяющий отслеживать смену IP-адресов одним и тем же устройством. Также упоминаются MAC-адреса.

Event (Событие)

Паттерн информации, полученный от сетевого устройства. Примеры включают поисковые запросы (особенно с локальным интентом, например, «сантехник Париж»), запросы карт (map queries), запросы маршрутов (route queries), языковые настройки, посещенные URL. События используются для вывода информации о местоположении устройства.

Expectation-Maximization Algorithm (Алгоритм ожидания-максимизации)

Статистический метод, используемый для нахождения параметров вероятностной модели (в данном случае Location Probability Distribution), которые максимизируют вероятность наблюдения имеющихся данных (Events).

Geographical Location / Geo-location (Географическое местоположение)

Идентификатор местоположения устройства: страна, город, почтовый индекс, адрес или координаты (широта/долгота).

Historical Data Store (Хранилище исторических данных)

База данных, хранящая информацию, связанную с клиентскими устройствами, включая IP-адреса, идентификаторы, временные метки и events (например, логи запросов).

IP Address Cluster (Кластер IP-адресов)

Группа клиентских устройств, идентифицированная системой как совместно использующая общий пул IP-адресов. См. Allocation Pool.

Location Probability Distribution (Распределение вероятностей местоположения)

Выходные данные системы. Метрика, указывающая вероятность того, что устройство (или группа устройств в кластере) находится в любом из заданного набора географических местоположений. Обозначается как X(l).

Ключевые утверждения (Анализ Claims)

Примечание: Пункты 1-8 в данном патенте отменены (canceled). Анализ фокусируется на действующих независимых пунктах 9 и 22.

Claim 9 (Независимый пункт): Описывает метод кластеризации устройств на основе паттернов перераспределения IP-адресов.

1. Система определяет первый набор IP-адресов, назначенных сетевым устройствам в момент времени T1. Устройства идентифицируются по уникальным маркерам (например, cookies).
2. Система определяет второй набор IP-адресов, назначенных тем же самым устройствам (те же cookies) в более поздний момент времени T2.
3. Система кластеризирует устройства в группу на основе сходства в паттерне перераспределения (pattern of reallocation processes) IP-адресов между T1 и T2.
4. Ключевое условие: Первый и второй наборы IP-адресов содержат общие адреса, И по крайней мере один из этих общих адресов был переназначен другому устройству в момент T2.

Ядром изобретения является идентификация пула динамического распределения (allocation pool). Если устройства обмениваются IP-адресами внутри определенного набора, они формируют кластер, который, вероятно, географически локализован.

Claim 11 и 12 (Зависимые от 9): Уточняют цель кластеризации.

После формирования группы (кластера) система получает оценку географического местоположения для устройств в этой группе (Claim 11). Эта оценка представляет собой распределение вероятностей (probability distribution) по множеству географических локаций (Claim 12).

Claim 15, 16, 17 (Зависимые): Описывают техническую реализацию кластеризации с использованием матрицы.

Система создает матрицу миграции IP-адресов («От IP» к «К IP») и вносит в ячейки идентификаторы устройств, сменивших адрес. Матрица может быть преобразована в блочно-диагональную форму (block diagonal form). Кластеры идентифицируются как блоки ячеек на диагонали матрицы. Это соответствует устройствам, которые обмениваются IP-адресами внутри одного пула.

Claim 22 (Независимый пункт): Описывает метод предоставления геолокационного контента на основе этого механизма.

1. Устройства отправляют сообщения в моменты T1 и T2, содержащие IP и идентификационную информацию.
2. IP-адреса перераспределяются между T1 и T2.
3. Устройство получает контент, соответствующий его вероятной геолокации (probable geolocation).
4. Эта вероятная геолокация определяется на основе принадлежности устройства к кластеру, который сформирован на основе сходства в паттернах перераспределения IP-адресов.

Этот пункт защищает конечное применение технологии: использование кластеризации IP для улучшения локализации при доставке контента (например, результатов поиска или рекламы).

Где и как применяется

Изобретение является инфраструктурным и затрагивает этапы, связанные со сбором данных и пониманием контекста пользователя.

CRAWLING – Сканирование и Сбор данных / INDEXING – Индексирование (Косвенно)
Система полагается на данные, собранные в Historical Data Store. Это включает логи запросов и другие events, а также связанные с ними метаданные: IP-адреса, уникальные идентификаторы (cookies) и временные метки. Эти данные собираются непрерывно.

QUNDERSTANDING – Понимание Запросов (Основное применение)
Основная цель патента — улучшить понимание контекста пользователя, а именно его географического местоположения. Процессы кластеризации и расчета Location Probability Distribution выполняются офлайн на основе исторических данных. В момент получения запроса от пользователя система использует его текущий IP-адрес для определения соответствующего кластера и его вероятного местоположения. Эта информация используется для интерпретации интента запроса (например, понимание локального интента в запросе «пицца»).

RANKING – Ранжирование / RERANKING – Переранжирование (Вторичное применение)
Алгоритмы ранжирования (особенно локального поиска) используют определенное на этапе QUNDERSTANDING местоположение пользователя в качестве входного сигнала для повышения релевантности локальных результатов.

Входные данные:

• Исторические данные об использовании IP-адресов (IP, уникальный идентификатор устройства, временная метка).
• Events, связанные с устройствами (поисковые запросы, запросы карт, выбранные результаты и т.д.).
• Предварительно рассчитанные вероятности P(event | location) — вероятность наблюдения события, если устройство находится в определенной локации.

Выходные данные:

• Кластеры устройств (IP Address Clusters / Allocation Pools).
• Location Probability Distribution для каждого кластера.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы с локальным интентом, особенно на неоднозначные запросы без явного указания местоположения (например, «ресторан», «автосервис»).
• Конкретные типы контента: Влияет на ранжирование локальных страниц (Local SEO), карт и результатов, персонализированных по местоположению.
• Географические и инфраструктурные особенности: Механизм особенно важен в регионах и сетях (например, жилые районы, мобильные сети), где широко используется динамическое распределение IP-адресов.

Когда применяется

• Офлайн-обработка: Кластеризация IP-адресов и расчет распределения местоположений выполняются периодически (например, ежедневно) на основе исторических данных за определенный период (в патенте упоминается пример в 21 день).
• Применение в реальном времени: Результаты офлайн-обработки (карта кластеров и их локаций) используются в реальном времени при обработке каждого запроса для определения контекста местоположения пользователя, особенно когда более точные данные (GPS) недоступны.

Пошаговый алгоритм

Алгоритм состоит из двух основных офлайн-процессов и одного процесса реального времени.

Процесс А: Кластеризация устройств (Офлайн)

1. Сбор данных: Из Historical Data Store извлекаются данные об использовании IP-адресов за период времени (например, несколько дней): IP-адрес, уникальный идентификатор устройства (cookie, MAC-адрес), временная метка.
2. Отслеживание миграции: Идентифицируются устройства, которые изменили свой IP-адрес между моментом T1 и T2.
3. Создание матрицы миграции: Создается матрица с осями «От IP-адреса» и «К IP-адресу». В ячейки матрицы вносятся идентификаторы устройств, совершивших соответствующий переход.
4. Идентификация кластеров: Матрица анализируется (например, путем преобразования в блочно-диагональную форму) для выявления блоков. Блоки на диагонали представляют собой Allocation Pools — группы устройств, обменивающихся IP-адресами внутри пула. Блоки вне диагонали могут указывать на миграцию группы устройств между разными диапазонами IP.

Процесс Б: Оценка геолокации кластера (Офлайн)

1. Получение кластера: Выбирается кластер устройств, идентифицированный в Процессе А.
2. Сбор событий: Извлекаются все Events (запросы и т.д.), связанные с устройствами в этом кластере.
3. Определение набора локаций (L): Определяется набор потенциальных географических местоположений, которые упоминаются или подразумеваются в событиях.
4. Расчет условных вероятностей: Для каждого события (ev) и каждой локации (l) определяется вероятность P(ev|l) — вероятность наблюдения этого события от устройства, находящегося в данной локации.
5. Инициализация распределения: Создается начальное предположение о Location Probability Distribution X(l) для кластера.
6. Максимизация правдоподобия (Likelihood Maximization): Используется итеративный алгоритм (например, Expectation-Maximization) для поиска такого X(l), которое максимизирует вероятность наблюдения всего набора событий E.
   • Шаг Ожидания (E-step): Рассчитываются условные вероятности q(l|ev) — вероятность того, что устройство находится в локации l, учитывая, что наблюдалось событие ev, используя текущее X(l).
   • Шаг Максимизации (M-step): Обновляется X(l) на основе рассчитанных q(l|ev).
7. Завершение: Итерации продолжаются до сходимости X(l) или достижения максимального числа итераций. Итоговое X(l) сохраняется как геолокация кластера.

Процесс В: Применение (Реальное время)

1. Получение запроса: Система получает запрос от пользователя с текущим IP-адресом.
2. Поиск кластера: Определяется, к какому IP Address Cluster принадлежит данный IP-адрес в настоящее время.
3. Получение локации: Извлекается сохраненное Location Probability Distribution X(l) для этого кластера.
4. Контекстуализация и Ранжирование: Вероятное местоположение используется для понимания запроса и локализованного ранжирования результатов.

Какие данные и как использует

Данные на входе

Патент фокусируется на инфраструктурных данных и данных об активности пользователей для определения геолокации.

• Технические факторы: Сетевые адреса (IP-адреса). Критически важны для кластеризации.
• Пользовательские и Поведенческие факторы:
  • Уникальные идентификаторы: Cookies или MAC-адреса. Используются для отслеживания одного и того же устройства при смене IP-адресов.
  • Events (События): Поисковые запросы (особенно с локальным интентом), запросы карт, запросы маршрутов (особенно поле «откуда»), языковые настройки, посещенные URL, выбор определенных результатов поиска (например, выбор ресторана в Спрингфилде, Иллинойс, а не в Спрингфилде, Массачусетс). Используются для оценки местоположения кластера.
• Временные факторы: Временные метки (Timestamps) всех событий и назначений IP-адресов. Используются для отслеживания миграции IP во времени.
• Географические факторы: GPS-координаты, если они доступны как одно из событий.

Какие метрики используются и как они считаются

• Матрица миграции IP: Структура данных, показывающая переходы устройств между IP-адресами. Используется для кластеризации.
• P(ev|l): Условная вероятность наблюдения события (ev) при условии, что устройство находится в локации (l). Рассчитывается на основе анализа исторических данных или берется из базы знаний.
• Location Probability Distribution X(l): Вероятность того, что кластер находится в локации (l). Является результатом работы алгоритма.
• Likelihood D(E|X): Правдоподобие наблюдения набора событий E при заданном распределении локаций X. Система стремится максимизировать это значение. Формула, приведенная в патенте: logD(E|X) = Σ log Σ X(l)P(ev|l).
• Алгоритмы машинного обучения: Expectation-Maximization algorithm используется для итеративного уточнения X(l). Также упоминаются альтернативы, такие как градиентный спуск (gradient descent) или Markov chain Monte Carlo.

Выводы

1. Сложный подход к IP-геолокации: Google использует методы, значительно превосходящие простые базы данных соответствия IP-городу. Система анализирует поведение инфраструктуры интернет-провайдеров (паттерны перераспределения IP) для создания надежных геолокационных оценок.
2. Кластеризация для стабильности: Ключевым элементом является идентификация Allocation Pools (кластеров). Вместо того чтобы оценивать местоположение отдельного динамического IP, система оценивает местоположение всего пула, что обеспечивает большую стабильность во времени.
3. Коллективный анализ активности: Местоположение кластера определяется на основе совокупности Events (активности пользователей) всех устройств в кластере. Активность одного пользователя помогает уточнить местоположение других пользователей в том же пуле.
4. Вероятностный подход: Система не определяет точное местоположение детерминистически, а рассчитывает Location Probability Distribution, признавая возможность нахождения устройств кластера в нескольких смежных локациях.
5. Инфраструктурное значение для SEO: Патент описывает, как Google улучшает качество входных данных (местоположение пользователя) для своих алгоритмов ранжирования. Это подтверждает стратегическую важность локального поиска и необходимость для SEO-специалистов предоставлять четкие локальные сигналы на своих сайтах.

Практика

Best practices (это мы делаем)

Хотя патент описывает внутренние процессы Google по определению местоположения пользователя и не дает прямых рекомендаций по ранжированию, он подчеркивает важность следующих практик:

• Усиление Локальных Сигналов (Local SEO): Поскольку Google инвестирует значительные ресурсы в точное определение местоположения пользователя (даже при отсутствии GPS), критически важно обеспечить четкие и консистентные локальные сигналы на сайте. Это включает точные данные NAP (Name, Address, Phone), оптимизацию профиля Google Business Profile (GBP), использование локальной микроразметки (Schema.org/LocalBusiness) и создание локализованного контента.
• Оптимизация под неявный локальный интент: Необходимо оптимизировать контент под запросы без явного указания города (например, «автосервис рядом»), так как система стремится определить местоположение пользователя неявно с помощью описанных в патенте методов.
• Анализ локальной выдачи: Понимание того, что точность определения локации пользователя может варьироваться в зависимости от его провайдера и типа сети (что влияет на формирование Allocation Pools), помогает лучше интерпретировать результаты локального ранжирования и использовать инструменты эмуляции локации при анализе SERP.

Worst practices (это делать не надо)

• Игнорирование локального поиска: Предположение, что локальный поиск важен только тогда, когда пользователь явно указывает город в запросе. Данный патент демонстрирует, что Google стремится определить локацию пользователя для большинства запросов.
• Манипуляции с геолокацией / Клоакинг по IP: Попытки показывать разный контент пользователям или поисковым роботам на основе простых методов определения IP-геолокации могут быть неэффективными или рискованными. Google может иметь более точное и сложное представление о местоположении кластера, чем стандартные базы данных IP.

Стратегическое значение

Патент подтверждает стратегический приоритет Google в области локального и мобильного поиска. Способность точно определять местоположение пользователя неявно (без запроса разрешения на доступ к GPS или явного ввода локации) является фундаментальной для предоставления персонализированной и релевантной выдачи. Для SEO это означает, что практически любой коммерческий или информационный запрос может иметь локальный контекст, и сайты, не оптимизированные для локального поиска, будут терять видимость.

Практические примеры

Сценарий: Определение локации пользователя в жилом комплексе

1. Ситуация: Пользователь подключается к интернету через локального ISP, который использует динамическое распределение IP-адресов для всего жилого комплекса (ЖК). IP-адрес пользователя меняется каждые 24 часа.
2. Кластеризация (Процесс А): Google отслеживает по cookies, что устройство пользователя и устройства его соседей постоянно обмениваются IP-адресами из одного и того же диапазона. Эти устройства формируют Allocation Pool.
3. Оценка геолокации (Процесс Б): Google анализирует Events от всего кластера. Многие пользователи ищут «доставка пиццы [Название ЖК]», «расписание автобуса [Ближайшая остановка]» и запрашивают маршруты от адреса ЖК. На основе этих данных система определяет, что кластер с высокой вероятностью находится по адресу жилого комплекса.
4. Применение (Процесс В): Когда пользователь вводит запрос «аптека», Google использует установленное местоположение кластера (адрес ЖК) для ранжирования результатов и показывает ближайшие аптеки, даже если текущий IP-адрес пользователя никогда ранее не ассоциировался с этим местоположением в стандартных базах IP.

Вопросы и ответы