Как Google определяет географическую релевантность документа, анализируя неоднозначные термины и названия мест

Термины и определения

Combined Geo-relevance Profile (Сводный профиль георелевантности)

Результирующая гистограмма, полученная путем комбинирования (перемножения) индивидуальных geo-relevance profiles всех географически значимых терминов в документе. Определяет итоговую географическую релевантность.

Geographic Signal (Географический сигнал)

Известная, однозначная информация в обучающем документе, которая точно указывает на местоположение (например, полный почтовый адрес с индексом). Используется как эталон (ground truth) при обучении.

Geo-relevance Profile (Профиль георелевантности) / Histogram (Гистограмма)

Статистический профиль для термина или фразы. Показывает распределение его встречаемости по различным географическим идентификаторам (Location Identifiers). Наличие статистически значимых пиков указывает на географическую релевантность термина.

Location Classifier (Классификатор местоположения)

Основная система, описанная в патенте, которая генерирует информацию о местоположении на основе текстовых строк во входном тексте, разрешая географическую неоднозначность.

Location Identifier (Идентификатор местоположения)

Идентификатор, используемый для представления географического региона. В патенте предпочтительно используются почтовые индексы (zip codes), так как численно близкие индексы часто соответствуют географически близким локациям.

Training Text (Обучающий текст)

Текст, извлеченный из документов вблизи Geographic Signals. Используется для обучения классификатора и генерации Geo-relevance Profiles.

Ключевые утверждения (Анализ Claims)

Патент описывает два основных процесса: операционную работу классификатора и процесс его обучения.

Claim 1 (Независимый пункт): Описывает основной метод определения географической релевантности документа.

1. Система генерирует (получает) множество гистограмм (geo-relevance profiles) для строк (терминов/фраз) в документе, сравнивая их с заранее созданными гистограммами.
2. Система генерирует сводную гистограмму (combined histogram) для документа.
3. Ключевой механизм: Сводная гистограмма генерируется путем перемножения значений (multiplying together values) отдельных гистограмм.
4. Система определяет географическую релевантность документа на основе сводной гистограммы.

Claim 2 и 25: Уточняют механизм определения релевантности.

• Географическая релевантность определяется путем анализа сводной гистограммы на наличие пиков (peaks).

Перемножение гистограмм — это критически важный механизм для разрешения неоднозначности. Он гарантирует, что итоговый профиль будет иметь высокие значения только в тех географических регионах, где высока вероятность встретить все идентифицированные термины одновременно (логическое «И»). Если Термин А вероятен в Локации 1 и 2, а Термин Б вероятен в Локации 2 и 3, их перемножение усилит Локацию 2, где они пересекаются.

Claim 15 (Независимый пункт): Описывает метод генерации гистограммы для строки (процесс обучения).

1. Определение разделов обучающего текста, ассоциированных с географическими регионами.
2. Накопление вхождений строки в этих разделах.
3. Ключевое условие (Фильтр boilerplate): Вхождения накапливаются только тогда, когда термины слева или справа от строки отличаются от предыдущих экземпляров ("when terms to a left or right of the string are different from previous instances"). Это механизм для игнорирования шаблонного текста.
4. Генерация гистограммы на основе накопленных вхождений.

Где и как применяется

Изобретение применяется на нескольких этапах поисковой архитектуры.

INDEXING – Индексирование и извлечение признаков

Основное применение. Location Classifier используется для анализа документов (веб-страниц) во время индексирования с целью определения их географической релевантности, особенно если явные адреса отсутствуют.

• Процесс: Система идентифицирует географически значимые термины, перемножает их Geo-relevance Profiles и анализирует пики.
• Выходные данные: Идентификаторы местоположений (например, почтовые индексы), ассоциированные с документом.

Также на этапе индексирования (или в офлайн-процессе) происходит обучение Location Classifier:

• Процесс: Анализ ко-оккуренции терминов и известных адресов (Geographic Signals), генерация гистограмм.
• Выходные данные: База данных Geo-relevance Profiles.

QUNDERSTANDING – Понимание Запросов

Патент также применим к поисковым запросам (Claims 6, 14).

• Процесс: Система определяет географический интент запроса в реальном времени, даже если он неоднозначен (например, запрос [Castro Street Bay Area]).
• Выходные данные: Информация о географической релевантности запроса, используемая для возврата локализованных результатов.

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент локального бизнеса, страницы мероприятий, местные новости, обзоры. Особенно влияет на страницы, где полный адрес не указан или указан частично.
• Специфические запросы: Влияет на запросы с локальным интентом, содержащие неоднозначные названия мест (например, [Springfield pizza] или [Main Street cafe]).
• Конкретные ниши или тематики: Критически важно для всех ниш, связанных с локальным поиском (услуги, туризм, недвижимость, ритейл).

Когда применяется

• Триггеры активации: Алгоритм активируется при индексировании документа или обработке запроса, когда система обнаруживает в тексте строки, для которых существуют Geo-relevance Profiles.
• Условия работы: Используется для разрешения неоднозначности, когда стандартные методы извлечения адресов (парсинг NAP) не дают результата или дают неоднозначный результат.

Пошаговый алгоритм

Алгоритм состоит из двух основных процессов: Обучение и Классификация.

Процесс А: Обучение (Офлайн)

1. Сбор данных: Получение большого корпуса обучающих документов.
2. Идентификация географических сигналов: Поиск известных и однозначных Geographic Signals (например, полных адресов с индексами) в документах.
3. Извлечение обучающего текста: Если сигнал найден, извлекается текст (Training Text), находящийся вблизи сигнала (например, в окне 100 слов).
4. Ассоциация текста и идентификатора: Извлеченный текст ассоциируется с Location Identifier (почтовым индексом) сигнала.
5. Накопление вхождений: Для каждой строки (например, биграммы) система накапливает количество ее вхождений относительно каждого Location Identifier.
   • Фильтрация шаблонов (Boilerplate): Вхождение игнорируется, если контекст (слова слева/справа) идентичен предыдущим вхождениям (Claim 15).
6. Генерация гистограмм: Для каждой строки генерируется Geo-relevance Profile.
7. Фильтрация и сохранение: Система анализирует гистограмму на наличие статистически значимых пиков. Если пики есть (термин географически релевантен), профиль сохраняется.
8. Нормализация (Опционально): Профили могут быть нормализованы на основе глобального распределения идентификаторов в обучающих данных, чтобы избежать перекоса.

Процесс Б: Классификация (Индексирование или Обработка запроса)

1. Получение входного документа: Получение текста (веб-страницы или запроса).
2. Идентификация релевантных строк: Поиск в документе строк, для которых существуют сохраненные Geo-relevance Profiles.
3. Извлечение профилей: Извлечение соответствующих гистограмм.
4. Комбинирование профилей (Перемножение): Генерация сводного профиля (Combined Geo-relevance Profile) путем перемножения значений индивидуальных гистограмм для каждого Location Identifier (Claim 1).
5. Анализ и вывод: Анализ сводного профиля на наличие пиков. Пики указывают на наиболее вероятные географические регионы, к которым относится документ.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документа или запроса. Анализируются строки (термины и фразы, в частности биграммы). На этапе обучения также анализируется контекст (слова слева и справа от термина) для фильтрации шаблонного текста.
• Структурные и Географические факторы (в обучении): Используются для идентификации Geographic Signals (формат адресов, почтовые индексы). Близость текста к этим сигналам используется для выбора Training Text.

Какие метрики используются и как они считаются

• Geo-relevance Profile (Гистограмма): Распределение частоты встречаемости термина по географическим локациям (почтовым индексам).

  Рассчитывается как: $Profile(String) = \{(Loc_1, Count_1), (Loc_2, Count_2), ...\}$.

• Combined Geo-relevance Profile: Сводный профиль для документа.

  Рассчитывается путем перемножения значений индивидуальных профилей. Если документ содержит строки S1 и S2: $CombinedCount(Loc) = Count(S1, Loc) * Count(S2, Loc)$. Этот метод усиливает совпадающие сигналы и подавляет шум.

• Статистическая значимость пиков: Используется для валидации профилей во время обучения (определяет, является ли термин географически релевантным) и для определения итогового местоположения во время классификации.
• Фильтрация контекста (Anti-Boilerplate): Механизм, используемый при обучении (Claim 15), который игнорирует встречаемость термина, если он появляется в том же контексте (окружающие слова), что и ранее.

1. Географическая релевантность без явных адресов: Google может точно определить географическую привязку документа, используя только косвенные текстовые сигналы (локальные топонимы, названия районов, улиц), даже при отсутствии полного адреса (NAP).
2. Разрешение неоднозначности через пересечение (Перемножение): Ключевым механизмом является комбинирование Geo-relevance Profiles путем перемножения. Это позволяет эффективно разрешать неоднозначность, усиливая сигналы в тех географических областях, где пересекаются все найденные термины (консенсус).
3. Статистический подход к локальной семантике: Система обучается путем анализа ко-оккуренции терминов и известных адресов. Это статистический, а не словарный подход к пониманию локального языка.
4. Активная борьба с шаблонным контентом (Boilerplate): Патент явно описывает механизм (Claim 15) для игнорирования шаблонного текста на этапе обучения. Система учитывает термин, только если он появляется в уникальном контексте.
5. Применение к запросам и документам: Описанный механизм универсален и используется как для классификации контента при индексировании, так и для понимания географического интента поисковых запросов в реальном времени.

Best practices (это мы делаем)

• Насыщение контента гиперлокальными сигналами: Активно используйте в тексте разнообразные локальные идентификаторы: названия районов, ближайших улиц, местных ориентиров (парков, зданий, станций метро) и общепринятых локальных фраз. Наличие нескольких таких сигналов позволяет системе точно определить местоположение за счет механизма пересечения их гео-профилей.
• Создание уникального контента для локальных страниц: Для сайтов с несколькими филиалами критически важно избегать шаблонного текста (boilerplate). Поскольку система учится игнорировать повторяющиеся контексты (Claim 15), уникальное описание с локальными терминами для каждого филиала необходимо для правильной гео-классификации.
• Использование локального языка и коллоквиализмов: Используйте термины, которые местные жители применяют для описания своего района. Google может распознавать эти неформальные термины как географически релевантные, если они часто встречаются в обучающих данных.
• Оптимизация страницы «О нас» и «Контакты»: Убедитесь, что эти страницы содержат не только формальный адрес, но и текстовое описание местоположения с упоминанием локальных ориентиров и пересечений улиц.

Worst practices (это делать не надо)

• Использование шаблонного контента (Boilerplate): Создание множества локальных страниц путем простой замены названия города в шаблонном тексте. Механизм фильтрации контекста специально разработан для игнорирования таких текстов при обучении ассоциациям.
• Игнорирование локального контекста в основном контенте: Опора только на структурированные данные (NAP) в футере или микроразметке без подкрепления местоположения в основном контенте страницы. Если контент слишком общий, Location Classifier может не найти достаточных сигналов.
• Использование географических терминов в изоляции: Полагаться на один неоднозначный термин (например, только название улицы без района или ориентиров) неэффективно, если он существует в нескольких городах.
• Географический спам (Keyword Stuffing): Беспорядочное перечисление географических названий. Поскольку система перемножает профили, термины должны быть согласованы (консистентны). Противоречивые сигналы могут привести к неопределенной классификации.

Стратегическое значение

Этот патент имеет фундаментальное значение для Local SEO. Он подтверждает, что Google активно стремится понять географический контекст контента за пределами явных адресов. Стратегия локального продвижения должна включать создание аутентичного, гиперлокализованного контента, который естественным образом интегрирует географические ссылки и местные термины. Это также объясняет, почему уникализация контента на локальных страницах является технической необходимостью, а не просто рекомендацией.

Практические примеры

Сценарий: Оптимизация страницы кофейни в определенном районе

1. Ситуация: Кофейня находится на улице "Main Street" в районе "Capitol Hill" в Сиэтле. Оба названия неоднозначны (Main Street есть почти везде; Capitol Hill есть в Вашингтоне, Денвере и т.д.).
2. Плохая практика: На странице используется шаблонный текст: "Лучший кофе на Main Street. Приходите к нам в Сиэтл".
3. Хорошая практика (согласно патенту): В тексте упоминаются пересекающиеся локальные идентификаторы: "Посетите нашу кофейню на углу Main Street и Pike Street, в самом сердце района Capitol Hill. Мы находимся в двух кварталах от парка Cal Anderson".
4. Как это работает: Location Classifier извлекает профили для "Main Street", "Capitol Hill", "Pike Street" и "Cal Anderson". Хотя первые два термина имеют пики во многих городах, "Pike Street" (в этом контексте) и "Cal Anderson" имеют пики только в Сиэтле. При перемножении всех профилей пики в других городах подавляются, и система уверенно классифицирует страницу как относящуюся к Сиэтлу (Zip Code 98104).