Как Google использует статистические модели для разделения картографических запросов на "Что" (объект) и "Где" (локация)

Термины и определения

Addresses (Адреса)

Набор данных, содержащий известные географические адреса. Используется как часть обучающих данных для статистической модели.

Dictionary (Словарь)

База данных, содержащая адресную информацию (термины и их типы), такую как названия административных единиц, дорог, а также суффиксы и префиксы, связанные с адресами. Используется для токенизации входного запроса.

Location Part (Часть локации)

Сегмент входного запроса, идентифицированный как информация о местоположении ("Где").

Location Statistical Score (Статистическая оценка локации)

Метрика, указывающая на вероятность того, что токен или последовательность токенов относится к локации (адресу). Рассчитывается на основе частоты встречаемости в корпусе Addresses.

Query Part (Часть запроса)

Сегмент входного запроса, идентифицированный как цель поиска или название сущности ("Что").

Query Statistical Score (Статистическая оценка запроса)

Метрика, указывающая на вероятность того, что токен или последовательность токенов относится к запросу (названию организации). Рассчитывается на основе частоты встречаемости в корпусе Titles.

Splitting Position (Точка разделения)

Возможное место в последовательности токенов, которое делит ее на Location Part и Query Part.

Splitting Score (Оценка разделения)

Метрика, оценивающая статистическую вероятность корректности определенного варианта разделения запроса. Часто рассчитывается как сумма Location Statistical Score для части локации и Query Statistical Score для части запроса.

Statistical Model (Статистическая модель)

Модель, обученная на Titles и Addresses. Хранит частоту встречаемости различных элементов (терминов, типов, их последовательностей) в этих двух корпусах данных.

Term (Термин)

Сегмент входного запроса (слово или фраза), являющийся частью токена.

Titles (Названия)

Набор данных, содержащий названия сущностей (например, названия компаний, зданий). Используется как часть обучающих данных для статистической модели.

Token (Токен)

Структурная единица парсинга, состоящая из Term и аннотированного Type.

Type (Тип)

Аннотация к термину, указывающая на тип адресной информации, которую он представляет (например, "City", "Road", "Number", "Quantifier Suffix" или "None").

Unigram/Bigram (Униграмма/Биграмма)

Последовательность из одного (Unigram) или двух (Bigram) элементов. В патенте используются как Term Unigram/Bigram, так и Type Unigram/Bigram.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод парсинга и поиска по картам.

1. Входной запрос парсится в последовательность токенов (каждый токен = термин + тип).
2. Определяются возможные точки разделения (possible splitting positions).
3. Для каждой точки разделения генерируются две подпоследовательности токенов.
4. Для каждой подпоследовательности рассчитываются Location Statistic Score и Query Statistic Score. Эти оценки основаны на оценках элементов (items) и типов элементов (item types) в подпоследовательности.
5. Подпоследовательность с более высоким Location Statistic Score идентифицируется как возможная часть локации (possible location subsequence), а другая — как возможная часть запроса (possible query subsequence).
6. Для каждой точки разделения определяется общая оценка разделения (Splitting Score).
7. Выбирается разделение с наивысшей оценкой.
8. Выполняется поиск информации, соответствующей части запроса, в локации, указанной частью локации.

Claim 5 и 6 (Зависимые): Уточняют расчет Splitting Score.

Оценка разделения определяется на основе (в частности, как сумма) Location Statistic Score части локации и Query Statistic Score части запроса.

Claim 9, 10 и 12 (Зависимые): Описывают использование и создание статистической модели.

Location Statistic Score и Query Statistic Score определяются с помощью статистической модели, обученной на данных, включающих Titles и Addresses. Модель создается путем подсчета и хранения количества вхождений различных элементов (униграмм терминов и типов, биграмм, последовательностей) в токенизированных Titles и Addresses.

Claim 14 и 19 (Зависимые): Определяют формулы для расчета статистических оценок элементов.

Оценка элемента для Location Statistical Score определяется как: $\log(l\_count) * l\_count / (l\_count + q\_count)$