Как Google классифицирует запросы в бизнес-категории с помощью статистических моделей и разнообразных данных для обучения

Термины и определения

Category Classification Component (Компонент классификации категорий)

Программный модуль, который реализует статистическую модель для сопоставления поисковых запросов с бизнес-категориями. Работает в режиме обучения и в режиме классификации в реальном времени.

Category Model (Модель категорий)

Структура данных, хранящая ассоциации между поисковыми запросами (терминами) и бизнес-категориями. В контексте патента хранит набор вероятностей (например, P[X_i] и P[Y|X_i]), рассчитанных на основе обучающих данных.

Directory Listings (Списки каталогов)

Один из источников обучающих данных, например, списки «Желтых страниц». Содержат бизнес-категории и связанные с ними названия компаний.

Inverse Document Frequency (IDF, Обратная частота документа)

Метрика, используемая для оценки важности термина. Термины, которые встречаются реже в коллекции документов, имеют более высокий IDF. Используется для взвешивания терминов при обучении модели на веб-документах.

Naïve Bayes Classifier (Наивный байесовский классификатор)

Статистический классификатор, основанный на теореме Байеса с «наивным» предположением о независимости атрибутов (терминов в запросе). Используется для расчета вероятности принадлежности запроса к категории.

Training Data (Обучающие данные)

Набор данных, используемый для построения Category Model. Включает примеры поисковых запросов, связанных с их корректными категориями. Источники включают Directory Listings, Categorized web sites, Query traffic data и Advertisement traffic data.

Ключевые утверждения (Анализ Claims)

Примечание: В предоставленном тексте патента доступен только Claim 1. Claims 2-32 аннулированы (canceled). Анализ основан на Claim 1 и его интерпретации через Description.

Claim 1 (Независимый пункт): Описывает метод определения категорий, релевантных поисковому запросу.

1. Система получает поисковый запрос.
2. Запрос вводится в компонент классификации (classification component).
3. Этот компонент включает модель категорий (category model), которая была обучена (trained) с использованием обучающих данных (training data).
4. Обучающие данные получены из одного или нескольких источников информации, которые связывают термины с категориями.
5. Система получает одну или несколько категорий от компонента классификации в ответ на поисковый запрос.
6. Система передает (transmitting) эти одну или несколько категорий.

Ядро изобретения заключается в использовании обученной статистической модели (как указано в Description, например, Naïve Bayes) для классификации запросов, причем обучение происходит на разнообразных источниках данных (не только на названиях категорий или бизнеса). Это позволяет системе изучать сложные ассоциации, выходящие за рамки простого совпадения текста или синонимов.

Где и как применяется

Изобретение применяется на этапе понимания запроса и влияет на формирование выдачи, особенно в контексте локального или коммерческого поиска (Business Listings Search).

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Category Classification Component анализирует входящий запрос в реальном времени (run-time classification mode) для определения его коммерческой или локальной направленности и сопоставления с предопределенными бизнес-категориями. Это помогает системе понять интент пользователя (например, ищет ли он услугу или конкретную компанию).

INDEXING / Офлайн-процессы
Система также работает в режиме обучения (training mode) офлайн. На этом этапе происходит сбор Training Data из различных источников (каталоги, веб-сайты) и построение/обновление Category Model. Рассчитываются статистические вероятности и IDF для терминов.

RANKING / METASEARCH
Результаты классификации (определенные категории) используются для извлечения и ранжирования релевантных бизнес-листингов. Если запрос классифицирован как «Итальянские рестораны», система будет искать и ранжировать бизнесы в этой категории.

Входные данные:

• В режиме обучения: Training Data (пары категория-запрос/термины) из источников: Directory Listings, Categorized web sites, Misc. pre-classified business data, Query traffic data, Advertisement traffic data.
• В режиме классификации: Поисковый запрос пользователя (набор терминов).

Выходные данные:

• В режиме обучения: Обученная Category Model (набор статистических вероятностей).
• В режиме классификации: Одна или несколько наиболее вероятных бизнес-категорий для данного запроса.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы с локальным и коммерческим интентом, где пользователь ищет бизнес, услугу или продукт (например, «Olive Garden», «проявка пленки», «сантехник рядом»).
• Конкретные типы контента: Влияет на ранжирование бизнес-листингов (например, результаты локального поиска, Google Maps, профили компаний).
• Конкретные ниши или тематики: Все ниши, представленные в бизнес-каталогах (рестораны, отели, услуги, ритейл и т.д.).

Когда применяется

• Условия работы: Алгоритм применяется при обработке поискового запроса для определения его принадлежности к бизнес-категориям.
• Триггеры активации: Вероятно, активируется для всех запросов или для запросов, которые система предварительно идентифицирует как имеющие потенциальный коммерческий/локальный интент. Патент не указывает конкретных триггеров, предполагая, что классификация выполняется в ответ на ввод запроса пользователем.

Пошаговый алгоритм

Процесс разделен на две основные фазы: Обучение и Работа в реальном времени.

Фаза 1: Обучение (Training)

1. Сбор обучающих данных: Система получает Training Data из одного или нескольких источников (Каталоги, Категоризированные веб-сайты, Прочие бизнес-данные). Данные представляют собой наборы категорий (X) и связанных с ними запросов/терминов (Y).
2. Предварительная обработка (Веб-документы): При использовании данных с веб-сайтов система может рассчитывать Inverse Document Frequency (IDF) для терминов. Термины с более высоким IDF получают больший вес.
3. Построение модели категорий (Train Category Model): Система обучает статистический классификатор (например, Naïve Bayes). Это включает расчет и сохранение в Category Model следующих вероятностей:
   • P[X_i] (Априорная вероятность категории): Оценивается как количество обучающих образцов в категории X_i, деленное на общий размер обучающей выборки.
   • P[Y'|X_i] (Вероятность термина Y' в категории X_i): Оценивается как количество вхождений термина Y' в категории X_i, деленное на общее количество вхождений термина во всех категориях (с учетом весов IDF, если применимо).

Фаза 2: Работа в реальном времени (Run-time operation)

1. Получение запроса: Система получает поисковый запрос пользователя (Y), состоящий из набора терминов.
2. Генерация результатов по категориям (Generate category results): Компонент классификации рассчитывает вероятность принадлежности запроса Y к каждой категории X_i, используя Category Model.
   • Для Naïve Bayes расчет ведется по формуле (упрощенно, ищется максимум числителя): $P[Y|X_{i}] \cdot P[X_{i}]$.
   • P[Y|X_i] рассчитывается как произведение вероятностей отдельных терминов в запросе (предполагая их независимость). Например, для запроса "Olive Garden": P["Olive"|X_i] * P["Garden"|X_i].
3. Выбор категории: Выбирается категория X_i с наибольшим рассчитанным значением вероятности.
4. Возврат результатов: Система возвращает выбранные категории пользователю.
5. Динамическое обновление (Опционально): Система может обновлять Category Model на основе взаимодействия пользователя с результатами поиска (Query traffic data) или рекламой (Advertisement traffic data). Например, если пользователь ввел «пленка» и кликнул на результат из категории «Фотоуслуги», вероятность P[«пленка»|«Фотоуслуги»] может быть увеличена.

Какие данные и как использует

Данные на входе

Патент детально описывает источники обучающих данных:

• Структурные данные (Каталоги): Directory Listings (например, Желтые страницы) и Misc. pre-classified business data (например, ресторанные гиды, потребительские отчеты). Используются названия бизнесов и их предопределенные категории.
• Контентные факторы (Веб-сайты): Categorized web sites. Используется текст с веб-сайтов компаний, чья категория уже известна. Это позволяет системе изучать терминологию, используемую в конкретной нише.
• Поведенческие факторы (Логи):
  • Query traffic data: Данные о том, какие результаты (и из каких категорий) пользователи выбирают после ввода определенных запросов. Используется для уточнения вероятностей для неоднозначных терминов.
  • Advertisement traffic data: Данные о кликах по рекламе. Если пользователь кликает на рекламу определенной категории после ввода запроса, это считается сигналом связи между запросом и категорией.

Какие метрики используются и как они считаются

• Статистические Вероятности (Naïve Bayes): Ключевые метрики, хранящиеся в Category Model.
  • P[X_i]: Априорная вероятность категории.
  • P[Y|X_i]: Вероятность запроса при условии категории.
  • Расчет ведется по теореме Байеса: $P[X_{i}|Y]=\frac{P[Y|X_{i}]\cdot P[X_{i}]}{\sum_{j}P[Y|X_{j}]\cdot P[X_{j}]}.$
• Inverse Document Frequency (IDF): Используется для взвешивания терминов при обучении на веб-документах. Одна из приведенных формул: $\log(\frac{J}{f+1})$, где J — общее количество документов в коллекции, а f — количество документов, в которых встречается термин.

1. Классификация запросов — это статистическая задача: Google рассматривает определение категории запроса как задачу классификации текста, решенную с помощью статистических моделей (Naïve Bayes). Система не ищет прямые совпадения, а рассчитывает вероятности на основе изученных ассоциаций.
2. Важность разнообразных обучающих данных: Ключевым аспектом изобретения является использование широкого спектра данных для обучения модели: от структурированных каталогов до неструктурированного текста на веб-сайтах и поведения пользователей (клики по результатам и рекламе). Это обеспечивает широкое покрытие и точность.
3. Использование контента сайта для классификации бизнеса: Текст на сайте компании (Categorized web sites) напрямую используется для обучения классификатора. Система анализирует термины на сайте и связывает их с категорией бизнеса, используя IDF для определения наиболее значимых слов.
4. Обратная связь от пользователей улучшает классификацию: Система использует данные о трафике запросов и рекламы для динамического обновления модели и разрешения неоднозначностей. Поведение пользователей напрямую влияет на то, как система классифицирует будущие запросы.
5. Семантика важнее ключевых слов: Механизм позволяет системе понимать семантическую связь между запросом и категорией, даже если они не имеют общих слов, за счет анализа того, какие слова статистически часто ассоциируются с этой категорией в обучающих данных.

Best practices (это мы делаем)

• Насыщение контента сайта релевантной семантикой: Поскольку контент веб-сайтов используется для обучения классификатора, крайне важно использовать на сайте разнообразную и релевантную терминологию, характерную для вашей ниши. Описывайте услуги и продукты подробно. Это поможет системе статистически связать ваш сайт с правильной категорией.
• Использование редких и специфичных терминов (IDF): Патент подчеркивает использование IDF для взвешивания терминов. Не избегайте использования узкоспециализированных терминов, которые точно описывают ваш бизнес. Они могут иметь больший вес при классификации, так как реже встречаются в других тематиках.
• Оптимизация под поведенческие факторы: Так как Query traffic data используется для обучения, важно создавать привлекательные сниппеты, которые мотивируют пользователей кликать на ваш результат по релевантным запросам. Высокий CTR по целевым запросам может укрепить ассоциацию вашего сайта (и категории) с этими запросами в модели Google.
• Согласованность данных в каталогах и на сайте: Убедитесь, что ваш бизнес правильно и последовательно категоризирован во внешних каталогах и справочниках (Directory Listings), так как они являются первичным источником обучающих данных. Информация на вашем сайте должна подтверждать эту категоризацию.

Worst practices (это делать не надо)

• Размытие тематики сайта: Попытка охватить слишком много разных направлений бизнеса на одном сайте может запутать классификатор. Статистические сигналы будут смешанными, что затруднит точное определение основной категории.
• Использование только высокочастотных общих терминов: Создание контента, состоящего только из общих слов, не поможет классификатору. Отсутствие специфичных терминов (с высоким IDF) снижает возможность точно идентифицировать нишу.
• Игнорирование оптимизации Google Business Profile (GBP): Хотя патент напрямую не упоминает GBP, он описывает систему для Business Listings Search. Некорректный выбор категорий в GBP или расхождение информации в нем с данными на сайте противоречит принципам, заложенным в патенте.

Стратегическое значение

Патент подтверждает, что для успешного продвижения в локальном и коммерческом поиске недостаточно просто иметь ключевые слова в названии или тексте. Google стремится понять суть бизнеса на основе совокупности сигналов из разных источников. Стратегически это означает, что SEO должно фокусироваться на построении четкого и последовательного семантического образа бизнеса в интернете. Контент на сайте должен быть не просто «оптимизирован под ключи», а служить источником знаний о том, чем занимается компания, помогая поисковой системе правильно её классифицировать.

Практические примеры

Сценарий: Помощь классификатору в определении узкой специализации бизнеса

Ситуация: Компания занимается реставрацией старинных фотографий. Владелец хочет, чтобы сайт появлялся по запросам типа «восстановление фото», но также и по более специфическим, например, «ремонт дагеротипов».

Действия на основе патента:

1. Проверка внешних каталогов (Directory Listings): Убедиться, что компания зарегистрирована в релевантных категориях, таких как «Фотоуслуги» или, если доступно, «Реставрационные услуги».
2. Анализ контента сайта (Categorized web sites & IDF): Создать на сайте подробные страницы услуг и блог. Активно использовать специфическую терминологию: «дагеротип», «амбротип», «тинтайп», «эмульсия», «архивное хранение». Эти редкие термины (высокий IDF) помогут классификатору статистически связать сайт с узкой нишей реставрации, отличая его от обычной фотопечати.
3. Оптимизация сниппетов (Query traffic data): Убедиться, что Title и Description четко указывают на специализацию, чтобы привлекать клики от пользователей, ищущих именно реставрацию. Например: «Реставрация дагеротипов и амбротипов в Москве | Архивное качество».

Ожидаемый результат: Модель классификации Google изучает ассоциации между специфическими терминами на сайте и категорией бизнеса. Это повышает вероятность того, что запросы, содержащие эти термины (или даже семантически связанные с ними), будут классифицированы правильно, и бизнес будет показан в результатах.