Как Google автоматически создает и ранжирует шаблоны запросов с сущностями для улучшения поисковых подсказок (Autocomplete)

Термины и определения

Entity (Сущность)

Тема дискурса; человек, место, концепция или объект, который можно идентифицировать по текстовому фрагменту и отличить от других. Имеет уникальный идентификатор (unique entity identifier) и свойства.

Entity Category (Категория сущностей)

Группа сущностей, имеющих общие аспекты или свойства (например, [city], [film], [U.S. presidents]).

Entity Alias (Псевдоним сущности)

Текстовое представление (термин или фраза), используемое для ссылки на сущность (например, «LA» и «Los Angeles» — псевдонимы для сущности города Лос-Анджелес).

Query Template (Шаблон запроса)

Структура, включающая один или несколько фиксированных терминов (template terms) и идентификатор категории сущностей (например, «restaurants in [city]»).

Partial Query (Частичный запрос)

Запрос, сформулированный пользователем до того, как он указал на его завершение (например, текст в строке поиска до нажатия Enter).

Query Suggestion (Поисковая подсказка)

Предлагаемый вариант завершения запроса, часто предоставляемый в реальном времени (Autocomplete).

Ranking (Рейтинг шаблона)

Оценка, указывающая на вероятность того, что шаблон запроса будет эффективен для определения поисковых подсказок. Рассчитывается на основе частоты, разнообразия и распределения сущностей.

Cohesiveness (Связность/Когезивность)

Метрика, описывающая степень схожести между сущностями внутри одной категории. Высокая связность положительно влияет на рейтинг шаблона.

Conforming Entity Category Members

Уникальные сущности из категории, которые были найдены в прошлых запросах, соответствующих данному шаблону. Количество этих членов определяет разнообразие (Diversity) шаблона.

Distributional Similarity (Распределительное сходство)

Сравнение частотного распределения сущностей в запросах, соответствующих шаблону, с частотным распределением этих же сущностей в более широком наборе запросов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный цикл от генерации шаблона до его использования для подсказок.

1. Идентификация Entity Category и соответствующих Entity Aliases.
2. Идентификация Query Template (термины + идентификатор категории).
3. Определение группы прошлых запросов (group of queries), которые соответствуют этому шаблону (содержат термины шаблона и один из псевдонимов).
4. Определение Ranking для шаблона. Рейтинг основан как минимум на подсчете вхождений (count of occurrences) одной или нескольких сущностей этой категории в найденной группе запросов.
5. Получение Partial Query от пользователя (после того, как рейтинг рассчитан).
6. Идентификация Query Template на основе сходства с частичным запросом.
7. Предоставление Query Suggestion на основе шаблона, причем решение о предоставлении основано на рейтинге шаблона.

Claim 3 и 4 (Зависимые): Детализируют расчет рейтинга на основе разнообразия сущностей (Diversity).

Рейтинг основан на количестве Conforming Entity Category Members (уникальных сущностей, найденных в шаблоне). Процесс включает сравнение этого количества с общим количеством сущностей в категории. Шаблон считается более качественным, если в нем используется много разных сущностей из категории.

Claim 5 и 6 (Зависимые): Детализируют расчет рейтинга на основе распределения сущностей (Distribution).

Рейтинг основан на частоте вхождения (conforming frequency of occurrence) различных сущностей в запросах, соответствующих шаблону. Процесс включает сравнение этого распределения частот с распределением частот тех же сущностей в дополнительной группе запросов (которая включает запросы, НЕ соответствующие шаблону). Цель — определить меру распределительного сходства (measure of distributional similarity). Шаблон считается качественным, если относительная популярность сущностей внутри шаблона схожа с их глобальной популярностью.

Claim 8 (Зависимый): Детализирует расчет рейтинга на основе связности категории (Cohesiveness).

Рейтинг также определяется на основе схожести (similarity) между членами категории сущностей. Это предотвращает создание шаблонов для слишком разнородных категорий.

Где и как применяется

Изобретение применяется в основном на этапе понимания запросов и взаимодействия с пользователем.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна иметь доступ к базе данных сущностей (entity database / Knowledge Graph), содержащей информацию о сущностях, их категориях, псевдонимах и показателях популярности (popularity measure). Эти данные необходимы для генерации шаблонов.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента, который разделен на две части:

1. Офлайн-обработка (Template Generation): Компонент Template Generator анализирует логи прошлых запросов (past queries). Он идентифицирует паттерны, связывает их с категориями сущностей, генерирует Query Templates и рассчитывает их Ranking. Эти шаблоны сохраняются для последующего использования.
2. Онлайн-обработка (Query Suggestion Serving): Компонент Query Suggestion Engine в реальном времени получает Partial Query от пользователя. Он сопоставляет его с сохраненными шаблонами, выбирает подходящие сущности и формирует Query Suggestions.

Входные данные (Офлайн):

• Логи прошлых поисковых запросов.
• База данных сущностей (Категории, Сущности, Псевдонимы).

Входные данные (Онлайн):

• Частичный запрос пользователя.
• База данных ранжированных шаблонов запросов.
• Данные о пользователе (например, location of the user, история поиска).

Выходные данные:

• Ранжированный список поисковых подсказок, предоставленный пользователю.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на запросы, имеющие четкую структуру, включающую сущности — локальные запросы («кафе в [городе]»), запросы о продуктах («[модель телефона] характеристики»), запросы о медиа («[фильм] актеры») и фактологические запросы.
• Конкретные типы контента: Влияет на видимость контента, который хорошо оптимизирован под эти структурированные запросы, особенно локальный бизнес, каталоги, энциклопедические ресурсы.

Когда применяется

• Триггеры активации (Офлайн): Активируется при анализе логов запросов, когда обнаруживается достаточное количество запросов, имеющих общие термины и сущности из одной категории.
• Триггеры активации (Онлайн): Активируется каждый раз, когда пользователь вводит частичный запрос в поисковую строку. Система ищет совпадения между частичным запросом и фиксированными терминами шаблона ИЛИ когда частичный запрос сам является сущностью, для которой существуют шаблоны.
• Пороговые значения (Офлайн): Шаблон считается действительным (valid query template), если его Ranking удовлетворяет определенному порогу. Это может включать пороги по количеству соответствующих запросов, количеству уникальных сущностей (diversity threshold) и мере распределительного сходства (distributional similarity threshold).

Пошаговый алгоритм

Процесс А: Генерация и ранжирование шаблонов (Офлайн)

1. Идентификация Категорий и Псевдонимов: Система определяет категории сущностей (например, [city]) и собирает псевдонимы для сущностей в этих категориях (например, «San Francisco», «SF»).
2. Группировка Запросов: Анализируются логи прошлых запросов. Идентифицируется группа запросов, которые имеют общие совпадающие термины (matching terms) и содержат один из идентифицированных псевдонимов сущностей.
3. Определение Шаблона: На основе сгруппированных запросов определяется Query Template, который включает совпадающие термины и идентификатор категории сущностей.
4. Расчет Рейтинга Шаблона (Ranking): Вычисляется оценка качества шаблона. Этот шаг включает несколько подэтапов:
   • Оценка Частоты: Подсчет общего количества прошлых запросов, соответствующих шаблону.
   • Оценка Разнообразия (Diversity): Определение количества уникальных сущностей (conforming entity category members), которые встречаются в этом шаблоне. Сравнение этого числа с общим размером категории.
   • Оценка Распределения (Distribution): Сравнение частотного распределения сущностей внутри шаблона с их распределением в более широком наборе запросов (расчет Distributional Similarity).
   • Оценка Связности (Cohesiveness): Оценка степени схожести сущностей внутри категории.
5. Валидация и Сохранение: Если совокупный рейтинг удовлетворяет пороговым значениям, шаблон помечается как действительный и сохраняется в базе данных шаблонов.

Процесс Б: Предоставление подсказок (Онлайн)

1. Получение Частичного Запроса: Система получает Partial Query от пользователя в реальном времени.
2. Идентификация Шаблона: Система ищет Query Template в базе данных, который соответствует частичному запросу (например, через префиксное совпадение терминов).
3. Идентификация Сущностей: Определяются релевантные сущности из категории, указанной в шаблоне. Выбор может основываться на:
   • Символах, уже введенных пользователем (например, города на букву «S»).
   • Популярности сущности (popularity measure).
   • Контексте пользователя (например, location of the user, история поиска).
4. Формирование Подсказки: Генерируется Query Suggestion путем объединения терминов шаблона и псевдонима выбранной сущности.
5. Ранжирование Подсказки: Определяется рейтинг конкретной подсказки. Он может базироваться на рейтинге самого шаблона и рейтинге (популярности) подставленной сущности.
6. Предоставление Подсказки: Подсказка отправляется пользователю для отображения в интерфейсе.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных о сущностях и поведении пользователей для генерации подсказок.

• Данные о Сущностях (Entity Data): Критически важные данные из базы знаний (например, Knowledge Graph). Включают unique entity identifiers, Entity Categories, Entity Aliases, свойства сущностей и связи между ними. Также используются данные о популярности сущностей и их псевдонимов.
• Поведенческие факторы: Логи прошлых запросов (past queries) массово используются для выявления паттернов, подсчета частот и анализа распределения запросов. История поиска конкретного пользователя может использоваться для персонализации подсказок.
• Географические факторы: Местоположение пользователя (location of the user) используется для приоритизации сущностей при формировании подсказок (например, предлагать ближайшие города).

Какие метрики используются и как они считаются

Основная метрика — Ranking (Рейтинг шаблона), который агрегирует несколько показателей:

• Count of Occurrences (Частота): Общее количество прошлых запросов, соответствующих шаблону, или количество уникальных запросов.
• Diversity Score (Оценка Разнообразия): Рассчитывается как количество уникальных сущностей, используемых в шаблоне (number of conforming entity category members), часто нормализованное на общее количество сущностей в категории.
• Distributional Similarity (Распределительное сходство): Мера схожести между двумя распределениями частот сущностей (внутри шаблона vs глобально). В патенте упоминается возможность использования статистических методов, таких как критерий согласия (goodness-of-fit test), хи-квадрат (chi-squared analysis) или методы на основе энтропии (entropy-based methods).
• Cohesiveness Score (Оценка Связности): Оценка семантической близости сущностей внутри категории. Способ расчета не детализирован, но указано, что он основан на схожести (similarity) между сущностями.
• Popularity Measure (Мера популярности): Оценка популярности конкретной сущности или её псевдонима, используемая при ранжировании финальной подсказки.

1. Автоматизация и масштабирование подсказок: Google автоматизирует процесс выявления популярных и полезных паттернов запросов. Система не полагается только на частоту конкретных запросов, но ищет обобщенные шаблоны, включающие сущности.
2. Качество шаблона зависит от разнообразия и распределения: Ключевым аспектом патента является механизм ранжирования шаблонов. Шаблон считается качественным не только если он часто используется (Frequency), но и если в нем используется много разных сущностей (Diversity), и если популярность этих сущностей внутри шаблона соответствует их общей популярности (Distributional Similarity).
3. Важность семантической структуры категорий: Система учитывает Cohesiveness категории. Шаблоны для четко определенных и однородных категорий (например, [города США]) будут ранжироваться выше, чем для размытых категорий. Это подтверждает важность хорошо структурированного графа знаний.
4. Сущности как основа для понимания запросов: Патент демонстрирует, как сущности используются для структурирования и понимания пользовательского интента еще до отправки запроса. Query Template — это способ интерпретации интента через структуру «Тема + Сущность».
5. Персонализация подсказок: Система явно учитывает контекст пользователя, такой как местоположение и история поиска, для выбора сущностей при формировании подсказок на основе шаблонов.

Best practices (это мы делаем)

• Фокус на Entity SEO и структурирование данных: Необходимо обеспечить, чтобы ключевые сущности вашего бизнеса (продукты, локации, бренд, персоны) были четко определены, размечены (Schema.org) и присутствовали в графах знаний. Это повышает вероятность того, что Google распознает эти сущности и включит их в соответствующие Query Templates.
• Оптимизация под устоявшиеся шаблоны запросов: Анализируйте поисковые подсказки (Autocomplete) в вашей нише, чтобы выявить шаблоны, которые использует Google (например, «[бренд] отзывы», «[продукт] купить в [городе]»). Создавайте контент и структуру сайта, которые напрямую отвечают на эти шаблонные запросы.
• Работа над популярностью и узнаваемостью сущностей: Поскольку популярность сущности (Popularity Measure) используется при выборе того, какую сущность подставить в шаблон, работа над общим брендовым трафиком и узнаваемостью ваших сущностей (например, конкретных моделей продуктов) напрямую влияет на видимость в подсказках.
• Локальное SEO: Для локального бизнеса критически важно обеспечить корректность и полноту данных о локациях (сущностях типа [city] или [neighborhood]). Поскольку местоположение пользователя используется для приоритизации, точное гео-таргетирование помогает попасть в подсказки по шаблонам типа «услуга рядом» или «услуга в [городе]».

Worst practices (это делать не надо)

• Игнорирование структурированных данных: Отсутствие микроразметки и четкой связи контента с сущностями снижает способность Google идентифицировать ваш контент как релевантный для подстановки в Query Templates.
• Фокус только на высокочастотных ключевых словах без учета сущностей: Оптимизация под общие термины без привязки к конкретным сущностям и их категориям не соответствует логике работы системы генерации шаблонных подсказок.
• Манипуляции с подсказками (Накрутка): Попытки искусственно накрутить частотность запросов для влияния на Autocomplete могут быть отфильтрованы механизмом Distributional Similarity, который выявляет неестественное распределение популярности сущностей.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google на переход от ключевых слов к сущностям и структурированному пониманию интента. Для SEO это означает, что долгосрочная стратегия должна быть сосредоточена на построении семантической структуры сайта и укреплении связей с релевантными сущностями в Knowledge Graph. Понимание Query Templates позволяет прогнозировать спрос и адаптировать контент под то, как пользователи ищут информацию, направляемые самой поисковой системой.

Практические примеры

Сценарий: Оптимизация для интернет-магазина электроники

1. Анализ: SEO-специалист замечает, что Google активно предлагает подсказки по шаблонам: «[модель смартфона] характеристики», «[модель смартфона] обзор», «[модель смартфона] купить в [городе]».
2. Действие (Структура): Убедиться, что на сайте есть отдельные целевые страницы для каждого из этих интентов для всех ключевых моделей.
3. Действие (Сущности): Внедрить детальную микроразметку Product на карточках товаров, четко указывая бренд, модель и характеристики. Это помогает Google идентифицировать конкретную модель как сущность категории [смартфон].
4. Действие (Локализация): Создать страницы для физических магазинов в разных городах с разметкой LocalBusiness, чтобы улучшить видимость по шаблону, включающему [город].
5. Ожидаемый результат: При вводе пользователем названия модели смартфона, Google с большей вероятностью использует выявленные шаблоны и подставит в них данные, ведущие на оптимизированный сайт, увеличивая видимость в подсказках и потенциальный трафик по этим структурированным запросам.