Как Google использует поведение пользователей для определения синонимичности фраз в запросах, связанных с сущностями

Термины и определения

Document Selection Rate (DSR) (Показатель выбора документа)

Метрика, показывающая частоту выбора (клика) конкретного документа в результатах поиска для инстанциаций определенного шаблона запроса.

Entity (Сущность)

Идентифицируемый объект, концепция или вещь (например, город, страна, человек).

Entity Collection (Коллекция сущностей)

Группа сущностей, объединенных общим признаком (например, коллекция «Города» или «Страны»).

Entity Similarity Measure (Мера сходства сущности)

Метрика, рассчитываемая для конкретной сущности, которая показывает, насколько похожи результаты поиска (и поведение пользователей по ним) для двух разных шаблонов запросов, инстанциированных этой сущностью.

Harmonic Mean of Term Selection Rates (HMTSR) (Гармоническое среднее показателей выбора терминов)

Агрегированная метрика TSR. Использование гармонического среднего гарантирует, что все термины в шаблоне должны иметь высокий TSR для того, чтобы общий HMTSR был высоким.

Instantiation (Инстанциация / Конкретизация)

Конкретный поисковый запрос, созданный путем замены идентификатора коллекции сущностей в шаблоне на алиас конкретной сущности (например, [достопримечательности в Сан-Франциско] — это инстанциация шаблона [достопримечательности в <Город>]).

Multi-attribute document (Мультиатрибутный документ)

Документ, описывающий более порогового числа атрибутов коллекции сущностей (например, страница Википедии о стране). Такие документы могут исключаться из анализа (Claim 7).

Query Template (Шаблон запроса)

Структура запроса, включающая один или несколько терминов и идентификатор коллекции сущностей (например, [достопримечательности в <Город>]).

Similarity Measure (Мера сходства)

Итоговая метрика, определяющая степень семантической эквивалентности между двумя шаблонами запросов. Рассчитывается на основе агрегации Entity Similarity Measures и/или количества общих сущностей.

Term Selection Rate (TSR) (Показатель выбора термина)

Метрика для конкретного термина в шаблоне и конкретного документа. Показывает, насколько важен этот термин для выбора данного документа.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения эквивалентности шаблонов запросов на основе поведения пользователей и количества общих сущностей.

1. Определяются два шаблона запроса (T1 и T2) с одинаковым идентификатором коллекции сущностей (EC), но разными терминами.
2. Идентифицируется конкретная сущность (E) из EC и её инстанциации в T1 и T2.
3. Находится документ (D), релевантный инстанциациям как T1, так и T2.
4. Рассчитываются Document Selection Rates (DSR1 и DSR2) для документа D.
5. Из журнала прошлых запросов определяется *количество* сущностей из EC, которые инстанциировали *оба* шаблона (T1 и T2).
6. Рассчитывается Similarity Measure (SM) на основе DSR1, DSR2, а также сравнения количества общих сущностей с пороговым значением.
7. На основе SM определяется эквивалентность T1 и T2.
8. Применение: Если шаблоны эквивалентны, система может в ответ на запрос, соответствующий T1, предоставить контент, основанный на инстанциации T2.

Claim 2 (Зависимый от 1): Добавляет использование Term Selection Rates (TSR).

Расчет Similarity Measure дополнительно основывается на TSR для терминов из T1 и T2 по отношению к документу D.

Claim 4 и 5 (Зависимые от 2): Детализируют расчет с использованием Гармонического среднего (HMTSR).

Рассчитывается гармоническое среднее TSR для терминов T1 (HMTSR1) и T2 (HMTSR2) (Claim 4). Вклад документа в Similarity Measure определяется как минимальное значение из двух произведений: (DSR1 * HMTSR1) и (DSR2 * HMTSR2) (Claim 5). Это гарантирует, что оба шаблона должны иметь как высокий DSR, так и высокий HMTSR для данного документа.

Claim 7 (Зависимый от 1): Вводит фильтрацию документов.

Система определяет, что документ D не является multi-attribute document. Документ используется в анализе, только если он сфокусирован на ограниченном числе атрибутов.

Claim 13 (Независимый пункт): Альтернативный метод, основанный только на количестве общих сущностей.

1. Определяются два шаблона запроса (T1 и T2) с одинаковым EC.
2. В журнале прошлых запросов подсчитывается *количество* уникальных сущностей (entity groups), для которых существуют инстанциации как T1, так и T2.
3. Эквивалентность T1 и T2 определяется на основе того, что количество общих сущностей превышает порог.

Где и как применяется

Изобретение является ключевым компонентом этапа понимания запросов и используется для расширения и уточнения запросов.

QUNDERSTANDING – Понимание Запросов

Основное применение. Система использует этот механизм для построения базы данных синонимов и эквивалентных шаблонов запросов. Это происходит в офлайн-режиме путем анализа больших объемов данных из журналов запросов (record of past queries) и поведения пользователей.

1. Офлайн-анализ: Система анализирует логи, идентифицирует шаблоны запросов, сущности и рассчитывает DSR/TSR для определения Similarity Measure между парами шаблонов.
2. Построение базы эквивалентности: Создается хранилище, где фиксируются эквивалентные шаблоны и синонимичные фразы.

RANKING / RERANKING – Ранжирование / Переранжирование

В онлайн-режиме система применяет полученные знания.

1. Расширение запроса (Query Expansion) / Подстановка (Substitution): Когда пользователь вводит запрос, соответствующий шаблону T1, система может использовать эквивалентный шаблон T2 для поиска дополнительных релевантных результатов или внутренне переписать запрос (как указано в Claim 1).

Входные данные:

• Журнал прошлых поисковых запросов.
• Данные о поведении пользователей (клики/selections).
• База данных сущностей, их коллекций и алиасов.

Выходные данные:

• База данных семантически эквивалентных шаблонов запросов.
• Список синонимичных фраз (производный результат).

На что влияет

• Специфические запросы: Наибольшее влияние на информационные и транзакционные запросы, связанные с сущностями и их атрибутами (например, характеристики товаров, факты о людях, местах).
• Конкретные типы контента: Влияет на ранжирование страниц, которые четко отвечают на вопросы об атрибутах сущностей. Патент явно указывает на фильтрацию multi-attribute documents, предпочитая страницы с узким фокусом.
• Ниши и тематики: Сильное влияние в тематиках с большим количеством структурированных данных: E-commerce (характеристики), путешествия (достопримечательности), фактологическая информация (биографии, география).

Когда применяется

• Условие применения (Офлайн): Алгоритм применяется для анализа пар шаблонов запросов, которые имеют один и тот же идентификатор Entity Collection и встречаются в логах запросов с достаточной частотой.
• Триггеры активации (Онлайн): Когда входящий запрос пользователя соответствует одному из известных шаблонов, для которого существует семантически эквивалентный шаблон.
• Исключения: Анализ может не проводиться для документов, идентифицированных как multi-attribute documents, чтобы избежать ложных корреляций.

Пошаговый алгоритм

Офлайн-процесс: Определение эквивалентности шаблонов (T1 и T2)

1. Идентификация кандидатов: Система определяет пару шаблонов запросов (T1 и T2), которые имеют одинаковый Entity Collection (EC).
2. Определение общих сущностей (Entity Groups): Из журнала прошлых запросов извлекаются все сущности (E), которые инстанциировали как T1, так и T2.
3. Проверка покрытия (По Claim 1 и 13): Проверяется, достаточно ли количество этих общих сущностей. Это может быть самостоятельным основанием для эквивалентности (Claim 13) или частью общей оценки (Claim 1).
4. Итерация по сущностям (По Claim 1 и зависимым): Для каждой общей сущности E выполняется расчет Entity Similarity Measure:
   • Определяются инстанциации T1 и T2 для сущности E.
   • Определяются общие документы (D), релевантные обоим наборам инстанциаций.
   • Фильтрация документов: Исключаются multi-attribute documents (Claim 7).
   • Расчет DSR: Для каждого документа D рассчитывается Document Selection Rate для T1 (DSR1) и T2 (DSR2).
   • Расчет TSR и HMTSR: Рассчитываются Term Selection Rates для терминов T1 и T2. Затем вычисляется гармоническое среднее (HMTSR1 и HMTSR2) (Claim 4).
   • Расчет вклада документа: Вычисляется вклад документа D в сходство по формуле (Claim 5): $Min((DSR1 * HMTSR1), (DSR2 * HMTSR2))$.
   • Агрегация вклада: Вклады всех документов агрегируются (например, с помощью L2-mean) для получения итоговой Entity Similarity Measure для сущности E.
5. Расчет итогового сходства: Расчет финальной Similarity Measure между T1 и T2 на основе агрегации Entity Similarity Measures и данных о покрытии из Шага 3.
6. Определение эквивалентности: Если Similarity Measure превышает порог, T1 и T2 помечаются как семантически эквивалентные, а их текстовые части — как синонимы.

Какие данные и как использует

Данные на входе

• Поведенческие факторы: Критически важные данные. Используются журналы прошлых запросов (record of past queries) и данные о кликах (selections). Эти данные необходимы для расчета Document Selection Rate (DSR) и Term Selection Rate (TSR).
• Структурные факторы (Сущности): Используются данные о сущностях (Entities), их алиасах и принадлежности к коллекциям (Entity Collections). Это необходимо для идентификации шаблонов запросов и их инстанциаций.
• Контентные факторы: Содержимое документов может использоваться для определения, является ли документ мультиатрибутным (Multi-attribute document).

Какие метрики используются и как они считаются

1. Document Selection Rate (DSR):
   Отношение числа выборов документа D для инстанциаций шаблона T к общему числу выборов любых документов для этих инстанциаций.
   $DSR(T, D) = \frac{\text{Selections(D) for Instantiations(T)}}{\text{Total Selections for Instantiations(T)}}$
2. Term Selection Rate (TSR):
   Для термина Term и документа D. Рассчитывается на основе набора запросов (Q_set), которые привели к выбору D (и часто содержат сущность E).
   $TSR(\text{Term}, D) = \frac{\text{Selections(D) from Q\_set containing Term}}{\text{Total Selections(D) from Q\_set}}$
3. Harmonic Mean of TSR (HMTSR):
   Агрегация TSR для всех n терминов шаблона T.
   $HMTSR(T, D) = \frac{n}{\sum_{k=1}^{n} \frac{1}{TSR_k}}$
4. Entity Similarity Measure Contribution (Вклад в меру сходства):
   Комбинация DSR и HMTSR для документа D и шаблонов T1, T2.
   Contribution(D) = Min [(DSR(T1,D) * HMTSR(T1,D)), (DSR(T2,D) * HMTSR(T2,D))]
5. Entity Similarity Measure (Мера сходства сущности):
   Агрегация вкладов всех K документов для сущности E (например, L2-mean / среднеквадратичное значение).
   $ES(E) = \left[ \sum_{j=1}^{K} (\text{Contribution}(D_j))^2 \right]^{1/2}$

1. Поведение пользователей как источник истины для синонимов: Патент демонстрирует, что Google активно использует агрегированное поведение пользователей (клики) для обучения системы пониманию языка. Если пользователи реагируют одинаково на разные формулировки (выбирая одни и те же документы), система делает вывод о семантической эквивалентности этих формулировок.
2. Важность сущностей в понимании запросов: Механизм полностью основан на концепции Entity Collections. Эквивалентность определяется не абстрактно, а в контексте конкретного типа сущности. Фраза может быть синонимом в одном контексте (например, для городов) и не быть в другом.
3. Комплексная оценка сходства: Google не просто смотрит на пересечение результатов. Он использует сложную метрику, включающую DSR (популярность документа для запроса) и HMTSR (насколько документ релевантен *всем* терминам запроса). Использование гармонического среднего (HMTSR) обеспечивает высокое качество оценки релевантности.
4. Требование к статистической значимости: Для признания эквивалентности требуется не только высокое сходство поведения для отдельных сущностей (Entity Similarity), но и достаточное количество самих сущностей, демонстрирующих такое поведение (Quantity of Common Entities, Claims 1 и 13).
5. Предпочтение узкоспециализированного контента: Механизм фильтрации multi-attribute documents (Claim 7) указывает на то, что для калибровки системы понимания языка Google предпочитает документы, сфокусированные на одном конкретном атрибуте сущности, а не обзорные страницы.

Best practices (это мы делаем)

• Оптимизация под интент и атрибуты сущностей: Сосредоточьтесь на понимании того, какой атрибут сущности ищет пользователь. Вместо механического перебора синонимов убедитесь, что страница является лучшим ответом на этот интент. Если страница удовлетворяет интент, она будет получать клики (высокий DSR), и Google сможет связать различные формулировки запросов с этой страницей.
• Создание узкофокусированного контента (Single-Attribute Pages): Учитывая фильтрацию multi-attribute documents, создавайте страницы, посвященные конкретным атрибутам сущностей, если это целесообразно. Например, отдельная страница «Срок службы батареи iPhone 16» может быть более полезной для системы, чем общий обзор iPhone 16, включающий один абзац о батарее.
• Улучшение распознавания сущностей (Entity SEO): Убедитесь, что Google четко понимает, о какой сущности идет речь на странице (используя разметку Schema.org, связь с Knowledge Graph). Это необходимо для того, чтобы ваш контент учитывался при анализе инстанциаций Query Templates.
• Мониторинг CTR и поведенческих сигналов: Высокий CTR (отраженный в DSR) является прямым сигналом для этой системы. Работайте над привлекательными сниппетами и соответствием контента заголовку, чтобы максимизировать вероятность выбора вашего документа.

Worst practices (это делать не надо)

• Слепая оптимизация под конкретные ключевые фразы: Чрезмерная фокусировка на точном вхождении конкретной фразы теряет эффективность. Google стремится понять эквивалентность фраз, поэтому система свяжет синонимы, если поведение пользователей это подтвердит.
• Создание «раздутых» обзорных страниц для всех интентов: Попытка ранжироваться по всем возможным атрибутам сущности на одной длинной странице может быть менее эффективной, чем создание специализированных страниц, из-за механизма фильтрации multi-attribute documents.
• Игнорирование поведения пользователей: Если страница релевантна по тексту, но не получает кликов (низкий DSR), она не поможет Google установить семантическую эквивалентность и, вероятно, будет ранжироваться хуже по связанным запросам.

Стратегическое значение

Этот патент подтверждает стратегию Google по переходу от анализа ключевых слов к пониманию интента через анализ сущностей и поведения пользователей. Он показывает, как именно пользовательские данные используются для обучения NLP-моделей. Для SEO это означает, что долгосрочная стратегия должна базироваться на глубоком понимании целевой аудитории, её потребностей (интентов) и создании контента, который эти потребности наилучшим образом удовлетворяет, что подтверждается поведенческими метриками.

Практические примеры

Сценарий: Оптимизация сайта о путешествиях

1. Задача: Ранжироваться по запросам о достопримечательностях в разных городах.
2. Анализ (на основе патента): Google сравнивает шаблоны, такие как [достопримечательности в <Город>], [что посмотреть в <Город>], [интересные места в <Город>].
3. Действия SEO-специалиста:
   • Вместо создания трех разных страниц под каждую фразу для одного города (например, «Париж»), создать одну исчерпывающую страницу.
   • Выбрать основную формулировку (например, «Достопримечательности Парижа») для Title и H1.
   • Убедиться, что страница максимально полно отвечает на интент (списки, карты, описания).
   • Оптимизировать сниппет для максимизации CTR по всем вариантам запросов.
4. Ожидаемый результат: Пользователи, вводящие любой из вариантов запроса, будут кликать на эту страницу (высокий DSR). Google увидит это поведение для Парижа, Лондона, Рима и т.д. (Quantity of Common Entities). Система определит, что эти три шаблона эквивалентны, и страница будет высоко ранжироваться по всем синонимичным запросам.