Как Google генерирует связанные запросы (Related Searches), используя сущности из топовых результатов и сохраняя структуру исходного запроса

Термины и определения

Entity (Сущность)

Слово или фраза, представляющая значимую, самодостаточную концепцию, найденную в документе. Часто определяется как последовательность символов, частота использования которой в качестве ранее поданного поискового запроса (previously-submitted search query) превышает пороговое значение.

Refined Search Query (Уточненный поисковый запрос)

Альтернативный запрос, сгенерированный системой и предложенный пользователю для уточнения или расширения исходного поиска (например, блок «Related Searches»).

Candidate (Кандидат)

Потенциальный уточненный запрос, сгенерированный путем комбинирования сущности и терминов исходного запроса (или их синонимов).

Search Log(s) (Логи запросов)

База данных ранее поданных поисковых запросов и связанной с ними информации (частота, даты, язык, данные о кликах).

IDF (Inverse Document Frequency, Обратная частота документа)

Метрика, используемая для оценки важности термина или сущности. Используется для идентификации ключевых терминов в запросе (Term Score) и для ранжирования сущностей.

Term Score (Оценка термина)

Метрика (часто IDF), используемая для определения важности отдельных терминов в исходном запросе.

Long Click / Short Click (Длинный / Короткий клик)

Метрики, основанные на времени пребывания пользователя (dwell time) на документе после клика. Используются для оценки релевантности документа и могут влиять на оценку связанных с ним сущностей.

Refinement Server (Сервер уточнений)

Компонент системы, отвечающий за получение исходных запросов, документов и генерацию уточненных запросов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации уточненных запросов с акцентом на сохранение структуры исходного запроса.

1. Система получает поисковый запрос.
2. Получает результаты поиска.
3. Выбирает документ из результатов.
4. Генерирует кандидатов для уточненных запросов из entity text strings (текстовых строк сущностей), связанных с документом. Этот процесс включает:
   • Идентификацию трех или более терминов в исходном запросе, чья оценка (term score) удовлетворяет порогу.
   • Эти термины имеют определенный порядок (particular order) в запросе.
   • Комбинирование этих терминов с текстовой строкой сущности для генерации кандидата.
   • Ключевое условие: В сгенерированном кандидате эти три или более терминов должны сохранять тот же относительный порядок (particular order), что и в исходном запросе.
5. Идентифицирует один или более кандидатов как уточненные поисковые запросы.

Примечание: Основной запатентованный механизм фокусируется на уточнении более длинных запросов (3+ важных термина), гарантируя сохранение их структуры.

Claim 2 (Зависимый): Уточняет процесс генерации кандидатов, позволяя заменять идентифицированный термин его синонимом при комбинировании с сущностью.

Claim 3 (Зависимый): Указывает, что выбор документа может основываться на его ранжировании (т.е. используются топовые документы).

Claim 4 (Зависимый): Описывает метод выбора сущностей. Сущности ранжируются на основе их частоты использования в качестве ранее поданных поисковых запросов. Используются только сущности с рангом выше порогового.

Claim 5 (Зависимый): Описывает альтернативный метод выбора сущностей. Сущности ранжируются на основе меры их частоты встречаемости в группе документов (результатах поиска).

Claim 7 (Зависимый): Указывает, что term scores (используемые в Claim 1 для идентификации важных терминов) могут быть значениями IDF.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, связывая данные индекса с процессом понимания запросов и формированием финальной выдачи.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит идентификация и индексация сущностей, связанных с документами. Рассчитываются и сохраняются оценки (scores) для сущностей, такие как IDF, частота использования в качестве запросов, данные о кликах (Long Clicks).

QUNDERSTANDING – Понимание Запросов
Система анализирует исходный запрос для выявления важных терминов (используя IDF) и использует Search Log(s) для валидации кандидатов.

RANKING – Ранжирование
Генерируется первичный набор результатов поиска, который определяет, какие документы будут использованы для извлечения сущностей.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование
Основное применение патента. После этапа RANKING, Refinement Server анализирует топовые документы и их сущности. Затем он генерирует блок уточненных запросов (например, «Related Searches»), который смешивается с основными результатами для формирования итоговой SERP.

Входные данные:

• Исходный поисковый запрос.
• Результаты поиска (документы и их ранги).
• Индексные файлы: сущности, связанные с документами, и их оценки (IDF, click data).
• Search Log(s): логи предыдущих запросов, CTR.
• Данные о синонимах.

Выходные данные:

• Набор уточненных поисковых запросов (Refined Search Queries).

На что влияет

• Специфические запросы: Механизм, описанный в Claim 1, явно нацелен на запросы, состоящие из трех или более важных терминов. Он влияет на то, как уточняются длинные и сложные запросы, гарантируя сохранение их структуры.
• Контент топовых страниц: Страницы, богатые релевантными сущностями и генерирующие положительные поведенческие сигналы, будут способствовать генерации более точных связанных запросов.

Когда применяется

• Триггер активации: Алгоритм активируется в ответ на получение поискового запроса, после генерации основных результатов поиска.
• Условия применения: Применяется, когда исходный запрос содержит достаточно важных терминов (3 или более с IDF выше порога) и когда в топовых документах можно идентифицировать значимые сущности (с оценкой выше порога).

Пошаговый алгоритм

Процесс генерации уточненных поисковых запросов:

1. Получение запроса и результатов: Система получает запрос и генерирует результаты поиска.
2. Выбор документов: Отбирается группа документов из результатов поиска (например, на основе ранга выше порогового).
3. Ранжирование и выбор сущностей: Идентифицируются сущности, связанные с выбранными документами. Они ранжируются на основе Entity Score (см. раздел Метрики) и выбирается подмножество лучших.
4. Идентификация важных терминов запроса: В исходном запросе определяются важные термины (чей IDF выше порога). Проверяется наличие трех или более таких терминов и фиксируется их порядок.
5. Генерация кандидатов: Для каждой выбранной сущности генерируются кандидаты путем комбинирования с важными терминами:
   1. Применение правил: Строго соблюдается правило сохранения относительного порядка исходных терминов.
   2. Использование синонимов: Термины могут заменяться синонимами для генерации вариантов.
6. Оценка и идентификация (Candidate Score): Кандидаты оцениваются на основе их популярности в Search Log(s), CTR, суммы IDF терминов и других критериев.
7. Предоставление результатов: Выбранные уточненные запросы предоставляются вместе с результатами поиска.

Какие данные и как использует

Данные на входе

Патент описывает использование следующих типов данных:

• Контентные и Структурные факторы: Используются сущности (entities), извлеченные из содержания документов. Оценка сущности может быть повышена, если она найдена в заголовке (title) документа.
• Поведенческие факторы: Критически важные данные. Используются Search Log(s) для определения популярности сущностей и валидации кандидатов. Также используются данные о кликах (click data), включая CTR и время пребывания на документе (dwell time), для различения Long Clicks и Short Clicks.
• Лингвистические факторы: Используются базы данных синонимов для генерации вариантов кандидатов.

Какие метрики используются и как они считаются

Система вычисляет несколько ключевых метрик для ранжирования:

• IDF (Inverse Document Frequency): Ключевая метрика. Рассчитывается как $\log(N/df(t))$.
• Term Score (Оценка Термина): Используется для идентификации важных терминов в исходном запросе. В патенте указано использование IDF.
• Entity Score (Оценка Сущности): Агрегированная метрика для ранжирования сущностей. Может рассчитываться на основе:
  • IDF: Сумма IDF каждого слова в сущности.
  • Частота в логах: Как часто сущность встречается в качестве ранее поданного запроса.
  • Co-occurrence (Совместная встречаемость): Как часто сущность и запрос встречаются вместе в документе.
  • Click Data: Вероятность того, что запрос, содержащий сущность, приведет к Long Click. Оценка увеличивается с ростом отношения Long Clicks к общему числу кликов.
  • Присутствие в заголовке: Повышение оценки, если сущность найдена в заголовке документа.
• Candidate Score (Оценка Кандидата): Используется для выбора финальных уточненных запросов. Может основываться на частоте в Search Log(s), CTR, и сумме IDF терминов в кандидате.

1. Топовые результаты формируют контекст запроса: Патент подтверждает, что Google активно использует контент страниц, занимающих лидирующие позиции, для понимания контекста запроса и генерации связанных поисковых предложений. Сущности, присутствующие на этих страницах, определяют, какие уточнения будут предложены пользователю.
2. Сущности и логи запросов – основа уточнений: Уточненные запросы генерируются из entities, которые часто сами являются популярными поисковыми запросами (подтверждено Search Log(s)). Это связывает контентную оптимизацию с реальным поисковым поведением.
3. Важность структуры запроса (Order Maintenance): Ключевым элементом является правило сохранения относительного порядка терминов из исходного запроса. Это гарантирует, что уточнения будут грамматически и логически связными, особенно для длинных запросов (3+ слова).
4. IDF как мера важности и специфичности: IDF используется для оценки важности как отдельных терминов в запросе, так и целых сущностей. Это подчеркивает важность использования в контенте терминов, которые являются отличительными и значимыми в рамках тематики.
5. Поведенческие сигналы влияют на выбор сущностей: Оценка сущностей зависит от поведенческих данных, таких как Long Clicks. Сущности, связанные с контентом, который хорошо удовлетворяет интент пользователя, получают более высокий приоритет при генерации уточнений.
6. Использование синонимов расширяет охват: Система может заменять термины исходного запроса синонимами при генерации кандидатов, что позволяет связывать семантически близкие, но текстуально различные запросы.

Best practices (это мы делаем)

• Оптимизация под сущности (Entity Optimization): Необходимо идентифицировать ключевые сущности, релевантные для целевой тематики, и стратегически интегрировать их в контент. Патент упоминает, что наличие сущности в заголовке (title) повышает ее оценку. Это увеличивает вероятность использования этих сущностей для генерации связанных запросов.
• Фокус на Topical Authority и попадание в Топ: Создавайте контент, который всесторонне охватывает тему. Поскольку сущности извлекаются преимущественно из топовых результатов, критически важно ранжироваться высоко, чтобы влиять на формирование понимания Google о данном тематическом пространстве.
• Стимулирование Long Clicks: Поскольку Long Clicks повышают оценку связанных сущностей (Entity Score), критически важно создавать контент, который полностью удовлетворяет интент пользователя, удерживает его внимание и предоставляет исчерпывающую информацию.
• Анализ Related Searches как источник интентов: Регулярно анализируйте блок «Related Searches». Это дает прямое понимание того, какие сущности и комбинации Google считает наиболее релевантными, основываясь на анализе топовых конкурентов и логов запросов. Покрывайте эти направления в своем контенте.
• Использование значимых терминов (High IDF) и естественного языка: Используйте термины с высокой значимостью (потенциально высокий IDF). Пишите естественно, так как система учитывает порядок слов для генерации корректных предложений.

Worst practices (это делать не надо)

• Создание контента без учета сущностей: Фокусировка исключительно на ключевых словах без понимания связанных сущностей приведет к созданию контента, который не будет способствовать тематическому авторитету и не будет эффективно участвовать в процессе генерации уточнений.
• Манипуляции для получения Short Clicks (например, кликбейт): Контент, который разочаровывает пользователей и приводит к быстрым возвратам в выдачу (Short Clicks), будет снижать Entity Score связанных с ним сущностей.
• Фокус только на коротких запросах: Согласно Claim 1, описанный механизм сохранения порядка активируется для запросов, содержащих три или более важных термина. Игнорирование оптимизации под средне- и длиннохвостые запросы снижает взаимодействие с этим алгоритмом.

Стратегическое значение

Этот патент подчеркивает переход от простого сопоставления ключевых слов к более сложному механизму, объединяющему анализ контента (сущности), анализ поведения пользователей (логи запросов, Long Clicks) и лингвистический анализ (сохранение порядка слов, синонимы). Стратегическое значение для SEO заключается в необходимости построения семантически богатого, авторитетного контента, который соответствует реальным поисковым паттернам пользователей. Влияние на «Related Searches» — это не только источник трафика, но и индикатор того, насколько хорошо Google понимает ваш контент в контексте общей темы.

Практические примеры

Сценарий 1: Сохранение порядка слов (Пример из патента)

1. Исходный запрос (Q): "what to do after surgery" (что делать после операции). Важные термины сохраняют порядок: [after] -> [surgery].
2. Анализ топа и сущность (E): В топовом документе найдена сущность "pain medications" (обезболивающие препараты).
3. Генерация: Система комбинирует Q и E, сохраняя порядок слов.
4. Результат: "pain medications after surgery". Порядок [after] -> [surgery] сохранен.

Сценарий 2: Использование синонимов (Пример из патента)

1. Исходный запрос (Q): "paris accommodation" (жилье в Париже).
2. Анализ топа и сущность (E): В топовом результате найдена сущность "eiffel tower" (Эйфелева башня).
3. Генерация: Система заменяет термин "accommodation" на популярный синоним "hotels".
4. Результат: "paris hotels eiffel tower".

SEO-действие: При оптимизации контента необходимо убедиться, что ключевые сущности естественно интегрированы в текст и связаны с основными интентами, а также использовать релевантные синонимы для расширения охвата.