Как Google использует связанные фразы и расширения запросов для генерации сниппетов в поисковой выдаче

Термины и определения

Good Phrase (Хорошая/Значимая фраза)

Фраза, идентифицированная системой индексирования как значимая на основе частотности, использования и предиктивной силы (способности предсказывать появление других фраз).

Information Gain (Прирост информации)

Предиктивная метрика, используемая для определения связи между фразами. Рассчитывается как отношение фактической частоты совместной встречаемости двух фраз (A) к ожидаемой частоте (E). $I(j,k)=A(j,k)/E(j,k)$.

Related Phrases (Qr) (Связанные фразы)

Две фразы считаются связанными, если показатель Information Gain между ними превышает определенный порог. Это фразы, которые часто используются для обсуждения одной и той же темы.

Phrase Extension (Qe) (Расширение фразы)

Супер-последовательность, которая начинается с базовой фразы. Например, "Президент Соединенных Штатов" является расширением фразы "Президент".

Query Phrase (Qp) (Фраза запроса)

Good Phrase, идентифицированная в поисковом запросе пользователя.

User Model (Модель пользователя)

Коллекция фраз, извлеченных из документов, к которым пользователь ранее получал доступ. Используется для персонализации сниппетов.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на методе генерации описания документа (сниппета).

Claim 1 (Независимый пункт): Описывает основной метод генерации описания документа.

1. Система получает документ в ответ на запрос, содержащий Query Phrase.
2. Для предложений документа рассчитываются три показателя (counts):
   • Первый подсчет (Count 1): количество вхождений Query Phrase.
   • Второй подсчет (Count 2): количество вхождений Related Phrases (определенных через Information Gain выше порога).
   • Третий подсчет (Count 3): количество вхождений Phrase Extensions.
3. Одно или несколько предложений выбираются на основе этих трех показателей.
4. Из выбранных предложений формируется описание документа.

Claim 2 (Зависимый от 1): Уточняет механизм выбора.

Предложения сортируются в порядке убывания их соответствующих подсчетов, и выбирается определенное количество предложений с наивысшими показателями.

Claim 3 (Зависимый от 2): Определяет строгую иерархию сортировки.

• Первичный ключ сортировки: Первый подсчет (Query Phrase).
• Вторичный ключ сортировки: Второй подсчет (Related Phrases).
• Третичный ключ сортировки: Третий подсчет (Phrase Extensions).

Это определяет приоритеты системы: сначала точное соответствие запросу, затем семантический контекст, и в последнюю очередь — уточнения (расширения).

Claim 4 (Зависимый от 1): Уточняет формирование описания.

Описание формируется путем конкатенации (объединения) выбранных предложений в блок текста.

Где и как применяется

Изобретение затрагивает несколько этапов поисковой архитектуры, опираясь на данные, сгенерированные во время индексации, и применяясь после основного ранжирования.

INDEXING – Индексирование и извлечение признаков

На этом этапе происходит предварительная работа: идентификация Good Phrases, расчет Information Gain, определение Related Phrases и Phrase Extensions. Эти данные сохраняются в индексе и базе данных фраз (Phrase Data).

QUNDERSTANDING – Понимание Запросов

При получении запроса система идентифицирует в нем Query Phrases и извлекает для них соответствующие Related Phrases и Phrase Extensions из Phrase Data.

RERANKING / METASEARCH (Presentation System)

Основное применение патента. После того как основной поиск (Search System) вернул набор ранжированных результатов, система презентации (Presentation System) генерирует сниппеты. Этот процесс происходит динамически для каждого запроса.

Входные данные:

• Поисковый запрос и идентифицированные Query Phrases (Qp).
• Набор релевантных документов.
• Данные о фразах (Qr и Qe для фраз запроса).
• (Опционально) User Model для персонализации.

Выходные данные:

• Модифицированные результаты поиска с автоматически сгенерированными сниппетами для документов.

На что влияет

• Все типы контента и запросов: Механизм универсален и применяется ко всем документам в результатах поиска, для которых генерируется текстовый сниппет.
• CTR и восприятие релевантности: Напрямую влияет на то, насколько привлекательным и релевантным выглядит результат для пользователя в SERP, что определяет кликабельность (CTR).

Когда применяется

• При отображении результатов поиска: Алгоритм активируется для генерации описания каждого документа на странице результатов поиска (SERP).
• Вариативность: Патент описывает стандартный механизм (в Claims) и опциональный персонализированный механизм (в Description), который активируется при наличии User Model.

Пошаговый алгоритм

Процесс А: Стандартная генерация сниппета (Claims 1-3)

1. Инициализация: Система получает поисковый запрос и набор релевантных документов.
2. Определение набора фраз: Идентифицируются фразы запроса (Qp), связанные фразы (Qr) и расширения фраз (Qe).
3. Обработка документа (для каждого документа):
   1. Разбивка на предложения: Документ разделяется на отдельные предложения.
   2. Подсчет вхождений в предложениях: Для каждого предложения рассчитываются три метрики:
      • Count 1: Количество вхождений Qp.
      • Count 2: Количество вхождений Qr.
      • Count 3: Количество вхождений Qe.
   3. Ранжирование предложений: Предложения сортируются по убыванию с использованием многоуровневой сортировки:
      • Первичный ключ: Count 1.
      • Вторичный ключ: Count 2.
      • Третичный ключ: Count 3.
   4. Выбор лучших предложений: Выбирается N (например, 5) предложений с наивысшим рейтингом.
   5. Формирование описания: Выбранные предложения объединяются (конкатенируются).
4. Вывод результата: SERP со сгенерированными сниппетами предоставляется пользователю.

Процесс Б: Персонализированная генерация сниппета (Description)

1. Инициализация и Определение фраз: Аналогично Процессу А.
2. Пересечение с моделью пользователя: Связанные фразы запроса (Qr) пересекаются с фразами в User Model (Ur).
3. Приоритизация фраз: Создается объединенный список фраз (Qu). Фразы, присутствующие в Ur, получают приоритет.
4. Ранжирование предложений (Персонализированное): Предложения документа ранжируются на основе количества вхождений фраз из Qu. Ключи сортировки смещаются, отдавая приоритет фразам из Ur.
5. Выбор и формирование описания: Аналогично Процессу А.

Какие данные и как использует

Данные на входе

Система использует данные, сгенерированные на этапе индексирования, и данные, получаемые в реальном времени.

• Контентные факторы:
  • Текст документа, разделенный на предложения.
  • Текст поискового запроса.
• Системные данные (Phrase Data):
  • Good Phrase List: Список значимых фраз в корпусе.
  • Related Phrases: Предварительно рассчитанные связи на основе Information Gain.
  • Phrase Extensions: Предварительно идентифицированные расширения фраз.
• Пользовательские факторы (Опционально):
  • User Model: История фраз из ранее посещенных пользователем документов.

Какие метрики используются и как они считаются

Ключевые метрики для генерации сниппета (рассчитываются в реальном времени):

• Count 1 (Query Phrases): Суммирование количества вхождений Qp в предложении.
• Count 2 (Related Phrases): Суммирование количества вхождений Qr в предложении.
• Count 3 (Phrase Extensions): Суммирование количества вхождений Qe в предложении.

Метрики, используемые для подготовки данных (на этапе индексирования):

• Expected Co-occurrence Rate (E(j,k)): Ожидаемая частота совместной встречаемости двух фраз.
• Actual Co-occurrence Rate (A(j,k)): Фактическая частота совместной встречаемости двух фраз.
• Information Gain (I(j,k)): Метрика предиктивной связи. $I(j,k)=A(j,k)/E(j,k)$. Используется для определения Related Phrases.

Методы сортировки: Используется многоуровневая сортировка (Multi-key Sort) для ранжирования предложений на основе Count 1, Count 2 и Count 3 в строгом порядке приоритета.

1. Сниппеты основаны на релевантности предложений: Google не просто извлекает текст вокруг первого вхождения ключевого слова. Система анализирует весь документ и ранжирует каждое предложение по его релевантности конкретному запросу.
2. Многофакторная оценка релевантности предложения: Релевантность предложения определяется тремя компонентами: наличием самой фразы запроса (Qp), семантически связанных фраз (Qr) и расширений фразы (Qe).
3. Четкая иерархия приоритетов (Ключи сортировки): Патент (Claim 3) определяет строгий приоритет. Наибольший вес имеет Qp (Первичный ключ), затем Qr (Вторичный ключ), и в последнюю очередь – Qe (Третичный ключ).
4. Семантика через статистику (Information Gain): Связь между фразами (Related Phrases) определяется статистически через Information Gain, что указывает на data-driven подход к пониманию семантической близости.
5. Влияние на структуру контента: Для того чтобы предложение попало в сниппет, оно должно быть насыщено как целевыми ключевыми словами, так и связанными концепциями в рамках одного предложения.
6. Персонализация сниппетов: Патент предусматривает механизм персонализации, при котором предложения, содержащие фразы из User Model, получают приоритет, делая сниппет более релевантным интересам конкретного пользователя.

Best practices (это мы делаем)

• Создание семантически насыщенных предложений: Формулируйте ключевые предложения (например, в начале абзацев, в выводах, в определениях) так, чтобы они включали как основную целевую фразу (Qp), так и несколько семантически связанных концепций (Qr). Это увеличивает шансы предложения быть выбранным для сниппета согласно первичному и вторичному ключам сортировки.
• Исследование и интеграция Related Phrases: Необходимо понимать, какие фразы Google может считать связанными с вашими целевыми запросами (используя анализ семантического ядра, анализ сущностей). Интеграция этих фраз в контент повышает его семантическую глубину и улучшает потенциал для генерации качественных сниппетов.
• Использование расширений фраз (Phrase Extensions): Включайте в текст полные, развернутые формулировки ключевых концепций. Если целевой запрос — "SEO аудит", используйте также "SEO аудит сайта под ключ" в ключевых предложениях. Это задействует третичный ключ сортировки (Qe).
• Оптимизация структуры документа: Убедитесь, что документ легко парсится на предложения. Используйте четкую структуру и избегайте разрыва ключевых идей на несколько коротких, неполных предложений.
• Анализ текущих сниппетов: Изучайте, какие предложения Google выбирает для ваших страниц и страниц конкурентов. Это поможет понять, какие паттерны контента система предпочитает для конкретных запросов.

Worst practices (это делать не надо)

• Keyword Stuffing без семантики: Многократное повторение только целевой фразы (высокий Count 1) может быть менее эффективным, чем умеренное использование целевой фразы в сочетании с несколькими связанными фразами (средний Count 1 + высокий Count 2).
• Игнорирование связанных концепций: Создание контента, который фокусируется исключительно на прямом вхождении ключевого слова и игнорирует связанные темы и фразы (Related Phrases), приведет к генерации менее информативных сниппетов.
• Изоляция концепций по разным предложениям: Разделение основной темы (Qp) и связанных концепций (Qr) по разным предложениям. Алгоритм предпочитает предложения, где эти элементы встречаются вместе.
• Полная зависимость от Meta Description: Полагаться только на заполненный тег Meta Description рискованно, так как описанный механизм динамически генерирует сниппеты на основе контента страницы, если он лучше соответствует запросу.

Стратегическое значение

Этот патент подтверждает стратегическую важность семантической оптимизации контента. Для Google важно не просто наличие ключевых слов, но и контекст, в котором они используются, определяемый наличием связанных фраз. Это влияет не только на ранжирование (как описано в смежных патентах этого семейства), но и критически важно для представления документа в выдаче (CTR). Стратегия должна быть направлена на создание контента, который демонстрирует глубокое понимание темы, используя богатый набор связанных концепций.

Практические примеры

Сценарий: Оптимизация сниппета для статьи о породе собак "Австралийская овчарка".

Целевой запрос (Qp): "Австралийская овчарка"

Предполагаемые связанные фразы (Qr): "блю мерль" (blue merle), "ред мерль" (red merle), "аусси" (aussie), "пастушья собака" (herding dog).

Предполагаемые расширения (Qe): "Австралийская овчарка стандарт породы".

Анализ предложений в документе:

Предложение А: "Австралийская овчарка – это порода собак."
Score: Qp=1, Qr=0, Qe=0.

Предложение Б: "Многие любят породу Австралийская овчарка, также известную как аусси."
Score: Qp=1, Qr=1, Qe=0.

Предложение В (Оптимизированное): "Австралийская овчарка (аусси) – это энергичная пастушья собака, часто имеющая окрас блю мерль или ред мерль."
Score: Qp=1, Qr=4, Qe=0.

Результат: Предложение В имеет наивысший совокупный рейтинг. При равном Qp (первичный ключ), оно выигрывает за счет более высокого Qr (вторичный ключ). Оно с наибольшей вероятностью будет выбрано системой для генерации сниппета.