Как Google алгоритмически выбирает наиболее информативные фрагменты из отзывов для создания сниппетов

Термины и определения

Combination (Комбинация)

Набор из одного или нескольких последовательных (consecutive) разделов отзыва, рассматриваемый как кандидат для сниппета.

Inverse Document Frequency (IDF, Обратная частота документа)

Метрика для оценки информативности или «ценности» слова. Слова с высоким IDF (редко встречающиеся в корпусе) считаются более ценными. Используется для расчета Word Value Sub-score. Патент отмечает, что таблицы IDF могут рассчитываться отдельно для разных типов субъектов (например, товары и услуги).

Maximum Snippet Length (Максимальная длина сниппета)

Предопределенное ограничение (в словах или символах) на длину генерируемого сниппета.

Partition (Раздел)

Часть отзыва, полученная в результате его разделения. В основном это предложения (sentences).

Quality Score (Оценка качества раздела)

Числовая оценка, присваиваемая каждому разделу (предложению). Рассчитывается как взвешенная сумма субоценок по факторам: длина, ценность слов, позиция.

Word Value Sub-score (Субоценка ценности слов)

Часть Quality Score, рассчитываемая на основе суммы произведений частоты слова (TF) на его IDF (TF-IDF) для всех слов в разделе.

Ключевые утверждения (Анализ Claims)

Патент фокусируется исключительно на процессе генерации сниппета из одного конкретного отзыва.

Claim 1 (Независимый пункт): Описывает основной метод генерации сниппета.

1. Идентификация одного отзыва (single review).
2. Разделение отзыва на разделы (partitions).
3. Выбор нескольких разделов. Этот шаг включает:
   • Идентификацию двух или более комбинаций разделов.
   • Определение оценки качества (quality score) для каждой комбинации.
   • Выбор комбинации с наивысшей оценкой качества.
4. Генерация сниппета исключительно для этого отзыва.

Claim 3 (Зависимый от 2, который зависит от 1): Уточняет факторы для расчета Quality Score раздела.

Оценка качества для каждого раздела определяется на основе его длины (length) И как минимум одного из следующих факторов: значений IDF, связанных со словами в разделе, ИЛИ позиции (position) раздела внутри отзыва.

Claim 6 (Независимый пункт): Добавляет ключевые ограничения на структуру комбинаций.

Процесс выбора разделов включает идентификацию комбинаций, где каждая комбинация состоит из разделов, которые являются последовательными (consecutive) в отзыве и удовлетворяют предопределенным критериям длины (predefined length criteria).

Claim 7 (Зависимый от 6): Детализирует выбор лучшей комбинации.

Выбор основывается на определении Quality Score для каждого раздела в комбинации и выборе комбинации с наивысшим показателем (combination score), который базируется на этих оценках.

Где и как применяется

Изобретение применяется на финальных этапах обработки запроса, когда система формирует представление данных для пользователя.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка данных. Система анализирует корпус отзывов для вычисления таблиц Inverse Document Frequency (IDF). Эти таблицы могут быть специфичными для типа субъекта отзыва.

METASEARCH – Метапоиск и Смешивание / RERANKING – Переранжирование (Презентационный слой)
Это основной этап применения патента. После того как система определила, какие отзывы должны быть показаны пользователю, данный алгоритм активируется для определения того, как эти отзывы будут показаны, т.е. для генерации сниппетов.

• Входные данные: Текст конкретного отзыва; таблица значений IDF; параметры конфигурации (веса факторов, Maximum Snippet Length).
• Выходные данные: Сниппет (фрагмент текста) для этого отзыва.

На что влияет

• Конкретные типы контента: Влияет на отображение пользовательского контента (UGC), такого как отзывы о товарах (E-commerce) и компаниях (Local Search).
• Специфические запросы: Влияет на запросы, которые вызывают отображение сводок отзывов (например, запросы с интентом исследования или выбора).
• Форматы контента: Влияет на текстовые отзывы. Патент также упоминает возможность адаптации для аудио и видео отзывов путем преобразования речи в текст (speech-to-text conversion).

Когда применяется

Алгоритм применяется в момент, когда системе необходимо сгенерировать сниппет для отображения отзыва пользователю, вместо показа полного текста.

Пошаговый алгоритм

Процесс генерации сниппета для одного отзыва:

1. Идентификация отзыва: Система получает текст отзыва.
2. Партиционирование: Текст делится на разделы (предложения) на основе знаков препинания.
3. Оценка качества разделов: Для каждого предложения рассчитывается Quality Score. Это взвешенная сумма субоценок:
   1. Длина: Оценка, основанная на отклонении длины предложения от предопределенной "оптимальной". Слишком короткие и слишком длинные предложения штрафуются.
   2. Ценность слов (Word Value): Рассчитывается по формуле TF-IDF. $WV_P = \sum_{w \in P} f_{w,P} \cdot \log IDF_w$ (где P - предложение, w - слово, f - частота слова). Это повышает оценку предложений с конкретными и информативными словами.
   3. Позиция: Оценка, основанная на расположении предложения в отзыве. Начальные предложения могут получать бонус.
4. Комбинирование субоценок: Субоценки объединяются для получения итогового Quality Score предложения. $Q = \sum_{j=1}^{F} \text{weight}_j \cdot q_j$.
5. Идентификация комбинаций: Система перебирает все возможные комбинации последовательных предложений. Для каждой комбинации проверяется ее длина относительно Maximum Snippet Length. Комбинация формируется до достижения или превышения лимита.
6. Оценка комбинаций: Для каждой валидной комбинации рассчитывается совокупная оценка качества (например, сумма Quality Scores входящих в нее предложений).
7. Выбор лучшей комбинации: Выбирается комбинация с максимальной совокупной оценкой.
8. Генерация сниппета: Выбранная комбинация используется для формирования сниппета. Если ее длина превышает лимит, она обрезается (truncation). Патент предусматривает удаление последнего предложения, если после обрезки от него остается всего несколько слов.

Какие данные и как использует

Данные на входе

• Контентные факторы: Основные данные — это текст самого отзыва. Система анализирует слова (лексику), используемые в тексте, для расчета частоты (TF) и ценности (IDF).
• Структурные факторы: Система использует знаки препинания для определения границ предложений (partitions). Также учитывается последовательность и позиция предложений в тексте.
• Технические факторы: Длина текста (в словах или символах) используется для оценки длины предложений и соблюдения ограничений длины сниппета.

Какие метрики используются и как они считаются

Система вычисляет несколько ключевых метрик для оценки текста:

• TF-IDF (Term Frequency-Inverse Document Frequency): Используется для расчета Word Value Sub-score (формула приведена выше). Подчеркивает информативность слов.
• Sentence Length (Длина предложения): Измеряется в словах или символах. Используется для сравнения с "оптимальной" длиной.
• Position (Позиция): Порядковый номер предложения в отзыве.
• Partition Quality Score (Оценка качества раздела): Взвешенная сумма субоценок (длина, TF-IDF, позиция) (формула приведена выше).
• Combination Score (Оценка комбинации): Сумма Quality Scores предложений, входящих в комбинацию.

1. Информативность (IDF) как ключевой критерий качества: Основной вывод — Google алгоритмически определяет наиболее информативные части текста для сниппета. Информативность измеряется с помощью IDF. Предложения, содержащие специфичные, редкие термины, имеют приоритет над общими фразами.
2. Оптимизация сниппетов по качеству, а не только по позиции: Система не просто берет начало отзыва. Она активно ищет наиболее качественный фрагмент в любом месте текста, хотя позиция в начале и дает небольшой бонус (Position Score).
3. Структура и читаемость имеют значение: Алгоритм учитывает длину предложений, предпочитая оптимальную длину. Это улучшает читаемость сниппета.
4. Контекстная целостность: Требование выбирать только последовательные предложения гарантирует, что сниппет сохраняет логическую связность и контекст.
5. Контекстная специфичность оценки: Система может использовать разные таблицы IDF для разных категорий отзывов (товары, услуги), признавая, что ценность слов зависит от контекста.

Best practices (это мы делаем)

Поскольку SEO-специалисты часто не контролируют содержание пользовательских отзывов (UGC), применение фокусируется на стратегиях ORM и стимулировании качественного контента.

• Стимулирование использования конкретной лексики (High IDF): Мотивируйте клиентов упоминать в отзывах конкретные детали, характеристики, названия моделей или услуг. Такие термины обычно имеют более высокий IDF и увеличивают Word Value Sub-score, повышая вероятность выбора этого фрагмента для сниппета.
• Поощрение написания структурированных отзывов: Поощряйте пользователей писать четкие отзывы с использованием знаков препинания. Это помогает системе корректно разделить текст на предложения (partitions) и оценить их длину и качество.
• Анализ отображаемых сниппетов (Snippet Analysis): Регулярно анализируйте, какие сниппеты Google выбирает для отзывов о вашем бизнесе (например, в Local Pack). Определяйте термины, которые система считает важными (высокий IDF). Это дает понимание того, какие аспекты вашего продукта или услуги наиболее заметны.
• Размещение важной информации в начале (для редакционных обзоров): Если вы публикуете редакционные обзоры на своем сайте, размещайте ключевые выводы в начале текста, так как фактор "позиция в отзыве" дает преимущество началу текста.

Worst practices (это делать не надо)

• Генерация шаблонных отзывов из общих фраз: Отзывы типа "Все супер. Рекомендую." имеют низкую информационную ценность из-за использования слов с низким IDF. Они вряд ли сформируют качественный сниппет.
• Игнорирование качества и структуры UGC: Разрешение публикации отзывов без знаков препинания или сплошным текстом. Это затрудняет парсинг на предложения и снижает оценку качества.
• Поощрение экстремально коротких или длинных отзывов: Система штрафует предложения, которые сильно отклоняются от оптимальной длины.
• Попытки "накрутки" ключевых слов в отзывах: Искусственное внедрение частотных ключевых слов неэффективно. Система использует IDF, который понижает ценность часто встречающихся слов. Фокус должен быть на специфичности.

Стратегическое значение

Патент подчеркивает стремление Google извлекать и демонстрировать наиболее полезную информацию даже из неструктурированного UGC. Для SEO и ORM это означает, что качество, структура и информативность отзывов напрямую влияют на то, как бренд представлен в поисковой выдаче (SERP, Maps, Shopping). Алгоритмический выбор сниппетов на основе IDF и структуры подчеркивает важность аутентичного, детализированного языка для привлечения внимания пользователей и повышения CTR.

Практические примеры

Сценарий: Выбор сниппета для отзыва о наушниках

Текст отзыва:
"Купил эти наушники на прошлой неделе. Доставка была вовремя. В целом, они неплохие. Однако, функция активного шумоподавления (ANC) работает слишком агрессивно в офисном окружении, создавая неприятное давление. Батарея держит около 25 часов с включенным ANC. Качество звука отличное."

Анализ системы:

1. Партиционирование: Текст делится на 6 предложений.
2. Оценка (предполагаемая):
   • Предложения 1, 2, 3 ("Купил...", "Доставка...", "В целом...") получают низкие оценки Word Value из-за общих слов (низкий IDF).
   • Предложение 4 ("Однако, функция активного шумоподавления (ANC)...") получает высокую оценку: оптимальная длина, высокий IDF у слов "активного шумоподавления", "ANC", "агрессивно", "давление".
   • Предложение 5 ("Батарея держит...") получает хорошую оценку: конкретные данные (25 часов), высокий IDF у "Батарея", "ANC".
3. Выбор комбинации: Комбинация предложений 4+5, вероятно, будет иметь наивысшую совокупную оценку качества и уложится в Maximum Snippet Length.
4. Результат (Сниппет): "Однако, функция активного шумоподавления (ANC) работает слишком агрессивно в офисном окружении, создавая неприятное давление. Батарея держит около 25 часов с включенным ANC..."