Как Google находит, извлекает и объединяет отзывы о товарах из интернета для создания агрегированных рейтингов и выявления частых фраз

Термины и определения

Aggregated Review (Агрегированный отзыв)

Сводная информация о продукте, сгенерированная на основе множества индивидуальных отзывов. Включает средний рейтинг, общее количество отзывов, распределение рейтингов и frequently appearing phrases.

Clustering (Кластеризация)

Процесс идентификации отзывов об одном продукте, даже если они получены из разных источников и используют разные названия. Отзывы об одном продукте формируют Cluster.

ClusterID

Уникальный идентификатор кластера (т.е., идентификатор продукта в базе отзывов).

Frequently Appearing Phrases (Часто встречающиеся фразы)

Фразы (униграммы, биграммы, триграммы), которые часто встречаются в отзывах о конкретном продукте. Рассчитываются на основе взвешенного количества вхождений (weighted occurrences) и длины фразы. Отображаются пользователю как предлагаемые поисковые запросы (server-suggested search terms).

Link Parser (Парсер ссылок)

Компонент, который определяет, какие ссылки на скачанной странице следует добавить в очередь на сканирование. Используется для селективного сканирования, анализируя URL и анкорный текст.

Product (Продукт)

Любой товар, услуга или их комбинация (потребительские товары, фильмы, книги, рестораны, отели и т.д.).

QualityScore (Оценка качества отзыва)

Метрика качества индивидуального отзыва, определяемая на основе его длины и энтропии слов (word entropy), которая измеряет разнообразие используемых терминов.

Review Extraction Module (Модуль извлечения отзывов)

Система для извлечения структурированных данных (текст, рейтинг, автор, идентификаторы продукта) из скачанных страниц. Включает Review parser.

Selective Crawling (Селективное сканирование)

Метод сканирования, при котором краулер следует только по выбранным ссылкам на странице (которые потенциально ведут к страницам с отзывами), а не по всем ссылкам.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод сбора и агрегации отзывов.

1. Система собирает информацию, содержащую отзывы о множестве продуктов (отзыв определяется как критическая, субъективная оценка человека в электронной форме).
2. Автоматически извлекает отзывы из собранной информации.
3. Идентифицирует конкретный продукт, связанный с извлеченным отзывом.
4. Генерирует агрегированную информацию для каждого продукта.
5. Сохраняет извлеченные отзывы и агрегированную информацию.
6. Получает запрос от клиента на агрегированный отзыв и отправляет его в ответ.

Критически важная деталь: Агрегированный отзыв включает список предлагаемых сервером поисковых терминов (server-suggested search terms), которые автоматически выбираются из отзывов о продукте в соответствии с их взвешенными вхождениями (weighted occurrences).

Claim 18 (Независимый пункт): Аналогичен Claim 1, но фокусируется на автоматической генерации frequently appearing phrases как части агрегированной информации.

Зависимые пункты (Claims 2, 5-8): Детализируют процесс сбора информации.

Сбор может включать selective crawling (Claim 2). Источниками могут быть веб-страницы сайтов с отзывами, сайтов о продуктах или сообщения на форумах (Claims 5-8).

Зависимые пункты (Claims 9-13): Детализируют процесс идентификации продукта (кластеризации).

Идентификация может происходить путем связывания уникального номера (например, номера модели или ISBN) в отзыве с продуктом (Claims 9-11). Или путем связывания комбинации бренда и номера модели (Claim 12), или комбинации бренда, номера модели и категории продукта (Claim 13) в отзыве с продуктом.

Где и как применяется

Изобретение описывает полноценную систему для работы с отзывами, затрагивающую несколько этапов поисковой архитектуры.

CRAWLING – Сканирование и Сбор данных
Основное применение. Система использует Crawling Module для сбора данных. Ключевая особенность — Selective Crawling. Link parser анализирует скачанные страницы и определяет, какие ссылки могут вести к отзывам (на основе паттернов в URL или анкорном тексте), и только эти ссылки добавляются в URL queue. Это повышает эффективность сбора релевантных данных.

INDEXING – Индексирование и извлечение признаков
Критически важный этап обработки.

• Извлечение (Extraction): Review Extraction Module обрабатывает скачанные страницы, извлекая структурированные данные: текст отзыва, рейтинг, автора, а также идентификаторы продукта (бренд, модель).
• Кластеризация (Clustering): Review Aggregating Module определяет, к какому продукту относится отзыв. Используются извлеченные идентификаторы (Бренд, Модель, Категория) или глобальные идентификаторы (ISBN). Отзывы об одном продукте группируются и получают ClusterID.
• Агрегация: Вычисляется сводная информация для кластера (Aggregated Review): средний рейтинг, распределение оценок.
• Извлечение признаков (Feature Extraction): Вычисляются frequently appearing phrases для кластера и QualityScore для индивидуальных отзывов.
• Индексирование: Reviews Indexer создает Reviews Index, который позволяет искать отзывы по терминам, ClusterID или автору.

RANKING / RERANKING – Ранжирование / Переранжирование
Применяется при поиске внутри отзывов. Когда пользователь ищет отзывы (либо все, либо в рамках одного продукта), Review Search Module использует Reviews Index для поиска. Результаты могут быть отсортированы (Reviews sorter) по релевантности запросу, дате или качеству отзыва (QualityScore).

Входные данные (Backend):

• Стартовые URL для сканирования (Seed URLs).
• Веб-страницы и посты на форумах, загруженные краулером.
• Списки известных брендов и категорий продуктов (для помощи в кластеризации).

Выходные данные (Backend -> Frontend):

• Reviews Database (индивидуальные и агрегированные отзывы).
• Reviews Index.
• Product-to-Review Map (связь продуктов с ClusterID).

На что влияет

• Конкретные типы контента и ниши: В первую очередь влияет на E-commerce, локальный бизнес (рестораны, отели) и медиа (книги, фильмы). Источниками данных являются сайты-отзовики, интернет-магазины и форумы.
• Форматы выдачи: Влияет на отображение отзывов и рейтингов в Google Shopping, Google Maps (Local Search) и Rich Snippets в органическом поиске.

Когда применяется

• Сканирование и Индексирование (Backend): Происходит постоянно в фоновом режиме для обновления базы отзывов.
• Обработка запроса (Frontend): Активируется в реальном времени, когда пользователь запрашивает информацию о продукте или когда выполняет поиск внутри отзывов на странице агрегированных отзывов.

Пошаговый алгоритм

Процесс А: Сбор и обработка данных (Backend)

1. Инициализация сканирования: Модуль сканирования получает стартовые URL.
2. Селективное сканирование:
   1. Краулер загружает страницу.
   2. Парсер ссылок (Link Parser) анализирует ссылки на странице.
   3. Если URL или анкорный текст ссылки соответствует предопределенным паттернам, указывающим на отзывы, ссылка добавляется в очередь сканирования.
3. Извлечение отзывов: Модуль извлечения обрабатывает загруженные страницы. Парсер отзывов извлекает текст, автора, дату, рейтинг, а также идентификаторы продукта.
4. Идентификация продукта и Кластеризация:
   1. Система пытается идентифицировать продукт по глобальному идентификатору (например, ISBN).
   2. Если идентификатор отсутствует, система извлекает/определяет бренд, модель и категорию из названия, текста или URL отзыва.
   3. Отзывы кластеризуются: два отзыва относятся к одному продукту (Cluster), если у них совпадает бренд и есть пересечение по номерам моделей и категориям.
   4. Каждому отзыву присваивается ClusterID.
5. Расчет метрик качества: Для каждого отзыва рассчитывается QualityScore на основе длины и энтропии слов.
6. Агрегация данных: Для каждого кластера (продукта):
   1. Вычисляется средний рейтинг (возможно, с взвешиванием по источнику).
   2. Определяется распределение рейтингов.
   3. Вычисляются frequently appearing phrases (см. Процесс Б).
7. Индексирование: Данные сохраняются в базе данных и индексируются.

Процесс Б: Вычисление Frequently Appearing Phrases (Backend)

1. Извлечение фраз: Из всех отзывов о продукте извлекаются фразы (до триграмм), не пересекающие границы предложений.
2. Фильтрация: Игнорируются стоп-слова и слова из названия продукта.
3. Взвешивание: Подсчитывается количество взвешенных вхождений. Вхождения в заголовке или сводке отзыва получают больший вес.
4. Скоринг: Каждой фразе присваивается оценка по формуле: Длина фразы * Квадратный корень из суммы взвешенных вхождений.
5. Выбор: Выбирается предопределенное количество фраз (например, Топ-10) с наивысшими оценками, которые не перекрывают друг друга.

Процесс В: Обработка запроса пользователя (Frontend)

1. Получение запроса: Фронтенд-сервер получает запрос на агрегированный отзыв или поиск внутри отзывов.
2. Поиск информации: Система использует Product-to-Review Map для поиска ClusterID и обращается к индексу отзывов. При поиске внутри отзывов поиск ограничивается нужным ClusterID.
3. Сортировка и форматирование: Модуль представления сортирует отзывы (по релевантности, дате, качеству) и форматирует результаты.
4. Отправка ответа: Сформированная страница отправляется пользователю.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст отзыва (Content), заголовок отзыва (Title), резюме отзыва (Summary). Заголовки и резюме имеют больший вес при расчете частотных фраз. Название продукта используется для кластеризации.
• Технические факторы: URL страницы с отзывом используется для идентификации источника (Publisher) и может использоваться для определения бренда. URL и анкорный текст ссылок используются для принятия решений при селективном сканировании.
• Временные факторы: Дата отзыва (Date) используется для сортировки.
• Структурные факторы (Идентификаторы продукта): Бренд (Brand name), Номер модели (Model number), Категория продукта (Product category), ISBN. Извлекаются из контента или структуры страницы и критически важны для кластеризации.
• Пользовательские факторы (Данные об авторах): Автор отзыва (Author) и тип отзыва (Review Type: editorial или user) извлекаются и используются для классификации.
• Рейтинги: Оценка продукта рецензентом (Rating) извлекается и нормализуется.

Какие метрики используются и как они считаются

• Average Rating (Средний рейтинг): Среднее значение нормализованных рейтингов. Может быть взвешенным. Формула для взвешенного среднего: $\text{Average Rating} = \frac{\sum a_i \cdot \text{rating}_i}{\sum a_i}$, где $a_i$ — вес отзыва i. Веса могут зависеть от источника или предпочтений пользователя.
• QualityScore (Оценка качества отзыва): Метрика для ранжирования отзывов, основанная на длине отзыва (Review-Length) и энтропии слов (Review-per-word-entropy). В одном из вариантов сортировки по релевантности (качеству) используется формула: $\text{Review-per-word-entropy} \times \sqrt{\text{Review-Length}}$.
• Score for Frequently Appearing Phrases (Оценка для часто встречающихся фраз): Метрика для выбора ключевых фраз о продукте. Вхождения в заголовке или резюме отзыва получают больший вес. Формула расчета оценки: $\text{Length of the phrase} \times \sqrt{\text{Sum of weighted occurrences}}$. Выбирается Топ-N непересекающихся фраз с наивысшей оценкой.

1. Селективное сканирование для специализированных задач: Google использует не только общий краулинг, но и специализированные методы (Selective Crawling) для сбора конкретных типов данных (отзывов). Система целенаправленно ищет отзывы, анализируя паттерны URL и анкорный текст, оптимизируя ресурсы.
2. Автоматическая кластеризация отзывов критична: Ключевой элемент системы — способность автоматически связывать отзывы из разных источников с одним и тем же продуктом (Clustering). Это основа для создания агрегированных рейтингов и Rich Snippets.
3. Методы кластеризации при отсутствии глобальных идентификаторов: Если глобальные идентификаторы (ISBN, GTIN) отсутствуют, система полагается на извлечение и сопоставление триады: Бренд + Номер модели + Категория. Точность этой информации в контенте критически важна для SEO.
4. Извлечение ключевых тем из отзывов (Frequent Phrases): Патент описывает конкретный механизм для определения того, что чаще всего обсуждается в отзывах о продукте. Система вычисляет frequently appearing phrases, используя взвешенную формулу, отдавая предпочтение вхождениям в заголовках.
5. Оценка качества индивидуальных отзывов (QualityScore): Система оценивает качество отзывов на основе объективных метрик: длины и энтропии слов (разнообразия лексики). Это указывает на стремление системы отдавать предпочтение подробным и информативным отзывам.

Best practices (это мы делаем)

• Обеспечение чистоты и доступности идентификаторов продукта: Критически важно для корректной кластеризации. Убедитесь, что Бренд, Номер модели (MPN) и Категория продукта четко указаны на странице товара и в микроразметке (Product). Всегда используйте глобальные идентификаторы (GTIN, ISBN), если они доступны.
• Структурирование страниц для облегчения извлечения отзывов: Используйте семантическую верстку и микроразметку (Review, AggregateRating) для явного указания текста отзыва, рейтинга, автора и даты. Это помогает Review Extraction Module корректно извлечь данные и снижает вероятность ошибок парсинга.
• Стимулирование качественных и развернутых отзывов: Так как QualityScore учитывает длину и разнообразие лексики (энтропию), следует поощрять пользователей оставлять подробные, информативные отзывы. Отзывы с большей длиной и высокой энтропией считаются более качественными.
• Использование информативных заголовков для отзывов: Если на вашем сайте пользователи могут давать заголовок своему отзыву, это следует использовать. Вхождения ключевых фраз в заголовках имеют больший вес при расчете frequently appearing phrases.
• Оптимизация под "частотные фразы": Анализируйте, какие характеристики и фразы часто встречаются в отзывах о ваших товарах. Убедитесь, что эти аспекты освещены в вашем основном контенте, так как Google может использовать их для понимания ключевых характеристик продукта (Product Aspects).

Worst practices (это делать не надо)

• Скрытие отзывов или идентификаторов продукта с помощью скриптов: Если контент сложно извлечь во время сканирования и рендеринга, система не сможет его обработать. Это препятствует работе Crawling Module и Review Extraction Module.
• Неоднозначные названия продуктов и отсутствие номеров моделей: Использование запутанных названий без четкого указания бренда и модели затрудняет кластеризацию. Система может не связать отзыв с продуктом или создать дубликат продукта в своей базе.
• Генерация фейковых или шаблонных отзывов: Отзывы с низкой энтропией слов (одинаковые слова, шаблонные фразы) получат низкий QualityScore и будут иметь меньший вес или игнорироваться.
• Непоследовательное наименование продуктов: Использование разных названий или номеров моделей для одного и того же продукта на разных страницах или в разных фидах нарушает процесс кластеризации.

Стратегическое значение

Этот патент подтверждает стратегическую важность отзывов как источника данных о продуктах для Google. Система, описанная в патенте, лежит в основе функционала Google Shopping, Local Search и Rich Snippets в органическом поиске. Для SEO-стратегии это означает, что работа с отзывами является критически важным элементом для обеспечения видимости продукта в поиске. Корректная техническая имплементация данных о продуктах и отзывах на сайте напрямую влияет на то, как Google сможет их собрать, агрегировать и использовать.

Практические примеры

Сценарий 1: Оптимизация кластеризации для интернет-магазина

• Проблема: Магазин продает сканер "Canon CanoScan LiDE 30 Color Scanner". Отзывы о нем не появляются в Rich Snippets или агрегируются некорректно.
• Анализ по патенту: Система кластеризации требует точного совпадения бренда и пересечения по модели и категории. Возможно, информация на сайте неоднозначна.
• Действия:
  1. Проверить, что на странице товара и в микроразметке Product четко указаны: Brand="Canon", Model/MPN="LiDE 30" (и альтернативный код "7890A002", упомянутый в патенте).
  2. Убедиться, что категория ("Scanner") явно указана в хлебных крошках и разметке.
  3. Проверить, что в заголовке страницы (Title) и H1 присутствует консистентное наименование, включающее ключевые идентификаторы.
• Ожидаемый результат: Review Aggregating Module сможет корректно извлечь идентификаторы и связать отзывы на сайте с глобальным кластером этого продукта в базе Google.

Сценарий 2: Улучшение качества отображаемых отзывов

• Проблема: При отображении отзывов о товаре в системах Google в первую очередь показываются короткие, малоинформативные отзывы.
• Анализ по патенту: Система использует QualityScore (длина * энтропия) для сортировки отзывов по релевантности/качеству.
• Действия:
  1. Внедрить систему мотивации для покупателей оставлять развернутые отзывы (например, бонусы за отзывы с описанием опыта использования и упоминанием конкретных характеристик).
  2. Добавить возможность для пользователей указывать информативный заголовок отзыва.
• Ожидаемый результат: Новые отзывы получат более высокий QualityScore, что повысит вероятность их отображения в приоритетном порядке в агрегированных результатах.