Как Google собирает, агрегирует и позволяет искать внутри отзывов о конкретном продукте или услуге

Описание

Какую задачу решает

Патент решает проблему неэффективного поиска информации о продуктах и услугах в интернете. Пользователям сложно найти и проанализировать разрозненные отзывы, а также получить целостное представление о мнениях о конкретном продукте. Существующие на момент подачи заявки системы агрегации отзывов были ограничены в охвате и не предоставляли эффективных инструментов для навигации и поиска внутри собранных отзывов.

Что запатентовано

Запатентована система и графический интерфейс (GUI) для сбора, автоматической агрегации и предоставления отзывов о продуктах. Система собирает отзывы из множества источников, кластеризует их по конкретным продуктам и генерирует сводную информацию (рейтинги, частотные фразы). Ключевым элементом изобретения является интерфейс, который отображает агрегированные отзывы и предоставляет поле поиска (search input area) specifically для поиска внутри отзывов, относящихся только к данному продукту.

Как это работает

Система работает в двух основных режимах: бэкенд и фронтенд.

• Бэкенд (Сбор и Агрегация): Специализированный краулер (Crawling Module) селективно сканирует сайты с отзывами. Модуль извлечения (Review Extraction Module) парсит страницы, извлекая текст отзыва, автора, дату и идентификаторы продукта (например, бренд, модель). Модуль агрегации (Review Aggregating Module) кластеризует отзывы, относящиеся к одному и тому же продукту (присваивая им ClusterID), и вычисляет сводные метрики (средний рейтинг, распределение оценок, частотные фразы).
• Фронтенд (Отображение и Поиск): Когда пользователь запрашивает отзывы о продукте, сервер предоставляет агрегированную страницу. Этот интерфейс включает сводные данные, фрагменты отзывов и поле для поиска. Если пользователь вводит запрос в это поле, система выполняет поиск (Search within reviews for a product), ограничивая его только отзывами с соответствующим ClusterID. Результаты могут быть отсортированы (по релевантности, дате) или сгруппированы (по источнику).

Актуальность для SEO

Высокая. Хотя патент подан в 2004 году, описанные в нем механизмы являются фундаментальными для современных сервисов Google, таких как Google Shopping и Google Maps (Local Search). Возможность поиска внутри отзывов о конкретном товаре или заведении, агрегация рейтингов и отображение частотных фраз активно используются и развиваются.

Важность для SEO

Влияние на SEO оценивается как среднее-высокое (65/100), особенно для E-commerce и локального бизнеса. Патент не описывает алгоритмы ранжирования в основном поиске, но детально раскрывает, как Google обрабатывает и представляет отзывы. Понимание механизмов сбора, кластеризации и извлечения частотных фраз критически важно для управления репутацией (ORM) и оптимизации карточек товаров или профилей компаний, поскольку отзывы напрямую влияют на конверсию и могут использоваться как сигналы доверия.

Детальный разбор

Термины и определения

Aggregated Review (Агрегированный отзыв)

Сводная информация о продукте, основанная на множестве индивидуальных отзывов. Включает такие данные, как общее количество отзывов, средний рейтинг, распределение оценок и частотные фразы. Также относится к интерфейсу, отображающему эту информацию.

Cluster и ClusterID (Кластер и Идентификатор кластера)

Cluster — это набор отзывов, относящихся к одному и тому же продукту. ClusterID — уникальный идентификатор, присваиваемый продукту и всем связанным с ним отзывам. Используется для ограничения поиска рамками одного продукта.

Crawling Module (Модуль сканирования)

Компонент бэкенд-сервера, отвечающий за сбор информации с веб-сайтов. Использует селективное сканирование (selective crawling), следуя только по ссылкам, которые потенциально ведут на страницы с отзывами.

Frequent Phrases (Частотные фразы)

Слова или фразы (униграммы, биграммы, триграммы), наиболее часто встречающиеся в отзывах о продукте. Вычисляются с учетом веса (фразы в заголовке или резюме имеют больший вес) и длины фразы. Используются как предлагаемые поисковые запросы.

GUI (Graphical User Interface, Графический интерфейс пользователя)

Интерфейс, отображаемый пользователю. В контексте патента — страница, содержащая агрегированные отзывы и инструменты для навигации по ним.

Review Aggregating Module (Модуль агрегации отзывов)

Компонент, который идентифицирует принадлежность отзывов к продуктам (кластеризация) и генерирует агрегированную информацию.

Review Extraction Module (Модуль извлечения отзывов)

Компонент, который парсит скачанные страницы и извлекает структурированные данные отзыва (текст, автор, дата, рейтинг, идентификаторы продукта).

Review Parser (Парсер отзывов)

Часть модуля извлечения, отвечающая за распознавание и извлечение контента отзыва и метаданных со страницы.

Search input area (Область ввода поискового запроса)

Поле поиска в GUI, предназначенное специально для поиска внутри отзывов о конкретном продукте.

Search within reviews for a product (Поиск внутри отзывов о продукте)

Функция поиска, которая ограничивает область поиска только отзывами, принадлежащими к определенному продукту (ClusterID).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод на стороне клиента.

1. Клиент отправляет запрос на агрегированный отзыв (aggregated review) о продукте.
2. Получает агрегированный отзыв.
3. Отображает его.
4. Ключевое условие: отображаемый агрегированный отзыв включает (i) фрагменты отзывов о продукте и (ii) область ввода поиска (search input area) для ввода терминов с целью поиска отзывов об этом продукте, содержащих эти термины.

Ядром изобретения является предоставление пользователю интерфейса, который сочетает обзор мнений о продукте с возможностью углубленного поиска исключительно в рамках этих мнений. Это не общий поиск по интернету, а контекстуально ограниченный поиск.

Claim 9 (Независимый пункт): Описывает метод на стороне сервера для обработки поиска.

1. Сервер получает поисковый запрос от клиента для поиска внутри множества отзывов о конкретном продукте.
2. Получает информацию, удовлетворяющую запросу.
3. Отправляет по крайней мере часть этой информации клиенту.
4. Ключевое условие: отправленная информация включает по крайней мере фрагменты отзывов о конкретном продукте, которые удовлетворяют поисковому запросу.

Этот пункт защищает серверную логику, которая реализует функцию поиска, ограниченного контекстом продукта. Система должна уметь изолировать отзывы о продукте (например, используя ClusterID) и выполнять поиск только по этому подмножеству документов.

Claim 15 (Независимый пункт): Описывает графический интерфейс пользователя (GUI).

GUI на компьютере, включающий:

1. Множество фрагментов отзывов о продукте.
2. Область ввода поиска (search input area) для ввода терминов с целью поиска отзывов об этом продукте, содержащих эти термины.

Этот пункт защищает конкретную реализацию пользовательского интерфейса, описанную в Claim 1, как самостоятельный продукт.

Claim 22 (Независимый пункт): Описывает GUI с функциями группировки.

GUI на компьютере, включающий:

1. Множество фрагментов отзывов о продукте.
2. По крайней мере одну первую пользовательскую ссылку для группировки фрагментов отзывов по источнику.
3. По крайней мере одну вторую пользовательскую ссылку для разгруппировки фрагментов отзывов, чтобы отображать их в выбранном порядке без группировки по источнику.

Этот пункт защищает функциональность UI, позволяющую пользователю переключаться между различными представлениями отзывов (сгруппированным по сайтам-источникам и плоским списком).

Где и как применяется

Изобретение охватывает полный цикл обработки отзывов, от сбора данных до их представления пользователю.

CRAWLING – Сканирование и Сбор данных

Применяется Crawling Module для селективного сканирования (selective crawling). Система не сканирует весь интернет, а фокусируется на сайтах с отзывами. Link parser определяет, какие ссылки на странице следует посетить, основываясь на шаблонах URL или анкорном тексте, чтобы найти страницы с отзывами.

INDEXING – Индексирование и извлечение признаков

Это ключевой этап обработки собранных данных.

• Извлечение (Extraction): Review Extraction Module и Review parser анализируют скачанные страницы для извлечения структурированных данных: текст отзыва, автор, дата, рейтинг, а также идентификаторы продукта (бренд, модель, ISBN).
• Кластеризация (Clustering): Review Aggregating Module определяет, относятся ли разные отзывы к одному и тому же продукту, используя извлеченные идентификаторы. Отзывам об одном продукте присваивается единый ClusterID.
• Агрегация (Aggregation): Для каждого ClusterID вычисляются сводные метрики: средний рейтинг (возможно, взвешенный по источникам), распределение оценок, Frequent Phrases.
• Индексирование (Indexing): Reviews Indexer создает индекс (Reviews Index), который связывает термины (слова) и ClusterID с соответствующими отзывами.

RANKING / METASEARCH (В контексте сервисов Google)

Хотя патент не описывает ранжирование в основном веб-поиске, он описывает ранжирование и представление результатов внутри специализированных сервисов (например, Google Shopping или Local Search).

• Поиск по всем отзывам (Search all reviews): Поиск продуктов по отзывам (например, «хорошая цифровая камера»).
• Поиск внутри отзывов (Search within reviews): Когда пользователь находится на странице продукта и ищет в его отзывах. Review Search Module использует Reviews Index, ограничивая запрос конкретным ClusterID.
• Сортировка и Представление: Presentation Module форматирует результаты, сортируя их по релевантности (используя IR-score, длину отзыва, энтропию слов), дате или группируя по источникам.

Входные данные:

• Скачанные веб-страницы с отзывами.
• Запрос пользователя на просмотр агрегированного отзыва.
• Поисковый запрос пользователя внутри отзывов о продукте.

Выходные данные:

• Структурированные данные индивидуальных отзывов (с ClusterID).
• Агрегированные данные о продукте (рейтинги, Frequent Phrases).
• Reviews Index.
• Отформатированный GUI с результатами поиска/просмотра отзывов.

На что влияет

• Конкретные типы контента: В первую очередь влияет на отзывы о продуктах (товары, фильмы, книги) и услугах (рестораны, отели).
• Специфические запросы: Влияет на запросы, связанные с выбором продукта или оценкой его характеристик.
• Конкретные ниши или тематики: Наибольшее влияние в E-commerce, локальном поиске, туризме, развлечениях.

Когда применяется

Алгоритмы сбора и индексирования работают постоянно в фоновом режиме.

Функции фронтенда активируются при следующих условиях:

• Когда пользователь запрашивает страницу с отзывами о конкретном продукте (например, переходя из результатов поиска товаров или карт).
• Когда пользователь вводит запрос в поле search input area на странице агрегированного отзыва.
• Когда пользователь взаимодействует с элементами интерфейса для фильтрации или сортировки: выбирает частотную фразу, нажимает на область гистограммы рейтингов (например, только негативные отзывы) или меняет способ сортировки/группировки.

Пошаговый алгоритм

Процесс А: Бэкенд (Сбор и Агрегация)

1. Инициализация сканирования: Определение стартовых URL для сайтов с отзывами.
2. Селективное сканирование: Краулер загружает страницы. Парсер ссылок анализирует страницу и добавляет в очередь только те ссылки, которые соответствуют шаблонам страниц с отзывами.
3. Извлечение отзывов: Парсер отзывов анализирует загруженные страницы. Извлекаются данные: текст, автор, дата, рейтинг, а также идентификаторы продукта (бренд, модель, категория). Создаются записи индивидуальных отзывов (Individual reviews).
4. Кластеризация продуктов: Модуль агрегации анализирует идентификаторы продукта в отзывах. Отзывы с совпадающими или совместимыми идентификаторами (например, одинаковый бренд и модель) группируются в кластер. Каждому кластеру присваивается ClusterID.
5. Генерация агрегированной информации: Для каждого кластера вычисляются:
   • Средний рейтинг (с нормализацией шкал и возможным взвешиванием по источникам).
   • Распределение оценок (гистограмма).
   • Frequent Phrases: подсчет взвешенных вхождений фраз (с большим весом для заголовков), игнорирование стоп-слов и названия продукта, ранжирование фраз по формуле (например, длина фразы * корень из суммы взвешенных вхождений).
6. Индексирование: Создание индекса отзывов, позволяющего искать по тексту и фильтровать по ClusterID.

Процесс Б: Фронтенд (Обработка запроса пользователя)

1. Получение запроса на агрегированный отзыв: Пользователь запрашивает отзывы о продукте.
2. Получение данных: Сервер извлекает агрегированные данные и список индивидуальных отзывов для данного ClusterID.
3. Форматирование и отображение GUI: Модуль представления генерирует страницу, включающую сводку, гистограмму, Frequent Phrases, фрагменты отзывов и search input area.
4. Получение запроса на поиск внутри отзывов: Пользователь вводит термин в search input area или выбирает фильтр.
5. Выполнение поиска: Модуль поиска отправляет запрос к индексу отзывов, ограничивая его ClusterID продукта и поисковыми терминами (например, query restricts: ClusterID=1234, body:(customer service)).
6. Ранжирование и форматирование результатов: Полученные отзывы сортируются (по релевантности, дате) в соответствии с предпочтениями пользователя. Генерируются сниппеты с подсветкой поисковых терминов.
7. Отображение результатов: Обновление GUI с результатами поиска. В некоторых вариантах реализации агрегированный рейтинг пересчитывается только для отзывов, соответствующих поисковому запросу.

Какие данные и как использует

Данные на входе

Патент упоминает использование следующих данных:

• Контентные факторы:
  • Текст отзыва (Content).
  • Заголовок отзыва (Title).
  • Резюме отзыва (Summary).
  • Название продукта, бренд, модель, категория, извлеченные из текста или заголовка страницы.
  • Глобальные идентификаторы (например, ISBN).
• Технические факторы:
  • URL страницы с отзывом.
  • Дата сканирования (CrawlDate).
• Метаданные отзыва:
  • Автор отзыва (Author).
  • Дата отзыва (Date).
  • Рейтинг (Rating), указанный автором.
  • Источник/Издатель отзыва (Publisher, например, CNET).
  • Тип отзыва (Review Type: редакционный или пользовательский).

Какие метрики используются и как они считаются

• ClusterID: Идентификатор продукта, генерируемый в процессе кластеризации на основе совпадения бренда, модели и категории.
• Средний рейтинг (Average Rating): Вычисляется как среднее нормализованных рейтингов всех отзывов о продукте. Может использоваться взвешивание: average rating = (Σ αᵢ * ratingᵢ) / Σ αᵢ, где αᵢ — вес отзыва. Вес может зависеть от источника (например, 1/K, если на сайте K отзывов о продукте) или предпочтений пользователя.
• Распределение оценок (Score Distribution): Гистограмма количества отзывов с положительными, нейтральными, негативными оценками и без оценки.
• Оценка частотной фразы (Frequent Phrase Score): Метрика для выбора наиболее значимых фраз. Пример формулы: Score = Длина фразы * sqrt(Сумма взвешенных вхождений). Вхождения в Title или Summary имеют больший вес.
• Качество отзыва (Quality Score): Метрика для оценки качества отзыва. Упоминается, что она может основываться на длине отзыва и энтропии слов (разнообразии используемых терминов).
• Релевантность отзыва (Relevance): Используется для сортировки результатов поиска. Может рассчитываться с использованием стандартных IR-метрик, а также учитывать Quality Score (например, Энтропия слов * sqrt(Длина отзыва)). Редакционные отзывы могут ранжироваться выше пользовательских.

Выводы

1. Отзывы как отдельный корпус контента: Google рассматривает отзывы как специфический тип контента, требующий специализированных методов сбора, обработки и представления, отличных от стандартного веб-поиска.
2. Важность идентификации продукта (Кластеризация): Способность точно связать отзыв с конкретным продуктом (используя бренд, модель, ISBN) является фундаментом системы. Это позволяет агрегировать данные из разных источников и обеспечивать контекстный поиск (ClusterID).
3. Контекстный поиск внутри сущности: Ключевая инновация — предоставление поиска, ограниченного рамками отзывов об одной сущности (продукте). Это позволяет пользователям быстро находить ответы на конкретные вопросы о характеристиках продукта.
4. Извлечение инсайтов через агрегацию: Система не просто собирает отзывы, но и извлекает из них знания: общий консенсус (средний рейтинг и распределение) и ключевые обсуждаемые темы (Frequent Phrases).
5. Взвешивание источников и качества: При расчете среднего рейтинга и ранжировании отзывов могут учитываться вес источника, тип отзыва (редакционный vs пользовательский) и метрики качества самого текста (длина, энтропия слов).
6. Интерфейс как часть решения: Патент уделяет значительное внимание GUI, подчеркивая важность удобных инструментов для навигации (сортировка, группировка, фильтрация по рейтингу) для анализа большого объема информации.

Практика

Best practices (это мы делаем)

• Обеспечение доступности и структурированности отзывов: Для владельцев сайтов с отзывами (как собственных, так и агрегаторов) критически важно обеспечить возможность сканирования и корректного парсинга отзывов. Используйте чистую HTML-структуру и микроразметку (Schema.org/Review, Product), чтобы явно указать поля: автор, дата, рейтинг, текст отзыва и точный идентификатор продукта (GTIN, ISBN, MPN).
• Уникальная идентификация продуктов: Убедитесь, что каждый продукт имеет четкие и консистентные идентификаторы (бренд, модель, глобальные идентификаторы). Это поможет Google корректно кластеризовать отзывы о вашем продукте, собранные с разных сайтов.
• Стимулирование содержательных отзывов: Поскольку патент упоминает использование длины и энтропии слов для оценки качества отзыва (Quality Score) и извлечения Frequent Phrases, стимулируйте пользователей оставлять развернутые отзывы, описывающие различные аспекты продукта. Качественные отзывы имеют больше шансов быть показанными высоко.
• Использование ключевых фраз в отзывах (Естественно): Анализируйте Frequent Phrases, которые Google выделяет для ваших или аналогичных продуктов. Убедитесь, что ваши собственные отзывы (если применимо) или описания продуктов покрывают эти темы, так как это наиболее интересующие пользователей аспекты.
• Мониторинг агрегированных данных: Регулярно отслеживайте, как ваши продукты представлены в агрегаторах отзывов (Google Shopping, Maps). Обращайте внимание на средний рейтинг, распределение оценок и выделяемые ключевые фразы.

Worst practices (это делать не надо)

• Блокировка сканирования отзывов: Скрытие отзывов от краулеров (например, через Robots.txt или сложные JS-скрипты без пререндеринга) помешает Google собрать необходимую информацию, что негативно скажется на видимости продукта в специализированных сервисах.
• Игнорирование микроразметки: Отсутствие структурированных данных затрудняет для Review Extraction Module корректное извлечение и интерпретацию отзывов и рейтингов.
• Накрутка и фальшивые отзывы: Генерация большого количества коротких, однотипных отзывов неэффективна. Такие отзывы, вероятно, получат низкий Quality Score (из-за низкой энтропии и длины) и могут быть отфильтрованы или понижены при ранжировании по релевантности.
• Неоднозначная идентификация продуктов: Использование разных названий или моделей для одного и того же продукта на разных страницах или в разных каналах затрудняет кластеризацию и может привести к фрагментации отзывов.

Стратегическое значение

Патент подтверждает стратегическую важность отзывов как ключевого элемента в процессе принятия решений пользователями. Он демонстрирует инфраструктуру Google для превращения неструктурированных мнений в структурированные данные и инсайты. Для SEO-стратегии это означает, что управление отзывами (ORM) и оптимизация под специализированные сервисы (Google Shopping, Local Search) должны быть неотъемлемой частью продвижения в нишах E-commerce и услуг. Успех зависит не только от ранжирования в веб-поиске, но и от того, насколько качественно продукт представлен в этих агрегированных системах.

Практические примеры

Сценарий: Оптимизация карточки отеля на Google Maps

1. Задача: Улучшить представление отеля и выделить его преимущества на основе отзывов.
2. Анализ (на основе патента): Google агрегирует отзывы об отеле (ClusterID), вычисляет средний рейтинг и выделяет Frequent Phrases (например, «чистые номера», «хороший завтрак», «проблемы с парковкой»). Пользователи могут искать внутри отзывов.
3. Действия:
   • Проанализировать текущие Frequent Phrases. Если негативные фразы доминируют, сосредоточиться на улучшении сервиса в этих областях.
   • Стимулировать довольных клиентов оставлять подробные отзывы, упоминая конкретные услуги (например, «спа-центр», «конференц-зал»). Это поможет сформировать новые положительные Frequent Phrases и улучшить результаты при поиске внутри отзывов.
   • Убедиться, что в профиле компании (Google Business Profile) и на сайте отеля используются консистентные данные для идентификации (название, адрес).
4. Ожидаемый результат: Google выделяет более релевантные и положительные ключевые фразы в сводке отзывов. Пользователи, ищущие «Wi-Fi» внутри отзывов, видят содержательные положительные комментарии, что повышает конверсию.

Вопросы и ответы