Как Google использует анализ тональности отзывов, структурированные оценки и поведение пользователей для ранжирования сущностей (бизнесов, продуктов)

Описание

Какую задачу решает

Патент решает проблему ограниченности использования только структурированных рейтингов (например, звезд) для ранжирования Reviewable Entities (рестораны, отели, продукты). Структурированные рейтинги могут быть противоречивыми, не отражать нюансов, выраженных в тексте, и игнорировать мнения из неструктурированных источников (блоги, форумы). Изобретение позволяет использовать информацию о тональности (Sentiment), содержащуюся в любых текстовых отзывах, в качестве прямого сигнала ранжирования, повышая релевантность поиска для сущностей, о которых высказывается общественное мнение.

Что запатентовано

Запатентована система (Ranking Analysis Engine), которая использует извлеченную из текста тональность как сигнал ранжирования для сущностей. Система агрегирует Sentiment Scores из различных текстовых источников, комбинирует их со структурированными рейтингами (Normalized Ratings) и данными о поведении пользователей (User Interaction Score). Ключевой особенностью является механизм машинного обучения (Rank Learning Module), который итеративно определяет оптимальные веса для каждого из этих сигналов, основываясь на взаимодействии пользователей с результатами поиска.

Как это работает

Система работает в несколько этапов:

• Идентификация и Оценка: Идентифицируются структурированные и неструктурированные отзывы. Рассчитывается вероятность того, что текст действительно относится к сущности (P(entity)) и содержит мнение (P(sentiment)).
• Анализ тональности: Для текстовых фрагментов (Entity Text) рассчитываются Sentiment Scores (полярность и магнитуда), часто с использованием доменно-специфичного NLP.
• Агрегация: Рассчитываются сводные оценки: Consensus Sentiment Score, Consensus Normalized Rating (из звезд) и User Interaction Score (на основе CTR, времени на сайте).
• Обучение весов: Система отслеживает взаимодействие пользователей с результатами и использует эти данные для обучения модели (например, mixture model), чтобы определить, насколько сильно каждый сводный показатель должен влиять на итоговый рейтинг.
• Ранжирование: Формируется итоговый Entity Ranking на основе взвешенной комбинации сводных оценок.

Актуальность для SEO

Высокая. Ранжирование сущностей и анализ тональности являются центральными компонентами современного поиска, включая Local Search, Google Maps и Product Search. Использование машинного обучения для балансировки различных сигналов ранжирования на основе поведения пользователей является стандартной и актуальной практикой Google.

Важность для SEO

Патент имеет значительное влияние на SEO (85/100), особенно в сферах локального бизнеса и электронной коммерции. Он подчеркивает, что управление репутацией (ORM) должно выходить за рамки сбора звезд. Тональность упоминаний на сторонних сайтах, в блогах и обзорах (off-site sentiment) может быть извлечена и использована как прямой сигнал ранжирования. Кроме того, патент подтверждает важность поведенческих факторов (CTR, вовлеченность) как механизма валидации и взвешивания других сигналов.

Детальный разбор

Термины и определения

Consensus Normalized Rating (Сводный нормализованный рейтинг)

Агрегированная оценка, представляющая все структурированные рейтинги (звезды) сущности, приведенные к единой шкале.

Consensus Sentiment Score (Сводная оценка тональности)

Агрегированная оценка, представляющая все Sentiment Scores, извлеченные из текстовых отзывов о сущности.

Domain-Specific Sentiment Analysis (Доменно-специфичный анализ тональности)

Метод NLP, использующий специализированные лексиконы (Domain-Specific Sentiment Lexicon) и классификаторы для точной оценки тональности в конкретной области (например, рестораны, электроника), учитывая контекстную специфику слов.

Entity Ranking / Entity Score (Рейтинг сущности / Оценка сущности)

Итоговая оценка, используемая для ранжирования сущности в результатах поиска. Рассчитывается на основе взвешенной комбинации Consensus Sentiment Score, Consensus Normalized Rating и User Interaction Score.

Entity Review Text / Entity Text (Текст отзыва о сущности)

Фрагмент текста внутри отзыва (Textual Review), который идентифицирован как содержащий мнение о конкретной сущности.

P(entity) (Вероятность сущности)

Значение, представляющее уверенность системы в том, что данный отзыв или текст действительно относится к рассматриваемой сущности. Может зависеть от источника, автора или количества упоминаний сущности в тексте.

P(sentiment) (Вероятность тональности)

Значение, представляющее уверенность системы в том, что данный текст содержит мнение или тональность о сущности.

Rank Learning Module (Модуль обучения ранжированию)

Компонент системы, который определяет веса для различных сигналов ранжирования, часто используя модель машинного обучения (например, mixture model) на основе корреляции этих сигналов с поведением пользователей.

Reviewable Entity (Сущность, подлежащая обзору)

Любой объект (человек, место, продукт, услуга), о котором может быть выражено мнение (например, рестораны, отели, фильмы).

Sentiment Score (Оценка тональности)

Числовое значение, присваиваемое фрагменту текста (Entity Text), отражающее полярность (положительная/отрицательная) и магнитуду (силу) выраженного мнения.

User Interaction Score (Оценка взаимодействия пользователя)

Метрика, основанная на мониторинге взаимодействия пользователей с результатами поиска, связанными с сущностью (например, CTR, время, проведенное на странице).

Ключевые утверждения (Анализ Claims)

Важно отметить, что хотя описание патента широко охватывает анализ тональности, итоговая формула изобретения (Claims) в патенте US10394830B1 (который является продолжением более ранних заявок) имеет специфический фокус, особенно в независимом пункте 1.

Claim 1 (Независимый пункт): Описывает базовый механизм оценки сущностей на основе поведения пользователей и уверенности в релевантности контента.

1. Система отслеживает взаимодействие пользователей с результатами поиска (entity search results), связанными с конкретной сущностью (идентифицируемым человеком или местом).
2. Генерируются метрики для этих взаимодействий.
3. Для каждого результата определяется вероятность (likelihood / P(entity)) того, что он действительно посвящен этой сущности. Упоминается, что эта вероятность может быть основана на количестве упоминаний сущности в тексте.
4. Генерируется оценка сущности (entity score) на основе как метрик взаимодействия, так и рассчитанных вероятностей.
5. Оценка сохраняется в базе данных.

Ядро изобретения (Claim 1) — это использование поведенческих метрик, взвешенных с учетом уверенности системы в том, что контент, с которым взаимодействовал пользователь, действительно относится к данной сущности.

Claim 4 (Зависимый от 1): Дополняет механизм, указывая, что генерация entity score также может основываться на sentiment score (оценке тональности) сущности.

Claim 5 (Зависимый от 4): Детализирует расчет sentiment score. Он основан на оценках тональности текстовых отзывов И значениях, указывающих на вероятность того, что эти отзывы относятся к сущности (P(entity)). Таким образом, тональность также взвешивается по уверенности.

Claim 6 (Зависимый от 5): Дополняет механизм, указывая, что генерация entity score также может основываться на нормализованных рейтингах (normalized ratings), связанных с сущностью.

Claims 8 и 9 (Зависимые от 1): Уточняют, что отслеживание взаимодействий включает мониторинг кликов (для расчета CTR) (Claim 8) и времени, проведенного в соответствующих документах (dwell time) (Claim 9).

Где и как применяется

Изобретение применяется на нескольких этапах поисковой архитектуры, связанных с обработкой данных о сущностях и их ранжированием.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная предварительная обработка. Система сканирует и индексирует структурированные и неструктурированные отзывы. Происходит извлечение Entity Text, расчет P(entity) и P(sentiment). Выполняется доменно-специфичный анализ тональности для генерации Sentiment Scores. Структурированные рейтинги нормализуются. Эти данные сохраняются в репозитории (Entity Ranking Data Repository).

RANKING – Ранжирование / RERANKING – Переранжирование
На этапе ранжирования или переранжирования (например, в Local Search или Product Search) система использует предварительно рассчитанные и обновляемые данные.

1. Агрегация: Вычисляются сводные оценки (Consensus Sentiment Score, Consensus Normalized Rating).
2. Мониторинг и Обучение (Ongoing): User Interaction Module отслеживает поведение пользователей и генерирует User Interaction Score. Rank Learning Module использует эти данные для обучения весов (определения важности тональности, рейтингов и поведения).
3. Расчет рейтинга: Ranking Analysis Engine применяет актуальные веса к сводным оценкам для расчета финального Entity Ranking (Entity Score).

Входные данные:

• Текстовые отзывы (структурированные и неструктурированные).
• Структурированные рейтинги (звезды).
• Данные о поведении пользователей (клики, время на сайте).
• Тип сущности (для определения домена анализа тональности).

Выходные данные:

• Entity Ranking (итоговый рейтинг сущности).
• Обученные веса для сигналов тональности, рейтингов и взаимодействия.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на сущности, о которых активно высказывается общественное мнение. Это критично для Локального SEO (рестораны, отели, услуги), E-commerce (товары), а также развлечений (фильмы, книги).
• Специфические запросы: Влияет на запросы, подразумевающие поиск лучших или наиболее обсуждаемых сущностей (например, «лучший суши ресторан», «отзывы на iPhone X»).

Когда применяется

• Триггеры активации: Алгоритм применяется, когда поисковый запрос связан с Reviewable Entities.
• Условия работы: Наличие достаточного количества данных (отзывов, рейтингов или данных о взаимодействии) для анализа тональности и обучения весов.

Пошаговый алгоритм

Процесс можно разделить на офлайн-обработку, непрерывный мониторинг и расчет ранжирования.

Этап А: Офлайн-обработка и анализ контента

1. Сбор данных: Идентификация структурированных и неструктурированных отзывов в индексе.
2. Оценка уверенности: Расчет P(entity) (уверенность, что отзыв о сущности, например, по частоте упоминаний) и P(sentiment) (уверенность, что в отзыве есть мнение).
3. Выделение текста: Text Selection Module идентифицирует фрагменты текста (Entity Text), относящиеся к сущности, часто путем анализа близости токенов к упоминанию сущности.
4. Анализ тональности: Sentiment Score Module применяет доменно-специфичный анализ тональности для расчета Sentiment Scores (полярность и магнитуда) для каждого Entity Text.
5. Нормализация рейтингов: Структурированные рейтинги из разных источников приводятся к единой шкале (Normalized Rating).
6. Хранение: Данные сохраняются в базах данных (Entity Sentiment Database, Entity Rating Database).

Этап Б: Мониторинг и обучение (Непрерывный процесс)

1. Мониторинг взаимодействий: User Interaction Module отслеживает взаимодействие пользователей с результатами поиска по сущностям (CTR, время на сайте).
2. Генерация метрик взаимодействия: Расчет User Interaction Score на основе собранных данных.
3. Обучение весов: Rank Learning Module анализирует корреляции между User Interaction Score и другими сигналами (Consensus Sentiment Score, Consensus Normalized Rating). Используя модель (например, mixture model), система генерирует оптимальные веса (Sentiment Score Weight, Normalized Rating Weight, User Interaction Score Weight).

Этап В: Расчет ранжирования

1. Агрегация оценок: Расчет сводных показателей для сущности: Consensus Sentiment Score (с учетом P(entity) и P(sentiment)) и Consensus Normalized Rating.
2. Применение весов: Применение обученных весов к сводным показателям и User Interaction Score.
3. Расчет итогового рейтинга: Генерация Entity Ranking (Entity Score), например, путем линейной комбинации взвешенных оценок.
4. Предоставление результатов: Отображение результатов поиска, отсортированных по Entity Ranking.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст неструктурированных отзывов (блоги, статьи, веб-страницы) и текстовая часть структурированных отзывов. Анализируется лексика, n-граммы, части речи. Частота упоминания сущности в тексте (для P(entity)).
• Структурные факторы: Рейтинги (звезды) из структурированных отзывов. Расположение n-грамм в документе (начало/конец могут иметь больший вес при анализе тональности).
• Поведенческие факторы: Данные о взаимодействии пользователей с результатами поиска, связанными с сущностью: клики (CTR) и время, проведенное на странице (time spent/dwell time).
• Контекстные/Системные факторы: Тип сущности (Entity Type), который определяет, какой Domain-Specific Sentiment Lexicon использовать.

Какие метрики используются и как они считаются

• P(entity) и P(sentiment): Вероятностные метрики для оценки релевантности и наличия мнения. Рассчитываются на основе признаков текста (частота упоминаний, наличие прилагательных) или метаданных (источник, автор).
• Sentiment Score: Рассчитывается с помощью NLP-классификаторов (например, Maximum Entropy, SVM), обученных на доменно-специфичных лексиконах. Учитывает полярность и магнитуду, а также факторы, такие как отрицание (negation detection) и часть речи.
• Normalized Rating: Приведение структурированных рейтингов к единой шкале (например, с помощью линейной нормализации).
• User Interaction Score: Агрегация метрик CTR и dwell time.
• Consensus Scores (Sentiment и Rating): Агрегация индивидуальных оценок (среднее, медиана). При агрегации Sentiment Scores могут взвешиваться с помощью P(entity) и P(sentiment).
• Weights (Веса): Обучаются с помощью машинного обучения (упоминаются mixture models, EM models) на основе корреляции между сигналами и поведением пользователей. Цель — максимизировать вес тех сигналов, которые лучше предсказывают удовлетворенность пользователя.

Выводы

1. Комплексный подход к ранжированию сущностей: Google формирует рейтинг сущностей (Entity Ranking), объединяя три ключевых типа сигналов: мнение, выраженное в тексте (Sentiment), формальные структурированные оценки (Ratings) и реальное поведение пользователей (User Interaction).
2. Тональность текста как независимый сигнал: Анализ тональности (Sentiment Analysis) является прямым сигналом ранжирования, не зависящим от звезд. Это позволяет учитывать нюансы мнений и данные из источников без формальных рейтингов (блоги, форумы).
3. Поведение пользователей как валидатор и регулятор весов: User Interaction Score (CTR, вовлеченность) используется как прямой сигнал ранжирования и как механизм обратной связи для машинного обучения весов других сигналов. Система определяет, насколько сильно тональность и оценки должны влиять на ранжирование, чтобы оно соответствовало поведению пользователей.
4. Критичность идентификации сущности (P(entity)): Система уделяет большое внимание уверенности в том, что текст, отзыв или клик действительно относится к сущности. Сигналы из источников с низким P(entity) будут иметь меньший вес. Это подчеркивает важность четкой связи контента с сущностью.
5. Важность доменно-специфичного NLP: Для точной оценки тональности используются специализированные модели (Domain-Specific Sentiment Analysis), учитывающие специфику языка в разных тематиках.

Практика

Best practices (это мы делаем)

• Комплексное управление репутацией (ORM/SERM): Необходимо отслеживать и управлять репутацией не только на Google Maps и крупных сайтах отзывов, но и по всему интернету. Мониторинг упоминаний в блогах, на форумах (неструктурированные отзывы) критичен, так как их тональность напрямую влияет на Consensus Sentiment Score.
• Обеспечение четкой ассоциации с сущностью (Maximizing P(entity)): Убедитесь, что упоминания вашего бренда/продукта содержат точные идентификаторы (полное название, адрес (N-A-P) для локального бизнеса). Используйте микроразметку Schema.org на своем сайте. Это повышает метрику уверенности P(entity), гарантируя, что позитивный контент и взаимодействие будут корректно атрибутированы вашей сущности.
• Оптимизация под поведенческие факторы (Behavioral Optimization): Необходимо работать над повышением CTR сниппетов в выдаче и улучшением качества контента на страницах, связанных с сущностью. Высокий User Interaction Score напрямую влияет на Entity Ranking и повышает вес других позитивных сигналов.
• Стимулирование детальных текстовых отзывов: Поскольку система анализирует текст, а не только звезды, важно поощрять клиентов оставлять подробные текстовые отзывы. Детальный позитивный текст дает больше данных для расчета высокого Sentiment Score.
• Анализ тональности в нише: Изучайте язык вашей целевой аудитории. Понимание доменно-специфичной лексики поможет при создании контента и работе с отзывами, который будет корректно интерпретирован алгоритмами Sentiment Analysis.

Worst practices (это делать не надо)

• Игнорирование сторонних площадок и текстового содержания: Фокусироваться только на получении 5 звезд на Google Maps недостаточно. Негативная тональность в тексте отзывов или на влиятельных сторонних сайтах может значительно снизить Consensus Sentiment Score.
• Накрутка отзывов без учета NLP: Генерация большого количества однотипных положительных отзывов может быть неэффективна против сложных доменно-специфичных моделей анализа тональности, которые могут выявлять неестественные паттерны или присваивать низкий P(sentiment).
• Манипуляции с поведенческими факторами: Попытки искусственно накрутить CTR или время пребывания на сайте (например, кликбейт без релевантного контента) приведут к низкому User Interaction Score и могут повлечь санкции.

Стратегическое значение

Патент подтверждает стратегическую важность Entity-Oriented Search и комплексного подхода к оценке качества и репутации сущностей (как части E-E-A-T). Для бизнеса в сферах Local SEO и E-commerce репутация в сети является одним из ключевых факторов ранжирования. Система демонстрирует, как Google интегрирует NLP, анализ структурированных данных и машинное обучение на основе поведения пользователей для формирования рейтинга, что делает манипуляции сложнее и повышает ценность реальной удовлетворенности клиентов.

Практические примеры

Сценарий: Повышение рейтинга локального ресторана

1. Ситуация: Ресторан имеет средний рейтинг 4.0 звезды (Consensus Normalized Rating) и находится на 5-й позиции в локальной выдаче. Анализ показывает, что текстовые отзывы часто негативны.
2. Действия SEO/ORM:
   1. Запущена кампания по сбору детальных текстовых отзывов от довольных клиентов на Yelp и TripAdvisor.
   2. Местный фуд-блогер опубликовал обзор с ярко выраженной положительной тональностью, четко указав название и адрес ресторана (высокий P(entity)).
   3. Оптимизированы сниппеты сайта ресторана и его профилей в каталогах для повышения CTR.
3. Обработка системой Google:
   1. Система анализирует новые отзывы и обзор блогера. Consensus Sentiment Score растет благодаря новым положительным текстам.
   2. Пользователи чаще кликают на результаты и дольше задерживаются на сайте (User Interaction Score растет).
4. Результат: Rank Learning Module фиксирует положительную корреляцию между улучшенными сигналами и поведением пользователей. Система рассчитывает новый Entity Ranking, в котором ресторан поднимается на 2-ю позицию, даже если формальный рейтинг звезд изменился незначительно.

Вопросы и ответы