Как Google использует популярность сущностей для понимания и структурирования запросов в вертикальном поиске

Термины и определения

Search Domain (Поисковый домен)

Специализированная область поиска, например, медиаконтент, книги, музыка, товары. Система генерирует entity information для конкретного домена.

Entity Name (Имя сущности)

Идентификатор сущности, извлеченный из метаданных домена (например, название фильма, имя актера, название продукта).

Entity Type (Тип сущности)

Категория, к которой принадлежит сущность (например, ACTOR, GENRE, MOVIE TITLE, SERIES TITLE, BRAND).

Entity Score (Оценка сущности)

Числовая метрика, присваиваемая паре Entity Name/Entity Type. Отражает популярность или релевантность сущности в домене. Рассчитывается на основе частоты доступа к связанному контенту, кликов, рейтингов. Используется для разрешения неоднозначностей.

Entity Table (Таблица сущностей)

База данных, содержащая Entity Names, Entity Types и Entity Scores для определенного домена. Генерируется офлайн.

Contextual Information (Контекстная информация)

Информация, извлеченная из запроса (например, позиция термина, окружающие слова), которая используется для интерпретации сущностей и удаления маловероятных вариантов.

Feasibility Score (Оценка правдоподобия)

Метрика, используемая при обработке голосовых запросов. Рассчитывается для каждого варианта распознавания речи (Voice Recognition Terms) на основе Entity Scores соответствующих сущностей. Помогает выбрать наиболее вероятную текстовую интерпретацию голоса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод интерпретации поискового запроса в определенном домене.

1. Система получает поисковый запрос в домене.
2. Определяются поисковые термины (сегментация запроса).
3. Для каждого термина проверяется, соответствует ли он имени сущности (Entity Name), извлеченному из метаданных домена.
4. Если найдены соответствующие сущности, для каждой определяются типы (Entity Types).
5. Определяется оценка (Entity Score) для каждой комбинации Имя+Тип. Entity Score указывает на связанность (relatedness) имени и типа и основан, в частности, на количестве доступов к медиаконтенту, ассоциированному с этой комбинацией (т.е. популярность/использование).
6. Ключевое действие (Disambiguation): Определяется оставшаяся часть сущностей путем удаления как минимум одного из типов сущностей для конкретного имени сущности на основе Entity Score. (Выбирается наиболее вероятная интерпретация).
7. Выполняется поиск в домене с использованием оставшихся сущностей, причем каждая сущность ищется в соответствии с ее ассоциированным типом (структурированный поиск).

Claim 4 (Зависимый от 1): Детализирует офлайн-процесс создания Entity Table.

1. Извлекаются метаданные домена.
2. Из метаданных извлекаются имена сущностей.
3. Для каждого имени определяются тип и оценка.
4. Генерируется Entity Table.

Claim 5 (Зависимый от 4): Уточняет, что Entity Table может быть дополнена курируемой вручную информацией (curated entity information), включая игнорируемые термины (стоп-слова).

Claim 7 (Зависимый от 1): Описывает процесс периодического обновления Entity Table на основе обновленных метаданных.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, фокусируясь на создании специализированных индексов и интерпретации запросов.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основной офлайн-процесс. Система извлекает метаданные из источников, специфичных для домена. Происходит извлечение сущностей, определение их типов и расчет Entity Scores на основе сигналов популярности или пользовательского поведения (клики, просмотры). Результатом является Entity Table – специализированный словарь для домена.

QUNDERSTANDING – Понимание Запросов
Это основная область применения патента в онлайн-режиме. Когда пользователь вводит запрос (текст или голос), система использует Entity Table для его интерпретации. Происходит сегментация, распознавание сущностей и разрешение неоднозначностей (Disambiguation) с использованием Entity Scores и контекста. На выходе неструктурированный запрос преобразуется в структурированное намерение.

RANKING – Ранжирование
Система выполняет структурированный поиск, используя интерпретированный запрос. Поиск выполняется по конкретным полям базы данных (Entity Types), что повышает точность. В патенте приводится пример SQL-подобного запроса: SELECT * from MOVIE where GENRE is "action" AND ACTOR is "tom cruise".

Входные данные:

• Офлайн: Метаданные домена, данные о поведении пользователей (click logs), вручную курируемые данные.
• Онлайн: Поисковый запрос пользователя, Entity Table.

Выходные данные:

• Офлайн: Entity Table (Name, Type, Score).
• Онлайн: Интерпретированный структурированный запрос; результаты поиска. Для голосового поиска: выбранный термин распознавания речи.

На что влияет

• Конкретные ниши и типы контента: Наибольшее влияние патент оказывает на вертикальный поиск, где существуют четкие структуры метаданных: eCommerce (продукты, бренды, категории), Медиа (фильмы, актеры, жанры), Музыка, Книги.
• Специфические запросы: Влияет на запросы, содержащие названия сущностей, особенно неоднозначные (например, "House", "2012"). Также сильно влияет на интерпретацию голосовых запросов.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда запрос поступает в рамках определенного Search Domain или когда система определяет, что запрос относится к специфической вертикали (Claim 6).
• Условия работы: Наличие предварительно сгенерированной Entity Table для данного домена. Алгоритм интерпретации запускается при обнаружении совпадений между терминами запроса и записями в таблице.

Пошаговый алгоритм

Процесс А: Генерация Таблицы Сущностей (Офлайн - INDEXING)

1. Определение домена: Выбор специализированной области поиска (например, Товары).
2. Сбор метаданных: Доступ к источникам метаданных (фиды, базы данных контента), логам кликов (user click information) и курируемым данным (manual curation information).
3. Извлечение сущностей: Извлечение Entity Names и их Entity Types из метаданных (например, "Apple" как BRAND).
4. Расчет оценок: Вычисление Entity Score для каждой пары Имя/Тип. Оценка базируется на популярности (рейтинги, частота поиска, количество доступов к контенту). Может включать агрегацию и взвешивание (например, по свежести).
5. Генерация таблицы: Создание Entity Table.
6. Обновление: Периодическое повторение процесса (Claim 7).

Процесс Б: Интерпретация Текстового Запроса (Онлайн - QUNDERSTANDING)

1. Получение запроса: Например, "action movie with tom cruise".
2. Сегментация: Определение поисковых терминов (генерация N-грамм: "action", "action movie", "tom", "tom cruise" и т.д.).
3. Поиск соответствий: Поиск терминов в Entity Table.
4. Извлечение кандидатов: Получение всех совпадений с их Типами и Оценками.
5. Интерпретация и Очистка (Disambiguation): Анализ кандидатов на основе Entity Score и Contextual Information:
   • Score-based Disambiguation: Удаление менее вероятных типов для одного имени на основе низкого Entity Score (например, выбор "House" (Series) вместо "House" (Movie)).
   • Overlap Resolution (Разрешение наложений): Удаление перекрывающихся сущностей (например, удаление "Tom", если найдено "Tom Cruise").
   • Contextual Pruning (Контекстный анализ): Использование структуры запроса для удаления маловероятных интерпретаций (например, в запросе "action movie 2012", "2012" скорее DATE, а не MOVIE TITLE).
6. Структурированный поиск: Выполнение поиска с использованием оставшихся сущностей. Имя сущности применяется к поисковому полю на основе его типа (например, "Action" к полю "Genre").
7. Вывод результатов.

Процесс В: Интерпретация Голосового Запроса (Онлайн - QUNDERSTANDING)

1. Получение голосового запроса.
2. Генерация интерпретаций: Определение нескольких вариантов Voice Recognition Terms.
3. Поиск соответствий: Проверка терминов по Entity Table.
4. Расчет Оценки Правдоподобия: Определение Feasibility Score для каждого термина на основе Entity Scores найденных сущностей. Могут применяться штрафы (penalty scores/weights) за слова, не распознанные как сущности.
5. Ранжирование интерпретаций: Ранжирование Voice Recognition Terms по Feasibility Score.
6. Выбор и Поиск: Выполнение поиска с использованием термина, имеющего наивысший Feasibility Score.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании метаданных и поведенческих сигналов для интерпретации запросов.

• Структурные/Контентные факторы (Метаданные домена): Основной источник данных для извлечения сущностей. Включает структурированную информацию о контенте в домене (названия, авторы, жанры, производители, даты выпуска и т.д.).
• Поведенческие факторы (User Feedback/Popularity): Критически важны для расчета Entity Score. Упоминаются:
  • Количество доступов к контенту, связанному с сущностью (Claim 1).
  • Логи кликов (click log, User Click Information).
  • Частота поиска сущности.
  • Пользовательские рейтинги (User ratings).
• Системные данные (Manually Curated Information): Вручную подготовленная информация, включающая стоп-слова или популярные сущности, отсутствующие в основных источниках.

Какие метрики используются и как они считаются

• Entity Score (Оценка сущности): Ключевая метрика. Рассчитывается офлайн. Основана на популярности (popularity score).
  Методы расчета: Могут включать агрегацию (например, Entity Score актера может быть средним значением Entity Scores его фильмов) и взвешивание (например, недавний контент имеет больший вес).
• Feasibility Score (Оценка правдоподобия): Используется для голосового поиска. Рассчитывается онлайн. Базируется на Entity Scores сущностей, распознанных в варианте речи. Может быть взвешенным средним с применением штрафов (penalty scores/weights), если часть термина не распознана как сущность.

1. Сущности и Структура важнее Ключевых слов в Вертикалях: Патент демонстрирует механизм преобразования неструктурированного запроса в структурированный поиск по полям (Entity Types). В специализированных доменах Google стремится понять запрос как набор ограничений сущностей, а не как набор ключевых слов.
2. Популярность влияет на Понимание Запроса (QU): Entity Score, основанный на популярности и поведении пользователей, используется на этапе понимания запроса для разрешения неоднозначностей. Если сущность более популярна, Google с большей вероятностью интерпретирует запрос в ее пользу.
3. Специализированные Словари для Доменов: Google создает и поддерживает Entity Tables – словари сущностей и их оценок для конкретных вертикалей. Попадание в этот словарь и наличие высокого Entity Score критически важно для видимости.
4. Контекст и Оценки для Разрешения Неоднозначностей: Система использует комбинацию Entity Score (популярность) и Contextual Information (структура запроса) для выбора наиболее вероятной интерпретации термина.
5. Улучшение Голосового Поиска через Сущности: Популярность сущностей (Entity Score) напрямую используется для повышения точности распознавания речи (через Feasibility Score). Более популярные сущности распознаются лучше.

Best practices (это мы делаем)

• Использование Структурированных Данных (Schema.org): Внедряйте и поддерживайте актуальную микроразметку для всех релевантных сущностей (Product, Movie, Book, Author). Это помогает Google правильно извлекать Entity Names и Entity Types для построения Entity Table.
• Обеспечение Полного Присутствия в Метаданных: Гарантируйте, что ваши сущности присутствуют в релевантных базах знаний и источниках метаданных (Knowledge Graph, Google Shopping Feed, Google Books, IMDb и т.д.) с точной и полной информацией.
• Стимулирование Популярности Сущностей (Entity Popularity): Поскольку Entity Score основан на популярности и взаимодействии (клики, просмотры, рейтинги), работайте над повышением узнаваемости и востребованности ваших ключевых сущностей. Это напрямую влияет на вероятность их правильной интерпретации в неоднозначных запросах.
• Обеспечение Четкости Контекста: Создавайте контент, который ясно указывает на основную сущность и ее тип. Используйте ясный язык, чтобы помочь системе использовать Contextual Information для правильной интерпретации.
• Оптимизация под Голосовой Поиск через Популярность: Для улучшения распознавания названия вашего бренда или продукта в голосовом поиске необходимо повышать их Entity Score, что увеличит Feasibility Score при распознавании речи.

Worst practices (это делать не надо)

• Игнорирование Структурированных Данных: Полагаться только на текстовый контент неэффективно, особенно в вертикальном поиске. Система предпочитает структурированные данные для идентификации сущностей.
• Непоследовательное Наименование Сущностей: Использование разных вариантов написания для одной и той же сущности в разных источниках затрудняет ее идентификацию и консолидацию Entity Score.
• Манипуляция Популярностью Низкого Качества: Попытки искусственно завысить Entity Score с помощью накруток кликов или просмотров рискованны и, вероятно, будут отфильтрованы системами оценки качества Google.
• Keyword Stuffing: Перенасыщение ключевыми словами неэффективно, так как система ориентирована на распознавание структурированных связей (сущность + тип), а не на простое совпадение строк.

Стратегическое значение

Патент подтверждает стратегическую важность Entity-Based SEO и глубокой интеграции данных о поведении пользователей на ранних этапах обработки запроса (Query Understanding). Для SEO-специалистов это означает, что стратегия должна включать не только оптимизацию контента, но и управление сущностями (Entity Management) и их популярностью. В вертикальном поиске преимущество получают те сайты, чьи сущности четко определены, структурированы и имеют высокий уровень взаимодействия с пользователями.

Практические примеры

Сценарий 1: Разрешение неоднозначности для eCommerce

1. Ситуация: Пользователь ищет "Surface" в домене Google Shopping. Существуют Microsoft Surface (планшет) и Surface (бренд средств для ухода за волосами).
2. Действие системы: Система проверяет Entity Table для товаров и находит обе сущности.
3. Применение Entity Score: Система сравнивает Entity Scores. Если Microsoft Surface имеет значительно больше поисковых запросов, кликов и покупок, его Entity Score будет выше.
4. Результат: Система интерпретирует запрос как [Entity Name: "Surface", Entity Type: "Планшет"] и выполняет структурированный поиск по этой категории, отсекая средства для волос (при отсутствии дополнительного контекста в запросе).
5. Действие SEO: Бренд средств для волос должен использовать более специфичные наименования в метаданных и работать над повышением популярности своих продуктов, чтобы увеличить их Entity Score в своем типе.

Сценарий 2: Улучшение распознавания голосового запроса

1. Ситуация: Пользователь говорит голосовой запрос, который звучит как "Watch Fringe".
2. Действие системы: Система генерирует варианты распознавания (Voice Recognition Terms): "Watch French", "Watch Fringe", "Watch Friends".
3. Применение Feasibility Score: Система проверяет Entity Scores для "French" (Язык/Жанр), "Fringe" (Сериал) и "Friends" (Сериал). Если "Fringe" имеет высокую популярность как сериал, комбинация ["Watch" (Action) + "Fringe" (Series)] получит высокий Feasibility Score.
4. Результат: Система выбирает интерпретацию "Watch Fringe" и выполняет команду.
5. Действие SEO: Для продвижения нового контента/продукта необходимо активно работать над его популярностью (просмотры, обсуждения, рейтинги), чтобы повысить его Entity Score и улучшить распознаваемость в голосовом поиске.