Как Google использует данные веб-поиска для распознавания сущностей в специализированных вертикалях (на примере поиска медиаконтента)

Термины и определения

Corpus of Web Resources (First Corpus) (Корпус веб-ресурсов / Первый корпус)

Основной индекс поисковой системы, содержащий коллекцию разнородных ресурсов (HTML-документы, изображения и т.д.). Используется на первом этапе для интерпретации запроса.

Corpus of Media Assets (Second Corpus) (Корпус медиа-активов / Второй корпус)

Специализированная база данных, содержащая целевой контент (например, фильмы, телепрограммы). Используется на втором этапе поиска.

Entity Table (Таблица сущностей)

Структура данных, которая связывает идентификаторы веб-ресурсов (например, URL) с конкретными сущностями (media entities), упоминаемыми или описываемыми на этих ресурсах.

Media Asset (Медиа-актив)

Единица целевого контента, которую ищет пользователь (например, фильм, эпизод сериала).

Media Entity (Медиа-сущность)

Структурированный идентификатор или характеристика медиа-актива (например, название фильма, имя актера, режиссер, номер эпизода), извлеченный из веб-ресурсов.

Media Quality Score (Оценка качества медиа)

Метрика для финального ранжирования найденных медиа-активов. Может включать качество видео/аудио (разрешение, битрейт), популярность (click rate) и доступность контента.

Relevancy Score (Оценка релевантности)

Стандартная оценка, присваиваемая веб-результатам поисковой системой на первом этапе, указывающая на степень соответствия документа исходному запросу.

Topic Score / Entity Score (Тематическая оценка / Оценка сущности)

Оценка, присваиваемая извлеченной media entity. Основана на частоте её появления (occurrence) или описания в подмножестве топовых веб-результатов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод двухэтапного поиска для медиаконтента.

1. Система получает медиа-запрос.
2. Идентифицируются результаты веб-поиска из Первого корпуса, каждый с relevancy score.
3. Из подмножества топовых веб-результатов (выбранных по relevancy score) извлекается ключевая (keyword information) и контекстная (contextual information) информация.
4. На основе этой информации определяются media entities.
5. Каждой media entity присваивается Topic Score на основе её встречаемости в веб-результатах.
6. Выбирается одна или несколько media entities на основе Topic Score.
7. Идентифицируются media assets из Второго корпуса на основе выбранных media entities.
8. Подмножество media assets представляется пользователю.

Claim 2 (Зависимый от 1): Уточняет этап предобработки запроса.

Исходный медиа-запрос может быть переписан (rewriting) путем вставки одного или нескольких медиа-терминов (например, добавление слова "фильм" или "видео") перед выполнением поиска в Первом корпусе.

Claim 5 (Зависимый от 1): Описывает механизм извлечения сущностей.

Система использует Entity Table для определения media entities. Эта таблица связывает идентификатор веб-ресурса (например, URL из результатов поиска) с соответствующей media entity.

Claim 6 (Зависимый от 1): Детализирует финальное ранжирование.

Для каждого идентифицированного media asset определяется Quality Score (оценка качества), и результаты фильтруются (или ранжируются) на основе этой оценки.

Claim 7 (Зависимый от 1): Описывает механизм смешивания результатов (Blending).

Система может идентифицировать второй набор медиа-активов (например, из media data feed) и представить пользователю комбинированный набор, включающий результаты из Второго корпуса, веб-результаты из Первого корпуса и результаты из медиа-фида.

Где и как применяется

Изобретение охватывает несколько этапов поиска, интегрируя данные из разных индексов для улучшения специализированного поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит индексация как Первого корпуса (веб-страницы), так и Второго корпуса (медиа-активы). Также могут предварительно вычисляться Entity Tables, связывающие веб-страницы с сущностями, и собираться данные для Media Quality Scores.

QUNDERSTANDING – Понимание Запросов
Система получает исходный запрос. Может применяться модификация запроса (Claim 2), например, добавление классифицирующих терминов для улучшения релевантности результатов на следующем этапе.

RANKING – Ранжирование (Этап 1: Веб-поиск)
Выполняется поиск по Первому корпусу (Веб-индекс). Задача – найти веб-страницы, релевантные описательному запросу, и рассчитать их Relevancy Scores.

RERANKING / Feature Extraction (Промежуточный этап)
Это ядро изобретения. Топовые результаты Этапа 1 анализируются. Происходит извлечение Media Entities (с использованием Entity Table или анализа контента) и расчет Topic Scores. Это функционирует как извлечение признаков из результатов ранжирования для генерации нового, уточненного запроса.

RANKING – Ранжирование (Этап 2: Специализированный поиск)
Генерируется новый запрос на основе сущностей с высокими Topic Scores. Выполняется поиск по Второму корпусу (Медиа-база).

RERANKING – Переранжирование (Финальный этап)
К результатам Этапа 2 применяются Media Quality Scores для финальной сортировки и фильтрации.

METASEARCH – Метапоиск и Смешивание
Финальные результаты могут быть смешаны с результатами из других источников, включая исходные веб-результаты (Claim 7), формируя универсальную выдачу.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на описательные, тематические и разговорные запросы (например, поиск по сюжету, по характеристикам персонажа, по теме), где прямое название сущности не указано.
• Конкретные типы контента и ниши: Влияет на поиск в специализированных вертикалях. Хотя патент фокусируется на медиа (фильмы, ТВ), механизм применим к поиску товаров (по характеристикам), локальному поиску (по типу услуги) или поиску людей.

Когда применяется

• Триггеры активации: Механизм активируется, когда пользователь выполняет поиск в рамках специализированной системы (например, интерфейс Smart TV, раздел "Покупки" или "Видео").
• Условия работы: Применяется для обработки неструктурированных или описательных запросов, для которых прямой поиск в специализированной базе данных может быть неэффективен из-за отсутствия описательных метаданных.

Пошаговый алгоритм

Процесс обработки запроса системой (на основе Process 500):

1. Получение запроса: Система получает медиа-запрос (например, "little girl sniper").
2. Модификация запроса (Опционально): Запрос может быть переписан с добавлением медиа-терминов (например, "movie").
3. Поиск в Первом корпусе: Выполняется поиск в корпусе веб-ресурсов.
4. Идентификация веб-результатов: Определяются веб-ресурсы, релевантные запросу, и их Relevancy Scores.
5. Выборка топовых результатов: Выбирается подмножество веб-результатов на основе Relevancy Score (например, Топ-N).
6. Извлечение сущностей: Из выбранного подмножества определяются Media Entities. Это может включать анализ ключевых слов и контекстной информации на страницах или использование Entity Table.
7. Расчет Topic Score: Для каждой Media Entity рассчитывается Topic Score на основе частоты её встречаемости или описания в топовых веб-результатах (например, с использованием хэш-таблицы и подсчета).
8. Выбор топовых сущностей: Выбираются одна или несколько Media Entities с наивысшими Topic Scores.
9. Поиск во Втором корпусе: Генерируется новый запрос на основе выбранных сущностей и выполняется поиск в корпусе медиа-активов.
10. Идентификация медиа-активов: Определяются Media Assets, соответствующие новому запросу.
11. Расчет Media Quality Score (Опционально): Для каждого найденного актива определяется Media Quality Score (популярность, качество видео и т.д.).
12. Ранжирование активов: Медиа-активы ранжируются на основе Media Quality Score и/или Topic Score.
13. Выборка и представление: Выбирается подмножество лучших активов, которое представляется пользователю (возможно, в смеси с другими результатами).

Какие данные и как использует

Данные на входе

Система использует данные из двух различных источников (корпусов).

Из Первого корпуса (Веб-индекс):

• Контентные факторы: Текст веб-страниц (keyword information и contextual information). Система анализирует, как сущности описываются на страницах, чтобы идентифицировать их.
• Системные данные: Relevancy Scores, рассчитанные поисковой системой для веб-страниц в ответ на исходный запрос.

Из Второго корпуса (Специализированная база) и связанных систем:

• Структурные факторы: Метаданные Media Assets (для сопоставления с Media Entities).
• Поведенческие факторы: Популярность контента (например, click rate), используемая при расчете Media Quality Score. Также упоминается использование click-through rate результатов для обучения системы (learning techniques).
• Мультимедиа и Технические факторы: Технические характеристики контента (разрешение, битрейт) и доступность (пропускная способность сервера), используемые в Media Quality Score.
• Системные данные: Предварительно рассчитанные Entity Tables, связывающие веб-ресурсы с сущностями.

Какие метрики используются и как они считаются

• Relevancy Score: Стандартная метрика ранжирования веб-поиска. Используется для выбора топовых веб-страниц, которые будут анализироваться для извлечения сущностей.
• Topic Score (Entity Score): Рассчитывается путем подсчета количества топовых веб-результатов, в которых встречается или описывается конкретная сущность. Патент упоминает использование хэш-таблиц для агрегации этих данных (hash table и count value). Оценка может быть взвешена по Relevancy Score соответствующей веб-страницы.
• Media Quality Score: Агрегированная метрика для финального ранжирования медиа-активов. Включает компоненты Q1 (качество видео), Q2 (качество аудио), Q3 (популярность) и Q4 (доступность).

1. Веб-индекс как источник знаний о сущностях: Патент демонстрирует, как Google использует основной веб-индекс в качестве обширного источника описательных знаний о сущностях, которых может не хватать в специализированных базах данных. Контент веб-сайтов напрямую влияет на то, как система интерпретирует описательные запросы.
2. Критичность ранжирования в веб-поиске для вертикалей: Только те веб-страницы, которые достигли топа выдачи (высокий Relevancy Score) по исходному описательному запросу, используются для извлечения сущностей. Сайты, которые не ранжируются по этим запросам, не участвуют в процессе идентификации сущностей этим методом.
3. Трансформация запроса через извлечение сущностей: Ключевым механизмом является преобразование неструктурированного текста запроса в структурированные идентификаторы сущностей (Media Entities) посредством анализа контента третьих сторон (веб-сайтов).
4. Topic Score как мера уверенности: Topic Score выступает как мера уверенности системы в том, что данная сущность действительно релевантна исходному запросу. Чем чаще авторитетные (высоко ранжирующиеся) веб-страницы ассоциируют запрос с сущностью, тем выше оценка.
5. Универсальность подхода: Хотя патент сфокусирован на медиаконтенте, описанный двухэтапный подход (Веб-поиск -> Извлечение сущностей -> Специализированный поиск) применим к любой вертикали (Товары, Локации, Персоналии).

Best practices (это мы делаем)

• Создание комплексных описаний сущностей: Для сайтов, фокусирующихся на конкретных нишах (обзоры фильмов, каталоги товаров, базы знаний), критически важно предоставлять богатый, описательный контент. Включайте информацию, которую пользователи могут искать: темы, сюжеты, характеристики, сценарии использования, альтернативы.
• Оптимизация под описательные и тематические запросы: Таргетируйте запросы, описывающие сущность, а не только её название. Например, оптимизируйте страницу о фильме не только под его название, но и под запросы, связанные с его сюжетом или ключевыми сценами. Это повышает Relevancy Score на первом этапе поиска.
• Четкая ассоциация контента с сущностью: Убедитесь, что контент страницы недвусмысленно сфокусирован на конкретной сущности. Используйте структурированные данные (Schema.org), четкие заголовки и организацию контента. Это облегчает работу модуля извлечения сущностей и помогает в формировании точного Topic Score.
• Построение Topical Authority: Становитесь авторитетным источником информации о сущностях в вашей нише. Высокое ранжирование в веб-поиске гарантирует, что ваша интерпретация и описание сущностей будут использоваться Google для ответов на запросы пользователей в специализированных вертикалях.

Worst practices (это делать не надо)

• Тонкий контент и только метаданные: Создание страниц, содержащих только базовые спецификации или метаданные (например, списки актеров или технические характеристики товара) без содержательного описания. Такие страницы вряд ли будут ранжироваться по описательным запросам и не предоставят достаточной contextual information.
• Неоднозначные упоминания сущностей: Создание контента, который хаотично упоминает множество сущностей без четкого фокуса. Это затрудняет идентификацию основной сущности страницы и может привести к низкому Topic Score для всех упомянутых сущностей.
• Игнорирование информационного интента: Фокус исключительно на транзакционных запросах и игнорирование информационных и описательных запросов снижает видимость сайта на первом этапе механизма, описанного в патенте.

Стратегическое значение

Этот патент подтверждает стратегическую важность основного веб-индекса как "мозга" для всех остальных поисковых вертикалей Google. Он показывает, что видимость в специализированных продуктах Google (Товары, Видео, Карты) часто зависит от того, насколько хорошо и авторитетно сущность описана в вебе. Для SEO-стратегии это означает, что работа над контентом и Topical Authority в веб-поиске напрямую конвертируется в распознавание сущностей и трафик из специализированных вертикалей.

Практические примеры

Сценарий: Оптимизация сайта с обзорами техники для улучшения распознавания товаров (Применение вне медиа)

1. Задача: Убедиться, что обзоры на сайте помогают Google идентифицировать товары по описательным запросам в Google Shopping.
2. Действие (Анализ запросов): SEO-команда анализирует, как пользователи ищут товары не по названию (например, "ноутбук для дизайнера с лучшим экраном" вместо "Dell XPS 15").
3. Действие (Контент): Создается подробный обзор Dell XPS 15, где явно и подробно описываются его преимущества для дизайнеров и характеристики экрана. Страница оптимизируется под выявленные описательные запросы.
4. Результат (Работа механизма):
   • Пользователь ищет: "ноутбук для дизайнера с лучшим экраном".
   • Google (Этап 1) ищет в Веб-индексе. Сайт с обзором ранжируется высоко (высокий Relevancy Score).
   • Google (Этап 2) анализирует контент обзора и идентифицирует сущность "Dell XPS 15" как высокорелевантную (высокий Topic Score).
   • Google (Этап 3) ищет "Dell XPS 15" в базе товаров (Второй корпус) и показывает его пользователю в выдаче Google Shopping.