Как Google использует результаты веб-поиска для выбора правильного ответа на неоднозначные фактические запросы

Термины и определения

Annotated Resource (Аннотированный ресурс)

Ресурс (например, веб-страница), который на основе автоматической оценки его контента был ассоциирован с аннотацией, идентифицирующей одну или несколько вероятных тем (сущностей), связанных с этим ресурсом.

Annotation (Аннотация)

Связь между ресурсом и сущностью (Topic) из базы знаний. Указывает на то, что данный ресурс, вероятно, обсуждает данную сущность.

Annotator (Аннотатор)

Компонент системы (упомянутый в описании, но не в Claims), который автоматически оценивает контент ресурсов и создает аннотации.

Answer Generator (Генератор ответов)

Компонент системы, который извлекает факты (Answers) из Knowledge Base для Candidate Topics и формирует Candidate Topic-Answer Pairs.

Candidate Topic (Кандидат-Сущность / Тема)

Сущность из Knowledge Base, идентифицированная как возможная интерпретация предмета запроса.

Candidate Topic-Answer Pair (Пара Кандидат-Сущность + Ответ)

Структура данных, включающая Candidate Topic и соответствующий ему Answer на запрос.

Confidence Measure / Confidence Score (Мера уверенности аннотации)

Метрика, указывающая, насколько вероятно, что ресурс действительно связан с сущностью, указанной в аннотации.

Knowledge Base (База знаний)

Хранилище фактов и информации о сущностях, часто структурированное в виде графа (Data Graph), где узлы — это сущности (Topics), а ребра — отношения или атрибуты.

Mapping Module (Модуль сопоставления)

Компонент, который интерпретирует запрос и идентифицирует Candidate Topics в Knowledge Base.

Query Relevance Score (Оценка релевантности запросу)

Метрика, присваиваемая результату поиска и указывающая, насколько он релевантен исходному запросу (часто коррелирует с позицией в ранжировании).

Scoring Module (Модуль оценки)

Компонент, рассчитывающий оценку (Score) для каждой Candidate Topic-Answer Pair на основе анализа результатов поиска и аннотаций.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения ответа на запрос.

1. Система идентифицирует одну или несколько Candidate Topics на основе запроса.
2. Для каждого кандидата генерируется Candidate Topic-Answer Pair (Сущность + Ответ).
3. Система получает результаты поиска по запросу. Ключевое условие: один или несколько результатов ссылаются на Annotated Resource.
4. Для каждой пары рассчитывается Score. Расчет основан на двух критериях:
   1. (i) Появление Candidate Topic в аннотациях ресурсов из результатов поиска.
   2. (ii) Появление Answer в аннотациях ИЛИ непосредственно в контенте (in the resources) этих ресурсов.
5. На основе этих оценок система определяет, следует ли отвечать на запрос одним или несколькими ответами из сгенерированных пар.

Claim 2 (Зависимый от 1): Уточняет механизм принятия решения.

Определение того, нужно ли отвечать, включает сравнение оценок с предопределенным порогом (predetermined threshold). Если порог превышен, система выбирает ответ(ы).

Claim 10 (Зависимый от 1): Уточняет механизм скоринга.

Оценка (Score) для пары дополнительно основывается на Query Relevance Score (оценке релевантности) тех результатов поиска, которые подтверждают пару. Подтверждение факта на более релевантной (и высокоранжирующейся) странице имеет больший вес.

Claim 11 (Зависимый от 1): Уточняет механизм скоринга.

Оценка (Score) для пары дополнительно основывается на Confidence Measure (мере уверенности) самих аннотаций, в которых были найдены Candidate Topic или Answer. Если система уверена в аннотации, это подтверждение имеет больший вес.

Где и как применяется

Изобретение интегрирует данные из индекса и базы знаний, затрагивая несколько этапов поиска для формирования финального ответа.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит критически важная предварительная работа. Annotator анализирует контент ресурсов и связывает их с сущностями из Knowledge Base (создает Annotations). Также рассчитывается Confidence Measure для каждой аннотации. Эти данные сохраняются.

QUNDERSTANDING – Понимание Запросов
Mapping Module анализирует запрос, определяет его как поиск факта и идентифицирует Candidate Topics в Knowledge Base.

RANKING – Ранжирование
Search Engine выполняет стандартный поиск по запросу и генерирует набор результатов с их Query Relevance Scores.

METASEARCH – Метапоиск и Смешивание (Q&A System)
Основное применение патента. Это механизм выбора контента для Прямого Ответа (например, Featured Snippet или Knowledge Panel).

1. Генерация пар: Answer Generator создает Candidate Topic-Answer Pairs.
2. Валидация и Скоринг: Scoring Module анализирует топовые результаты поиска (из RANKING) и их аннотации (из INDEXING). Рассчитываются оценки для пар.
3. Выбор ответа: Система определяет, превышают ли оценки порог, и выбирает лучший ответ для показа пользователю.

Входные данные:

• Исходный запрос пользователя.
• Данные из Knowledge Base (сущности, факты).
• Результаты поиска по запросу и их Query Relevance Scores.
• Аннотации ресурсов из результатов поиска и их Confidence Measures.

Выходные данные:

• Решение о том, показывать ли прямой ответ.
• Выбранная пара «Сущность + Ответ» для показа пользователю.

На что влияет

• Специфические запросы: В первую очередь влияет на информационные запросы, подразумевающие фактический ответ (Кто, Что, Когда, Сколько). Особенно сильно влияет на неоднозначные запросы, где предмет запроса может относиться к разным сущностям (например, «высота Обамы», «длительность Гарри Поттера»).
• Конкретные типы контента: Влияет на контент, содержащий четкие факты и упоминания известных сущностей. Система предпочитает ресурсы, которые она может уверенно аннотировать.

Когда применяется

Алгоритм применяется, когда система распознает запрос как поиск факта.

• Условия активации: Наличие запроса и возможность сгенерировать хотя бы одну Candidate Topic-Answer Pair из Knowledge Base.
• Триггеры для показа ответа: Оценка (Score) лучшей пары должна превысить предопределенный порог (predetermined threshold). Если уверенность низкая (ни одна оценка не достигает порога), прямой ответ не показывается.

Пошаговый алгоритм

Процесс А: Предварительная обработка (Офлайн / Индексирование)

1. Сканирование ресурсов: Crawling Module собирает контент ресурсов.
2. Аннотирование ресурсов: Annotator анализирует контент, определяет вероятные сущности (Topics) из Knowledge Base и создает аннотации (Annotations).
3. Расчет уверенности: Для каждой аннотации рассчитывается Confidence Measure.
4. Индексирование: Данные о ресурсах и их аннотациях сохраняются.

Процесс Б: Обработка запроса (Онлайн)

1. Получение запроса: Система получает запрос от пользователя.
2. Идентификация Кандидатов-Сущностей: Mapping Module анализирует запрос и находит релевантные Candidate Topics в Knowledge Base.
3. Генерация Пар: Answer Generator определяет нужный атрибут (Ответ) для каждой Сущности и формирует Candidate Topic-Answer Pairs.
4. Получение результатов поиска: Search Engine выполняет поиск по исходному запросу и возвращает список результатов с их Query Relevance Scores.
5. Скоринг Пар: Scoring Module анализирует ресурсы, на которые ссылаются результаты поиска. Для каждой Пары рассчитывается Score на основе:
   • Наличия Topic в аннотациях ресурсов.
   • Наличия Answer в аннотациях или контенте ресурсов.
   • Взвешивания по Query Relevance Scores этих ресурсов.
   • Взвешивания по Confidence Measures этих аннотаций.
6. Принятие решения и Выбор: Система сравнивает полученные Scores с порогом (threshold). Если порог превышен, выбирается пара с наивысшим Score.
7. Предоставление ответа: Выбранный ответ показывается пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на процессе выбора ответа и использует следующие типы данных:

• Структурированные данные (Knowledge Base): Сущности (Topics), их атрибуты и значения атрибутов (Answers). Патент упоминает, что данные могут быть представлены в виде графа взаимосвязанных узлов.
• Контентные факторы: Текст ресурсов используется двояко: (i) на этапе индексирования для создания аннотаций; (ii) на этапе скоринга для поиска прямого вхождения Ответа (Answer), если он не найден в аннотациях.
• Системные данные (Индекс): Предварительно рассчитанные аннотации (Annotations) для ресурсов и меры уверенности (Confidence Measures) этих аннотаций.
• Системные данные (Ранжирование): Результаты поиска и их оценки релевантности (Query Relevance Scores).

Какие метрики используются и как они считаются

Система вычисляет финальную оценку (Score) для каждой Candidate Topic-Answer Pair. Конкретная формула агрегации не приводится, но указаны ключевые компоненты расчета:

• Topic Occurrence (Встречаемость Сущности): Частота появления Candidate Topic в аннотациях ресурсов из результатов поиска.
• Answer Occurrence (Встречаемость Ответа): Частота появления Answer в аннотациях или непосредственно в контенте ресурсов из результатов поиска.
• Query Relevance Score (Вес результата): Оценки релевантности результатов поиска. Используются как весовой коэффициент: подтверждение факта на более релевантном ресурсе увеличивает итоговый Score сильнее.
• Confidence Measure (Вес аннотации): Меры уверенности аннотаций. Используются как весовой коэффициент: подтверждение факта через аннотацию с высокой уверенностью увеличивает итоговый Score сильнее.
• Predetermined Threshold (Порог): Минимальное значение Score, необходимое для показа ответа пользователю.

1. Валидация Knowledge Graph через веб-поиск: Патент описывает конкретный механизм, как Google использует консенсус топовых результатов веб-поиска для проверки, ранжирования и разрешения неоднозначностей фактов из своей базы знаний (Knowledge Base).
2. Критичность аннотирования ресурсов: Система полагается на способность Google точно связывать веб-страницы с сущностями (Annotated Resources). Если страница не аннотирована или аннотирована с низкой уверенностью (Confidence Measure), она не внесет существенный вклад в процесс выбора ответа.
3. Важность ко-оккурентности Сущности и Ответа: Для подтверждения факта необходимо, чтобы и Topic (Сущность), и Answer (Ответ) присутствовали (в аннотациях или контенте) на одних и тех же высокоранжированных страницах.
4. Ранжирование имеет прямое значение для Q&A: Вес подтверждения зависит от релевантности страницы (Query Relevance Score). Только топовые результаты поиска эффективно участвуют в процессе валидации фактов.
5. Пороговые значения для точности: Google использует пороги (thresholds) для принятия решения о показе ответа. Если система не уверена в интерпретации запроса (все Scores низкие), она предпочтет не давать прямой ответ.

Best practices (это мы делаем)

• Обеспечение точного распознавания сущностей: Структурируйте контент так, чтобы помочь Google правильно аннотировать вашу страницу. Используйте четкие и однозначные упоминания основных сущностей. Применение семантической разметки (Schema.org) может способствовать повышению Confidence Measure аннотаций.
• Совместное упоминание Сущности и Факта: При оптимизации под фактические запросы убедитесь, что на странице четко присутствуют и Сущность (Topic), и Ответ (Answer). Например, на странице биографии должны быть Имя персоны и Дата рождения. Это напрямую соответствует критериям скоринга в патенте.
• Достижение высоких позиций по целевым запросам: Поскольку Query Relevance Score используется как весовой коэффициент при скоринге ответов, необходимо занимать высокие позиции в поиске. Только высокоранжированные страницы эффективно участвуют в валидации ответов.
• Повышение авторитетности контента: Чем авторитетнее и понятнее контент, тем выше вероятность, что Google будет уверен в своих аннотациях для этой страницы (высокий Confidence Measure), что увеличит ее вес при скоринге ответов.

Worst practices (это делать не надо)

• Неоднозначное упоминание сущностей: Использование местоимений или сокращений вместо полных названий сущностей может помешать процессу аннотирования или снизить Confidence Measure, уменьшая ценность страницы для Q&A системы.
• Разделение Сущности и Ответа: Размещение названия сущности на одной странице, а фактов о ней (ответов) на другой. Система ищет ко-оккурентность на одном ресурсе для подтверждения пары.
• Фокус на фактах без достижения релевантности: Создание страниц с наборами фактов, которые при этом плохо ранжируются по целевым запросам. Если страницы нет в топе выдачи, она не будет использована для валидации ответов.

Стратегическое значение

Патент подтверждает стратегическую важность интеграции между органическим поиском и Knowledge Graph. Он демонстрирует, что органическая выдача служит системой контроля качества и разрешения неоднозначностей для данных из базы знаний. Для SEO это означает, что работа над семантикой (оптимизация под сущности), структурой контента и достижением высоких позиций напрямую влияет на то, как Google формирует фактические ответы.

Практические примеры

Сценарий: Оптимизация страницы фильма для Q&A системы

Целевой запрос: «Длительность Гарри Поттер и Философский камень».

1. Действие: Создать авторитетную страницу о фильме «Гарри Поттер и Философский камень».
2. Реализация (Контент и Разметка): Убедиться, что на странице четко указано полное название фильма (Сущность) и его длительность, например, «152 минуты» (Ответ). Использовать разметку Schema.org/Movie с атрибутом duration.
3. Реализация (SEO): Оптимизировать страницу для достижения высоких позиций (высокий Query Relevance Score) по целевому и смежным запросам.
4. Ожидаемый результат (по патенту):
   • На этапе Индексирования Google аннотирует страницу с сущностью «Гарри Поттер и Философский камень (Фильм)» с высокой Confidence Measure.
   • При обработке запроса система генерирует пару: Фильм + 152 минуты.
   • Система видит, что ваша страница находится в топе результатов поиска.
   • Scoring Module обнаруживает на вашей странице (через аннотацию и контент/разметку) и Сущность, и Ответ.
   • Пара получает высокий Score, и ваша страница способствует валидации этого факта, повышая шансы стать источником для блока с ответом.