Как Google использует краудсорсинг для понимания фактологических запросов и создания шаблонов ответов

Термины и определения

Attribute (Атрибут)

Конкретный факт, свойство или характеристика сущности (Topic). Например, «Рост» (Height) или «Дата рождения».

Data Store (Хранилище данных)

База данных, хранящая сущности, их атрибуты и связи между ними (граф знаний). Используется для определения категорий сущностей и хранения значений атрибутов.

Generalized Query Pattern (Обобщенный паттерн запроса)

Шаблон запроса, созданный путем замены конкретной сущности или атрибута на идентификатор категории. Например, [how tall is /Person/]. Используется для сопоставления с новыми запросами.

Identifier (Идентификатор)

Метка категории, используемая для замены конкретных терминов в процессе обобщения. Например, /Person/, /President/, /Attribute/, /Modifier/.

Query Pattern (Паттерн запроса)

Нормализованная версия запроса, полученного от пользователя. Например, запрос «How tall is Barack Obama?» превращается в паттерн [how tall is barack obama].

Statement (Утверждение)

Факт, предоставляемый системой пользователям для инициации сбора данных. Содержит сущность и значение атрибута. Например, «Barack Obama is 6'1"».

Topic (Сущность/Топик)

Конкретный человек, место или предмет, о котором запрашивается информация. Например, «Барак Обама».

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обучения паттернам запросов.

1. Система предоставляет множеству пользователей поисковой системы утверждение (statement), которое ссылается на конкретный атрибут (particular attribute) конкретной сущности (particular topic).
2. В ответ на это система получает от пользователей набор кандидатов в паттерны запросов (collection of candidate query patterns). Пользователи указывают, что эти термины полезны для получения значения данного атрибута для данной сущности.
3. Система выбирает подмножество из этих кандидатов (фильтрация).
4. Система обобщает один или несколько выбранных паттернов для создания обобщенных паттернов (generalized query patterns), которые полезны для получения значения того же атрибута, но для других сущностей.
5. Система ассоциирует эти обобщенные паттерны с исходной сущностью, а также с другими сущностями (one or more other topics), которые имеют этот же атрибут.

Claim 2 (Зависимый от 1): Описывает применение обученных паттернов.

1. Система получает запрос от пользователя.
2. Определяет, что часть запроса соответствует конкретному обобщенному паттерну.
3. На основании этого соответствия система извлекает значение конкретного атрибута для другой сущности, на которую ссылается запрос.

(Это означает, что если система обучила шаблон [how tall is /Person/] и получила запрос «How tall is Abraham Lincoln», она использует шаблон для извлечения роста Линкольна).

Claim 4 (Зависимый от 3): Уточняет процесс фильтрации.

Полученные запросы фильтруются для удаления тех, частота встречаемости которых не удовлетворяет пороговому значению (predetermined threshold).

Claim 5 (Зависимый от 1): Уточняет процесс обобщения.

Обобщение включает замену части паттерна запроса, соответствующей конкретной сущности (particular topic), на один или несколько идентификаторов (identifiers).

Claim 6 (Зависимый от 1): Уточняет выбор исходного утверждения.

Утверждение (statement) выбирается специально для того, чтобы вызвать получение паттернов запросов, включающих конкретный атрибут, для которого системе необходимы ассоциации с обобщенными паттернами. (Система активно ищет пробелы в своем понимании и запрашивает данные для их заполнения).

Где и как применяется

Изобретение в первую очередь относится к этапу понимания запросов и использует данные, хранящиеся в индексе (базе знаний).

INDEXING – Индексирование и извлечение признаков
На этом этапе функционирует Data Store (Knowledge Graph), который хранит сущности (Topics), их атрибуты (Attributes) и связи. Эта структура данных используется для определения категорий сущностей (например, что Барак Обама — это Person) и для хранения значений атрибутов.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Процесс обучения паттернам происходит офлайн или в фоновом режиме:

1. Обучение (Offline): Система использует краудсорсинг для сбора query patterns, обобщает их в generalized query patterns и сохраняет эти шаблоны. Это формирует базу знаний о том, как пользователи задают вопросы.
2. Применение (Real-time): Когда пользователь вводит запрос, система нормализует его и пытается сопоставить с сохраненными generalized query patterns. Если соответствие найдено, система понимает интент запроса как поиск конкретного факта (атрибута) о конкретной сущности.

RANKING / METASEARCH
Если запрос успешно интерпретирован как фактологический с помощью generalized query pattern, система может инициировать поиск в Data Store (Knowledge Graph) для извлечения точного ответа. Этот ответ затем может быть представлен в виде специального элемента выдачи (Direct Answer, Knowledge Panel).

Входные данные:

• Утверждение (Statement) (на этапе обучения).
• Запросы от пользователей (Queries) (на этапе обучения).
• Структура Data Store (связи и категории сущностей).
• Запрос пользователя (на этапе применения).

Выходные данные:

• Обобщенные паттерны запросов (Generalized Query Patterns) (на этапе обучения).
• Интерпретация запроса пользователя (идентифицированная сущность и атрибут) (на этапе применения).
• Значение атрибута (ответ на вопрос) (на этапе применения).

На что влияет

• Специфические запросы: Наибольшее влияние на информационные запросы, сформулированные как вопросы (Кто, Что, Где, Когда, Сколько), ищущие конкретные факты.
• Конкретные типы контента: Влияет на контент, содержащий четкие факты и данные о сущностях (справочники, энциклопедии, базы данных, страницы продуктов с характеристиками).
• Форматы контента: Способствует выделению кратких, точных ответов (Featured Snippets, Direct Answers).
• Голосовой поиск: Механизм критичен для голосового поиска, где запросы часто формулируются как естественные вопросы, требующие точного ответа.

Когда применяется

• Триггеры активации (Обучение): Когда система определяет нехватку generalized query patterns для определенного атрибута или категории сущностей (Claim 6).
• Триггеры активации (Применение): Когда входящий запрос пользователя соответствует одному из ранее изученных generalized query patterns.
• Временные рамки: Обучение происходит периодически или непрерывно в фоновом режиме. Применение происходит в реальном времени при обработке запроса.

Пошаговый алгоритм

Процесс А: Обучение паттернам (Offline/Background)

1. Идентификация потребности: Система определяет атрибут, для которого не хватает обобщенных паттернов запросов.
2. Генерация утверждения: Выбирается сущность, имеющая данный атрибут, и формируется утверждение (Statement) (например, «Барак Обама 6'1"»).
3. Сбор данных (Краудсорсинг): Утверждение предоставляется множеству пользователей.
4. Получение запросов: Система собирает предложенные пользователями запросы (например, «Какой рост у Обамы?»).
5. Фильтрация: Запросы фильтруются. Удаляются запросы с низкой частотой встречаемости (ниже порога) или низкими рейтингами от других пользователей.
6. Нормализация: Оставшиеся запросы нормализуются в Query Patterns (например, [какой рост у обамы]).
7. Обобщение: Система идентифицирует сущность («обама») и/или атрибут («рост») в паттерне. Используя Data Store, она определяет категорию сущности (например, Person). Конкретные термины заменяются на идентификаторы (Identifiers), создавая Generalized Query Pattern (например, [какой рост у /Person/]). Этот процесс может быть итеративным.
8. Ассоциация и хранение: Обобщенный паттерн ассоциируется с атрибутом (Height) для всех сущностей категории (Person) в Data Store.

Процесс Б: Применение паттернов (Real-time)

1. Получение запроса: Система получает новый запрос (например, «Какой рост у Шакила О'Нила?»).
2. Нормализация запроса: Запрос преобразуется в нормализованный вид ([какой рост у шакила онила]).
3. Сопоставление с шаблонами: Система сравнивает нормализованный запрос с базой Generalized Query Patterns.
4. Идентификация соответствия: Обнаруживается соответствие с шаблоном [какой рост у /Person/].
5. Интерпретация: Система интерпретирует запрос как поиск атрибута «Рост» для сущности «Шакил О'Нил» (категория Person).
6. Извлечение ответа: Система обращается к Data Store и извлекает значение атрибута «Рост» для данной сущности.
7. Предоставление ответа: Ответ (например, 7'1") предоставляется пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке запросов и использовании структуры базы знаний. Он не детализирует факторы ранжирования веб-страниц.

• Пользовательские факторы (Краудсорсинг): Данные, генерируемые пользователями в ответ на утверждения (Statements). Это включает предложенные запросы и, возможно, рейтинги запросов друг друга.
• Структурные данные (Data Store/Knowledge Graph): Информация о сущностях, их атрибутах и, что критически важно, их категориях и иерархии (например, X является Президентом, Президент является Политиком, Политик является Человеком). Эти данные используются для процесса обобщения.
• Временные факторы (Модификаторы): Патент упоминает возможность обработки модификаторов (Modifier) в запросах, таких как даты (например, «Кто был президентом США в 1943 году?»), что требует использования временных данных для ограничения ответа.

Какие метрики используются и как они считаются

• Частота встречаемости запроса (Frequency of occurrence): Метрика, используемая на этапе фильтрации. Запросы, которые предлагаются слишком редко в ответ на утверждение, отбрасываются.
• Пороговое значение (Predetermined threshold): Порог для частоты встречаемости, необходимый для того, чтобы запрос прошел фильтрацию.
• Рейтинги пользователей (Ratings): В одном из вариантов реализации пользователи могут оценивать предложенные запросы по качеству (грамматика, естественность, соответствие факту). Эти рейтинги могут использоваться для фильтрации.
• Соответствие шаблону (Pattern Match): Метрика, определяющая, соответствует ли нормализованный входящий запрос одному из сохраненных Generalized Query Patterns.

1. Масштабирование понимания через шаблоны: Основная цель патента — не полагаться на ручное кодирование правил для каждого фактологического вопроса, а автоматически (через краудсорсинг) изучать и обобщать шаблоны запросов (Generalized Query Patterns).
2. Краудсорсинг как источник обучающих данных: Google может активно использовать пользователей для сбора данных о том, как естественно формулируются вопросы о конкретных фактах. Система предоставляет факт и собирает вопросы к нему.
3. Критическая роль категоризации сущностей: Процесс обобщения напрямую зависит от того, насколько точно сущности категоризированы в Data Store (Knowledge Graph). Замена «Барак Обама» на /Person/ возможна только если система знает, что он принадлежит к этой категории.
4. Итеративное обобщение: Обобщение может быть итеративным. Паттерн может быть сначала обобщен до [какой рост у /President/], а затем до [какой рост у /Person/], увеличивая охват.
5. Активное обучение: Система не просто пассивно собирает данные, она может активно идентифицировать пробелы в своих знаниях (атрибуты без достаточного количества шаблонов) и целенаправленно запрашивать данные для этих атрибутов (Claim 6).
6. Фильтрация качества данных: Сбор данных включает этап контроля качества, использующий частоту встречаемости или рейтинги пользователей для отсеивания неестественных или некорректных формулировок.

Best practices (это мы делаем)

• Укрепление связи с Knowledge Graph: Убедитесь, что ваша организация, продукты или ключевые сущности корректно представлены и категоризированы в Knowledge Graph. Это основа для того, чтобы система могла применить к ним изученные Generalized Query Patterns. Используйте разметку Schema.org (особенно @type и sameAs).
• Оптимизация под вопросы и ответы (FAQ): Создавайте контент, который прямо отвечает на фактологические вопросы о ваших сущностях. Используйте естественные формулировки вопросов, которые пользователи могут использовать (например, в заголовках или блоках FAQ). Это повышает вероятность того, что ваш контент будет использован для ответа, извлеченного с помощью этих шаблонов.
• Структурирование данных на странице: Представляйте факты и атрибуты в структурированном виде (таблицы характеристик, списки определений, семантическая верстка). Это помогает поисковой системе извлекать значения атрибутов, когда запрос интерпретирован через шаблон.
• Оптимизация под голосовой поиск: Поскольку механизм направлен на понимание естественных вопросов, оптимизация контента под разговорный стиль и предоставление кратких, четких ответов становится приоритетом для голосового поиска.

Worst practices (это делать не надо)

• Скрытие фактов в неструктурированном тексте: Представление ключевых характеристик или фактов исключительно в виде длинных абзацев текста затрудняет их извлечение и использование в качестве прямых ответов.
• Использование неоднозначных терминов для атрибутов: Использование нестандартных или жаргонных названий для общепринятых атрибутов (например, использование «длина» вместо «рост» для человека) может помешать системе сопоставить контент с изученными шаблонами.
• Игнорирование микроразметки: Отсутствие Schema.org снижает способность Google точно идентифицировать и категоризировать ваши сущности и их атрибуты, что является необходимым условием для работы описанного механизма.

Стратегическое значение

Патент подтверждает стратегическую важность Knowledge Graph и понимания сущностей (Entity-First Indexing). Способность Google понимать фактологические запросы на уровне шаблонов означает, что система может предоставлять ответы напрямую, минуя традиционное ранжирование веб-страниц. Для SEO это означает сдвиг фокуса с оптимизации под ключевые слова на оптимизацию под сущности и их атрибуты, а также на предоставление структурированных, достоверных фактов, которые могут быть легко извлечены и использованы в качестве прямых ответов.

Практические примеры

Сценарий: Оптимизация страницы продукта E-commerce

Цель: Обеспечить видимость характеристик товара в прямых ответах на фактологические запросы.

1. Анализ шаблонов: SEO-специалист предполагает, что для атрибута «вес» существуют шаблоны типа [сколько весит /Product/] или [вес /Product/].
2. Идентификация сущности: Убедиться, что страница четко идентифицирует продукт (например, «iPhone 16 Pro Max») с помощью заголовка H1 и разметки Schema.org/Product.
3. Структурирование атрибутов: Разместить характеристики в четкой таблице или списке определений (<dl>). Использовать стандартные названия атрибутов («Вес», «Размеры», «Емкость батареи»).
4. Добавление FAQ: Включить блок FAQ с вопросами, соответствующими ожидаемым шаблонам: «Сколько весит iPhone 16 Pro Max?», «Какая емкость батареи у iPhone 16 Pro Max?».
5. Ожидаемый результат: Когда пользователь спрашивает у Google «Сколько весит iPhone 16 Pro Max?», система использует Generalized Query Pattern для интерпретации запроса и с большей вероятностью извлечет точный вес со страницы продукта для прямого ответа.