Как Google использует многоэтапное ранжирование и автоматическое расширение запросов для повышения релевантности выдачи

Термины и определения

Attribute Table (Таблица атрибутов)

Структура данных, хранящая атрибуты для каждого токена в документе (например, шрифт, расположение в заголовке, метаданные). Используется на Этапе 3 ранжирования.

GTokenID (Global Token Identifier)

Уникальный идентификатор, присваиваемый каждому уникальному токену во всем корпусе документов. Определяется в Global Lexicon.

Global Lexicon (Глобальный лексикон)

Словарь, содержащий все уникальные токены корпуса и их GTokenIDs.

LTokenID (Local Token Identifier)

Локальный идентификатор токена, используемый в Mini-Lexicon. Обычно имеет меньший размер (например, 1 байт), чем GTokenID, и используется для сжатия.

Mini-Lexicon (Мини-лексикон)

Локальный словарь, используемый для кодирования/декодирования определенного диапазона позиций в Tokenspace Repository. Содержит соответствие между LTokenIDs и GTokenIDs.

Multi-Stage Query Processing (Многоэтапная обработка запросов)

Архитектура ранжирования, в которой документы проходят через последовательные этапы оценки, причем каждый последующий этап использует более сложные сигналы на меньшем наборе кандидатов.

Query Expansion (Расширение запроса)

Процесс добавления дополнительных терминов (например, синонимов или связанных понятий) к исходному запросу для улучшения релевантности результатов.

Relevance Feedback (Обратная связь по релевантности)

Механизм, который анализирует результаты поиска (часто топовые результаты, считающиеся релевантными) для автоматической генерации терминов расширения запроса.

Snippet (Сниппет)

Небольшой фрагмент текста из документа, обычно включающий текст вокруг ключевых слов запроса. Генерируется на Этапе 4.

Token (Токен)

Объект в документе (слово, фраза, пунктуация, HTML-тег), являющийся базовой единицей индексирования и поиска.

Tokenspace Repository (Репозиторий токенов)

Сжатое хранилище всего корпуса документов в токенизированном виде. Документы хранятся как последовательность закодированных токенов (например, LTokenIDs).

Tokenspace Inverse Index (Инвертированный индекс токенов)

Структура данных, которая отображает GTokenIDs на их позиции в Tokenspace Repository.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод многоэтапной обработки запроса с автоматическим расширением.

1. Первый этап обработки:
   • Получение из индекса списка позиций токенов (list of token positions) для терминов запроса.
   • Получение первого набора идентификаторов документов (DocIDs).
   • Генерация первого набора оценок релевантности (S1).
2. Второй этап обработки:
   • Генерация второго набора оценок релевантности (S2) для документов из первого набора. Оценка базируется на одном или нескольких факторах: списке позиций токенов, расстояниях между терминами запроса (Proximity), атрибутах токенов (Attributes) ИЛИ контексте использования термина (Context).
   • Выбор подмножества документов на основе S2.
3. Автоматическое расширение запроса:
   • Автоматическая генерация одного или нескольких новых терминов расширения запроса (new query expansion terms) на основе документов из выбранного подмножества.
4. Генерация нового запроса:
   • Генерация нового выражения запроса на основе исходного запроса и терминов расширения для повторной обработки (как минимум, первым этапом) с целью получения второго набора DocIDs.

Ядром изобретения является не только многоэтапное ранжирование, но и интеграция автоматической обратной связи по релевантности (Relevance Feedback), где анализ топовых результатов первой итерации используется для расширения и повторного выполнения запроса.

Claim 5 (Зависимый от 1): Уточняет механизм генерации терминов расширения.

Во время второго этапа обработки генерируются сниппеты для одного или нескольких документов из подмножества. Новые термины расширения запроса генерируются автоматически на основе этих сниппетов.

Где и как применяется

Патент описывает архитектуру, затрагивающую практически все ключевые этапы поиска.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит предварительная обработка корпуса: генерация Global Lexicon и Mini-Lexicons, кодирование документов в Tokenspace Repository, создание Tokenspace Inverse Index и извлечение атрибутов для Attribute Table.

QUNDERSTANDING – Понимание Запросов
Query Parser и Query Expander работают на этом этапе, преобразуя запрос пользователя в GTokenIDs и формируя дерево запроса (Query Tree). Механизм Relevance Feedback также влияет на этот этап, предоставляя новые термины для расширения запроса на второй итерации.

RANKING – Ранжирование
Основное применение патента. Описанная многоэтапная система реализует каскадное ранжирование:

• L1/L2 (Отбор и Легковесное ранжирование): Соответствует Этапу 1 (First Stage Query Processor). Быстрый отбор кандидатов и базовый скоринг (S1).
• L2/L3 (Глубокое ранжирование): Соответствует Этапам 2, 3 и 4. Применение более сложных сигналов (Proximity, Attributes, Context) к отобранным кандидатам для точного ранжирования (S2, S3, S4).

RERANKING – Переранжирование
Финальный выбор Топ-Z документов и генерация сниппетов (Этап 4) могут рассматриваться как часть финального ранжирования или переранжирования перед показом пользователю.

Входные данные:

• Запрос пользователя.
• Global Lexicon.
• Tokenspace Inverse Index.
• DocID Map.
• Attribute Table.
• Tokenspace Repository и Mini-Lexicons (для Этапа 4).

Выходные данные:

• Отсортированный список DocIDs с финальными оценками релевантности.
• Сниппеты для топовых документов.
• (Внутренне) Термины расширения запроса для следующей итерации.

На что влияет

Это архитектурный патент, поэтому он влияет на обработку всех типов контента и запросов.

• Специфические запросы: Наибольшее влияние оказывается на запросы, где релевантность сильно зависит от близости терминов (например, фразовые запросы), структуры документа или контекста, а также на неоднозначные запросы, которые выигрывают от автоматического расширения.
• Определенные форматы контента: Влияет на контент, где структурные элементы (заголовки, выделения) играют важную роль в определении значимости терминов (Этап 3).

Когда применяется

• Многоэтапное ранжирование: Применяется при обработке большинства запросов для эффективного расчета сложных сигналов. Система последовательно сокращает набор кандидатов на каждом этапе (Top X, Top Y, Top Z).
• Многопроходная обработка (Relevance Feedback): Может применяться универсально или активироваться для определенных типов запросов. Система выполняет как минимум два прохода: первый для генерации терминов расширения, второй – для финального ранжирования расширенного запроса.

Пошаговый алгоритм

Описан процесс многопроходной обработки запроса.

Проход 1 (Генерация расширения)

1. Парсинг запроса: Исходный запрос токенизируется Query Parser и преобразуется в GTokenIDs с помощью Global Lexicon.
2. Первичное расширение: Query Expander формирует первичное дерево запроса (Query Tree).
3. Этап 1 (Базовый отбор и S1): First Stage Query Processor использует Inverse Index и DocID Map для поиска документов. Рассчитывается S1 (частота, популярность).
4. Этап 2 (Proximity и S2): Second Stage Query Processor анализирует позиции токенов для оценки близости терминов. Рассчитывается S2. Выбираются Топ-X документов.
5. Этап 3 (Attributes и S3): Third Stage Query Processor использует Attribute Table для оценки значимости терминов (заголовки, шрифты). Рассчитывается S3. Выбираются Топ-Y документов.
6. Этап 4 (Context, Snippets и S4): Fourth Stage Query Processor выполняет частичную реконструкцию Топ-Y документов из Tokenspace Repository. Генерируются "длинные сниппеты" (Long Snippets) для анализа контекста. Рассчитывается S4.
7. Обратная связь по релевантности: Relevance Feedback Module анализирует "длинные сниппеты" и документы для идентификации новых терминов расширения запроса.

Проход 2 (Финальное ранжирование)

1. Расширение запроса: Query Expander обновляет Query Tree, добавляя новые термины из Прохода 1.
2. Этапы 1-3: Повторное выполнение Этапов 1, 2 и 3 для расширенного запроса. Генерация обновленных оценок S1, S2, S3.
3. Этап 4 (Финальный скоринг и сниппеты): Повторное выполнение Этапа 4. Генерация финальных оценок S4 и "коротких сниппетов" (Short Snippets), пригодных для показа пользователю.
4. Вывод результатов: Предоставление отсортированного списка документов и сниппетов пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на архитектуре обработки и явно упоминает использование следующих данных для ранжирования:

• Контентные и Структурные факторы (Attributes): Система использует Attribute Table, которая содержит информацию о расположении токена (Title, Heading, Metadata) и его форматировании (Font attributes, Bold, Underlined). Это напрямую используется на Этапе 3.
• Технические факторы (Позиции токенов): Позиции токенов в Tokenspace Repository являются основой для расчета близости (Proximity) на Этапе 2 и для реконструкции контекста на Этапе 4.
• Поведенческие факторы (Популярность): Упоминается, что Этап 1 может использовать популярность документов (popularity of the documents), что может включать независимую от запроса оценку важности документа (например, PageRank или аналогичные метрики).

Какие метрики используются и как они считаются

Система рассчитывает несколько наборов оценок релевантности (Relevancy Scores) инкрементально:

• S1 (Базовая релевантность): Рассчитывается на Этапе 1. Факторы: наличие термина, частота термина (term frequency), популярность документа.
• S2 (Proximity Score): Рассчитывается на Этапе 2. Основана на близости или относительных позициях терминов запроса в документе. Документы, где термины расположены ближе друг к другу, получают более высокую оценку.
• S3 (Attribute Score): Рассчитывается на Этапе 3. Основана на атрибутах терминов. Термины в важных позициях (Title, Headings) или с определенным форматированием получают больший вес.
• S4 (Context Score): Рассчитывается на Этапе 4. Основана на анализе контекста вокруг терминов запроса после частичной реконструкции документа.

Агрегация данных: Патент указывает, что последующие оценки могут быть получены путем корректировки предыдущих оценок (например, S2 может быть получена путем корректировки S1 с учетом факторов Этапа 2).

Методы анализа (Relevance Feedback): Для генерации терминов расширения используются алгоритмы обратной связи по релевантности (например, pseudo-relevance feedback algorithms), которые анализируют контент (в частности, сниппеты) топовых документов.

1. Каскадное ранжирование как основа эффективности: Патент подтверждает, что Google использует многоэтапную архитектуру для баланса скорости и качества. Сложные сигналы применяются только к небольшому набору лучших кандидатов, отобранных на предыдущих этапах.
2. Явное выделение Proximity, Attributes и Context как этапов ранжирования: Близость ключевых слов (Этап 2), структурные и визуальные атрибуты (Этап 3, например, заголовки, выделение текста) и контекст окружения (Этап 4) являются отдельными, последовательными слоями оценки релевантности.
3. Критическая роль автоматического расширения запросов (Relevance Feedback): Система активно использует механизм автоматического анализа топовых результатов (в частности, сниппетов) для поиска дополнительных терминов и повторного выполнения запроса (многопроходная система).
4. Влияние Топа на Понимание Запроса: Механизм Relevance Feedback означает, что контент страниц, находящихся в топе выдачи, напрямую влияет на то, как Google понимает и расширяет запрос для всех пользователей. Топовые сайты "обучают" систему связанным терминам.
5. Эффективный доступ к данным: Архитектура полагается на специализированные структуры данных (Tokenspace Repository, Attribute Table) для быстрого доступа к информации о позициях, атрибутах и контексте без полной декомпрессии документов.

Best practices (это мы делаем)

• Оптимизация под близость терминов (Proximity - Этап 2): Размещайте ключевые слова и связанные с ними сущности близко друг к другу в тексте. Структурируйте предложения так, чтобы семантически связанные понятия находились в непосредственной близости.
• Использование структурных и визуальных атрибутов (Attributes - Этап 3): Активно используйте иерархию заголовков (H1-H6), Title и метаданные для размещения ключевых терминов. Патент подтверждает, что система отдельно оценивает значимость терминов на основе их расположения и форматирования (например, выделение жирным).
• Оптимизация контекста и сниппетов (Context - Этап 4): Убедитесь, что текст, окружающий ключевые слова, является максимально релевантным и описательным. Это влияет как на оценку S4, так и на качество генерируемого сниппета.
• Влияние на расширение запросов (Relevance Feedback): Стремитесь к достижению топовых позиций, чтобы ваш контент участвовал в формировании терминов расширения запроса. Используйте богатый, семантически разнообразный словарь, включающий синонимы и связанные термины, чтобы "научить" систему правильным ассоциациям.
• Построение Topical Authority: Создание контента, который всесторонне охватывает тему, увеличивает вероятность того, что система идентифицирует релевантные термины расширения на вашем сайте, укрепляя ваше ранжирование по широкому спектру связанных запросов.

Worst practices (это делать не надо)

• Keyword Stuffing без учета структуры и близости: Простое повторение ключевых слов малоэффективно, так как Этапы 2 и 3 анализируют взаиморасположение терминов и их структурную значимость.
• Игнорирование структуры документа: Создание "плоского" текста без четкой иерархии заголовков и семантического форматирования снижает потенциал ранжирования на Этапе 3 (Attribute Scoring).
• Нерелевантный контекст: Размещение ключевых слов в окружении текста, не связанного с основной темой, может негативно сказаться на оценке S4 (Context Scoring) и привести к генерации нерелевантных сниппетов.

Стратегическое значение

Патент подчеркивает стратегическую важность комплексного подхода к оптимизации контента, выходящего за рамки простого включения ключевых слов. Он подтверждает, что структура документа, взаимосвязь между терминами и общий контекст являются отдельными, измеримыми сигналами ранжирования. Кроме того, механизм автоматического расширения запросов демонстрирует, что SEO – это не только соответствие запросу, но и влияние на его интерпретацию системой через качественный контент в топе выдачи.

Практические примеры

Сценарий: Оптимизация страницы категории E-commerce

Применение принципов патента для страницы категории "Беспроводные наушники для спорта".

1. Этап 2 (Proximity): Убедиться, что термины "беспроводные", "наушники" и "спорт" часто встречаются в непосредственной близости друг от друга во вводном тексте и описаниях товаров.
2. Этап 3 (Attributes): Разместить основное ключевое слово в Title и H1. Использовать H2 для подкатегорий (например, "Лучшие влагозащищенные наушники для бега"). Выделять ключевые характеристики товаров (например, время работы батареи) жирным шрифтом в списках.
3. Этап 4 (Context/Snippets): Для каждого товара предоставить краткое, емкое описание, которое сформирует качественный сниппет, четко объясняющий преимущества модели для спортивного использования.
4. Relevance Feedback: Включить в текст связанные термины, которые система может использовать для расширения запроса: "TWS", "Bluetooth 5.2", "влагозащита IPX7", "надежная посадка", "звукоизоляция". Если страница попадет в топ, эти термины могут быть автоматически добавлены к исходному запросу пользователя на второй итерации поиска.