Как Google объединяет основной индекс и свежие изменения пользователя для персонализированного поиска

Термины и определения

Change Data (Данные об изменениях)

Записи о действиях пользователей (добавление, удаление, модификация ресурса), произошедших после последнего обновления основного индекса. Включают информацию о пользователе, совершившем изменение.

Change Tracking Engine (Механизм отслеживания изменений)

Компонент системы, который отслеживает и записывает Change Data в реальном времени.

Corpus (Корпус ресурсов)

Коллекция ресурсов (например, веб-страницы, документы, файлы, электронные письма), доступных поисковой системе.

Index Search Result (Результат поиска по индексу)

Стандартный набор результатов, полученный из основного индекса.

Most-recently updated index (Самый последний обновленный индекс)

Текущая версия основного поискового индекса, которая обновляется периодически.

Revised Search Result (Пересмотренный результат поиска)

Финальный набор результатов, полученный путем объединения Index Search Result и релевантных Change Data.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод объединения индексированных данных и данных об изменениях пользователя.

1. Система периодически обновляет компьютерный индекс корпуса ресурсов.
2. Система записывает в память Change Data, специфицирующие изменения, сделанные пользователями. Для каждого изменения (добавление, удаление, модификация) записывается пользователь, сделавший его. Эти изменения произошли слишком поздно, чтобы быть отраженными в текущем индексе.
3. Система получает первый запрос от первого пользователя и соответствующий Index Search Result из текущего индекса.
4. Система ищет в записанных Change Data любые изменения в корпусе, сделанные этим же первым пользователем, которые релевантны запросу.
5. Если такие изменения найдены: генерируется Revised Search Result из изменений и Index Search Result, который предоставляется пользователю.
6. Если нет: пользователю предоставляется стандартный Index Search Result.

Критически важным элементом является строгая персонализация механизма: он компенсирует задержку индексации только для автора изменений.

Claims 2-5 (Зависимые пункты): Детализируют обработку разных типов изменений при генерации Revised Search Result.

• Claim 2 (Модификация → Исключение): Если модификация приводит к тому, что ресурс больше не удовлетворяет запросу, он удаляется из результатов.
• Claim 3 (Модификация → Включение): Если модификация приводит к тому, что ресурс теперь удовлетворяет запросу, он добавляется в результаты.
• Claim 4 (Удаление): Если ресурс был удален пользователем, он удаляется из результатов поиска (даже если он все еще есть в индексе).
• Claim 5 (Добавление): Если ресурс был добавлен пользователем и удовлетворяет запросу, он включается в результаты поиска (даже если его еще нет в индексе).

Где и как применяется

Этот патент описывает инфраструктурный механизм для сред, где пользователи часто ищут контент, который они сами только что создали или изменили (персонализированный поиск, закрытые системы, локальный поиск). В патенте упоминается "desktop file system".

CRAWLING & INDEXING – Сканирование и Индексирование
На этих этапах система периодически обновляет основной индекс. Независимо от этого, Change Tracking Engine постоянно отслеживает действия пользователей (например, получая уведомления от хостов контента) и записывает Change Data в отдельное хранилище (Change Data Recording Memory).

RANKING – Ранжирование
На этом этапе генерируется стандартный Index Search Result на основе данных из основного индекса.

RERANKING / METASEARCH (Blending) – Переранжирование и Смешивание
Это ключевой этап применения патента. Система выполняет дополнительный поиск по хранилищу Change Data, фильтруя результаты по ID текущего пользователя и релевантности запросу. Затем происходит объединение (blending) результатов из основного индекса и Change Data для создания финального Revised Search Result.

Входные данные:

• Запрос пользователя.
• Идентификатор (ID) пользователя.
• Index Search Result (результаты из основного индекса).
• Change Data (записи об изменениях с привязкой к пользователям).

Выходные данные:

• Revised Search Result (объединенный результат) или стандартный Index Search Result.

На что влияет

• Конкретные типы контента: Влияет на любые индексируемые ресурсы в рамках системы (документы, файлы, электронные письма).
• Специфические запросы: Наибольшее влияние на запросы, когда пользователь ищет конкретный ресурс, который он недавно создал или редактировал.
• Область влияния: Влияет исключительно на результаты поиска пользователя по контенту, который этот же пользователь недавно изменил. Не влияет на публичный веб-поиск.

Когда применяется

• Триггер активации: Механизм активируется при каждом поисковом запросе пользователя в системе, где он реализован.
• Условие срабатывания: Корректировка результатов происходит только тогда, когда в Change Data существуют записи, которые (1) сделаны этим пользователем, (2) релевантны запросу и (3) еще не отражены в основном индексе.

Пошаговый алгоритм

1. Обновление индекса (Фоновый процесс): Периодическое создание обновленной версии основного индекса корпуса ресурсов.
2. Запись изменений (Постоянный процесс): Change Tracking Engine отслеживает и записывает Change Data (добавления, удаления, модификации) с обязательной привязкой к пользователю, совершившему изменение.
3. Получение запроса: Система получает поисковый запрос от пользователя.
4. Поиск по индексу: Генерация стандартного Index Search Result на основе текущего основного индекса.
5. Поиск в данных об изменениях: Система ищет в Change Data записи, которые сделаны этим же пользователем и релевантны поисковому запросу.
6. Оценка влияния: Система определяет, как найденные изменения должны повлиять на Index Search Result:
   • Определяется, должен ли новый/измененный ресурс быть добавлен в результаты.
   • Определяется, должен ли удаленный/измененный ресурс быть исключен из результатов.
7. Генерация пересмотренного результата: Если влияние есть, система генерирует Revised Search Result. Происходит объединение, добавление и удаление ресурсов.
8. Предоставление результата: Пользователю предоставляется финальный набор результатов (Revised Search Result или стандартный, если изменений не было).

Какие данные и как использует

Данные на входе

Патент фокусируется на инфраструктуре объединения данных, а не на факторах ранжирования.

• Пользовательские факторы: Критически важный элемент. Используется идентификатор пользователя, выполняющего поиск, для сопоставления его с пользователем, который внес изменения, записанные в Change Data.
• Временные факторы: Используется время внесения изменения относительно времени последнего обновления основного индекса. Обрабатываются только те изменения, которые произошли после последнего обновления.
• Контентные факторы: Содержимое добавленных или модифицированных ресурсов в Change Data анализируется для определения их релевантности текущему запросу.

Какие метрики используются и как они считаются

• Патент не описывает конкретных метрик ранжирования или формул расчета оценок.
• Основной механизм — это проверка релевантности (удовлетворяет ли ресурс запросу) как для контента в основном индексе, так и для контента в Change Data.
• При объединении результатов для формирования Revised Search Result, патент упоминает, что измененные ресурсы могут быть вставлены в список на позицию, основанную на их релевантности (rank), или просто помещены в начало списка.

1. Фокус на персонализации и снижении задержки: Основная цель патента — инфраструктурная. Он направлен на устранение разрыва между реальным состоянием контента пользователя и состоянием поискового индекса, улучшая пользовательский опыт за счет мгновенного доступа к свежим данным.
2. Гибридная архитектура поиска: Система использует гибридный подход, комбинируя два источника данных: основной (периодически обновляемый) индекс и постоянно обновляемую запись изменений (Change Data).
3. Строгая привязка к пользователю: Ключевое ограничение механизма — корректировка результатов поиска основывается только на тех изменениях, которые были сделаны тем же самым пользователем, который выполняет поиск.
4. Отсутствие влияния на SEO: Патент не содержит информации о факторах ранжирования в веб-поиске, оценке качества сайтов (E-E-A-T) или обработке публичного веб-контента. Он не дает практических выводов для SEO-специалистов, работающих над продвижением сайтов в стандартной выдаче Google.

ВАЖНО: Патент является инфраструктурным и описывает механизмы персонализированного или локального поиска. Он не дает практических выводов для стандартного SEO.

Best practices (это мы делаем)

Патент не содержит информации, на основе которой можно сформулировать Best Practices для SEO.

Worst practices (это делать не надо)

Патент не содержит информации, на основе которой можно сформулировать Worst Practices для SEO.

Стратегическое значение

Патент не имеет стратегического значения для SEO. Он представляет интерес с точки зрения архитектуры поисковых систем и методов решения проблемы свежести данных в реальном времени (особенно в закрытых или персонализированных средах), но не применим к оптимизации публичных веб-сайтов для органического поиска.

Практические примеры

Практических примеров для SEO нет.

Пример работы механизма (не SEO):

Сценарий: Поиск в Google Docs.

1. Действие пользователя: Пользователь создает новый документ с названием "Отчет по SEO за 3 квартал".
2. Запись изменения: Change Tracking Engine немедленно записывает это действие в Change Data, связывая новый документ с этим пользователем.
3. Состояние индекса: Основной индекс Google Docs еще не обновился и не знает о существовании этого документа.
4. Поиск: Через секунду пользователь вводит запрос "Отчет по SEO" в строку поиска Google Docs.
5. Обработка: Система получает стандартные результаты из индекса. Затем она проверяет Change Data на наличие изменений от этого пользователя по этому запросу.
6. Результат: Система находит запись о новом документе, объединяет ее с результатами индекса и показывает "Отчет по SEO за 3 квартал" в выдаче, несмотря на его отсутствие в основном индексе.