Как Google мгновенно обновляет права доступа к документам в индексе без полного переиндексирования (для корпоративного поиска)

Термины и определения

Monitor (Монитор)

Компонент, который постоянно отслеживает изменения в Security Configuration и генерирует новые Security Fingerprints.

Search Appliance (Поисковое устройство)

Система или устройство, предназначенное для индексирования и поиска документов в контролируемой среде, например, внутри корпоративной сети (intranet).

Security Configuration (Конфигурация безопасности)

Файл или база данных, содержащая правила доступа к документам. Включает шаблоны URL (URL Patterns), необходимые учетные данные (Credentials) и флаги, указывающие, является ли ресурс защищенным (Secure) или общедоступным (Unsecured).

Security Fingerprint (Отпечаток безопасности, FP)

Уникальный идентификатор (например, хэш), сгенерированный на основе текущего состояния Security Configuration. Любое изменение конфигурации приводит к генерации нового отпечатка. Используется как специальный термин в индексе.

Security Ripper

Компонент, который активируется при изменении Security Configuration. Он определяет, какие документы в настоящее время являются общедоступными, и создает лог для обновления индекса.

Serving Index (Обслуживающий/Активный индекс)

Основной поисковый индекс, который используется для обработки запросов пользователей в реальном времени.

Sorted Maps / Layers (Сортированные карты / Слои)

Структуры данных, которые накладываются поверх основного индекса. Они позволяют быстро добавлять новые термины (например, новый Security Fingerprint) без полного перестроения индекса.

Special Characters (Специальные символы, #####)

Символы, добавляемые к Security Fingerprint для предотвращения коллизий (случайного совпадения отпечатка с текстом документа). Это символы, которые либо запрещены в запросах, либо игнорируются индексатором.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод обслуживания поискового результата с учетом безопасности.

1. Генерация Security Fingerprint путем хэширования Security Configuration (которая определяет доступ к документам).
2. Добавление этого отпечатка в поисковый индекс как индексируемого термина для документов, которые являются незащищенными (публичными) и не требуют учетных данных.
3. Определение того, что запрос должен быть ограничен только публичными документами.
4. Добавление Security Fingerprint к поисковому запросу пользователя.
5. Возврат результатов, соответствующих как термину запроса, так и Security Fingerprint.
6. Механизм обновления: Повторное обновление отпечатка и определение факта изменения конфигурации на основе различий между старым и новым отпечатками.
7. Если конфигурация изменилась: добавление *обновленного* отпечатка в индекс для актуального набора незащищенных документов.

Ядро изобретения — это использование хэша конфигурации безопасности как динамического токена (специального термина) в индексе для маркировки всех общедоступных документов. Ключевым является механизм немедленного обновления этого токена в индексе при любом изменении конфигурации доступа, что позволяет фильтровать выдачу по актуальному статусу безопасности в реальном времени.

Claim 3, 4, 5 (Зависимые): Детализируют природу Security Fingerprint для предотвращения коллизий.

Отпечаток может включать символы, которые запрещены в пользовательских запросах (Claim 3), или символы, которые игнорируются индексатором при обработке текста документа (Claim 4), например, разделители (Claim 5). Это гарантирует, что отпечаток не совпадет случайно с текстом документа.

Claim 6 (Зависимый): Описывает сценарий с несколькими конфигурациями безопасности.

Если используется несколько Security Configurations, они конкатенируются (объединяются), и Security Fingerprint генерируется путем хэширования этой объединенной конфигурации.

Claim 8 (Зависимый): Уточняет временные рамки работы механизма.

Обновление Security Fingerprint в индексе происходит в период между созданием основного поискового индекса и его заменой новым индексом. Это подчеркивает цель изобретения — обеспечить актуальность данных между полными циклами переиндексирования.

Где и как применяется

Патент применяется в контексте поисковых устройств (Search Appliances) для корпоративного поиска (Intranet) и затрагивает этапы индексирования и обработки запросов.

INDEXING – Индексирование и извлечение признаков
Основное применение патента происходит на этом этапе в режиме *обновления* индекса. Monitor отслеживает Security Configuration. При обнаружении изменений Security Ripper определяет актуальный набор общедоступных документов. Indexer немедленно обновляет Serving Index, добавляя новый слой (sorted map), который связывает новый Security Fingerprint с этими документами. Это происходит динамически, между периодами полного перестроения индекса.

RANKING / RERANKING (Этапы обработки запроса)
На этапе выполнения запроса Search Server применяет фильтрацию. Если запрос ограничен незащищенными документами, сервер модифицирует запрос, добавляя к нему последний известный Security Fingerprint как обязательный термин (оператор AND).

Входные данные:

• Security Configuration (правила доступа).
• Запрос пользователя (с флагом ограничения публичными документами или без него).
• Индекс документов (Serving Index).

Выходные данные:

• Отфильтрованный набор результатов поиска, соответствующий самому актуальному статусу безопасности документов.

На что влияет

• Типы контента и Среды: Влияет исключительно на видимость документов в зависимости от их статуса безопасности (Secure/Unsecured) в корпоративной среде (Intranet). Если документ защищен, он не появится в выдаче по общедоступным запросам.

Патент не влияет на оценку релевантности, качества или ранжирование документов в публичном веб-поиске.

Когда применяется

Алгоритм применяется в двух случаях:

• Триггер 1 (Обновление индекса): Активируется немедленно, когда изменяется Security Configuration (например, администратор изменил права доступа к документу или папке).
• Триггер 2 (Обработка запроса): Активируется во время выполнения поиска, когда пользователь указывает, что результаты должны быть ограничены только незащищенными (общедоступными) документами.

Пошаговый алгоритм

Процесс А: Обновление индекса (Реакция на изменение безопасности)

1. Мониторинг: Monitor постоянно проверяет Security Configuration.
2. Обнаружение изменений: При изменении конфигурации Monitor обнаруживает это (сравнивая хэши) и генерирует новый Security Fingerprint (FP).
3. Анализ доступа: Security Ripper анализирует новую конфигурацию и определяет полный список документов, которые теперь являются общедоступными.
4. Логирование: Security Ripper создает лог, указывающий, каким документам должен быть присвоен новый FP.
5. Обновление индекса: Indexer читает лог и добавляет новый слой (sorted map) в Serving Index. В этом слое новый FP индексируется как термин для указанных документов.
6. Уведомление сервера: Search Server уведомляется о новом актуальном FP и сохраняет его как последний известный.

Процесс Б: Обработка запроса (В реальном времени)

1. Получение запроса: Search Server получает запрос от пользователя.
2. Проверка ограничений: Определяется, запросил ли пользователь ограничить выдачу только незащищенными документами.
   • Если НЕТ: Выполняется стандартный поиск.
   • Если ДА: Перейти к шагу 3.
3. Модификация запроса (Конкатенация): Search Server добавляет последний известный Security Fingerprint к запросу как обязательный термин (например, "dog" AND [Fingerprint]). Для предотвращения коллизий используются специальные символы (например, "dog" AND ####[Fingerprint]).
4. Поиск: Выполняется поиск по модифицированному запросу в Serving Index.
5. Возврат результатов: Возвращаются только те документы, которые содержат и термины запроса, и актуальный отпечаток безопасности.

Какие данные и как использует

Данные на входе

Патент сфокусирован на инфраструктуре управления доступом и использует следующие данные:

• Технические факторы: Шаблоны URL (URL Patterns) из Security Configuration используются для определения правил доступа к группам документов.
• Данные безопасности (Security Data): Учетные данные (Credentials) и флаги безопасности (Secure/Unsecured), определенные администратором в Security Configuration.

Никакие стандартные SEO-факторы (контентные, ссылочные, поведенческие) в патенте не упоминаются.

Какие метрики используются и как они считаются

• Security Fingerprint: Ключевая метрика. Генерируется путем хэширования (hashing) файла(ов) Security Configuration. Если конфигураций несколько, они сначала конкатенируются, а затем хэшируются.
• Предотвращение коллизий: Для гарантии уникальности и избежания случайного совпадения отпечатка с текстом документа, к хэшу добавляются специальные символы (Special Characters). Примеры: символы, не разрешенные в пользовательских запросах, или символы, игнорируемые индексатором (например, разделители типа "\n" или непечатаемые ASCII символы).

1. Инфраструктурный патент без влияния на SEO: Патент описывает внутренние инфраструктурные процессы, специфичные для управления контролем доступа (ACL) в корпоративных поисковых устройствах (Search Appliances). Он не дает практических выводов для SEO в публичном веб-поиске.
2. Мгновенное обновление индекса: Основная инновация заключается в механизме мгновенного обновления активного индекса (через добавление слоев/sorted maps) для отражения изменений в правах доступа без необходимости ждать полного переиндексирования.
3. Отпечаток конфигурации как фильтр: Используется концепция Security Fingerprint (хэш конфигурации безопасности) как специального динамического термина в индексе. Этот термин служит маркером для всех общедоступных документов и обязательным фильтром при поиске.
4. Гарантия актуальности безопасности: Система гарантирует, что при поиске общедоступного контента будут возвращены только те документы, которые соответствуют самой последней конфигурации безопасности, даже если она изменилась секунду назад.

ВАЖНО: Патент является инфраструктурным, сфокусирован на корпоративном поиске (Search Appliances) и управлении доступом. Он не дает практических выводов для SEO в публичном веб-поиске (google.com).

Best practices (это мы делаем)

Информация для применения в публичном SEO отсутствует.

Worst practices (это делать не надо)

Информация для применения в публичном SEO отсутствует.

Стратегическое значение

Стратегическое значение для публичного SEO отсутствует. Патент интересен с точки зрения архитектуры поисковых систем и методов быстрого обновления индекса (Incremental Indexing с использованием слоев), но не имеет отношения к стратегиям оптимизации сайтов для публичного поиска.

Практические примеры

Практических примеров для SEO нет.

Пример из корпоративного поиска (Intranet):

1. Ситуация: В компании есть индекс документов. Папка "ProjectX" защищена паролем (Secure). Текущий отпечаток безопасности FP1. Документы в папке не помечены FP1.
2. Действие администратора: Администратор изменяет Security Configuration, делая папку "ProjectX" общедоступной (Unsecured).
3. Реакция системы: Monitor немедленно обнаруживает изменение. Генерируется новый Security Fingerprint FP2.
4. Обновление индекса: Indexer мгновенно добавляет FP2 как термин ко всем документам в папке "ProjectX" (и другим общедоступным документам), используя новый слой индекса.
5. Поиск пользователя: Сотрудник ищет информацию по ProjectX, выбрав опцию "только общедоступные результаты". Система модифицирует запрос в "ProjectX AND FP2".
6. Результат: Документы из ProjectX немедленно появляются в выдаче, так как они помечены актуальным отпечатком FP2.