Как Google оптимизирует индекс для эффективного поиска по подстрокам и запросам с подстановочными знаками (wildcards)

Термины и определения

Inclusive String (Включающая строка)

Строка в индексе, которая содержит определенную подстроку плюс как минимум один дополнительный символ. Например, для подстроки 'y' включающими строками могут быть 'xy' и 'yz'. Это механизм навигации в индексе от коротких строк к более длинным.

Index Table / Indexed Tree (Индексная таблица / Индексированное дерево)

Специализированная структура данных, используемая для хранения слов, их подстрок, соответствующих им Inclusive Strings и Word Objects.

K Variable (Переменная K)

Настраиваемый параметр, ограничивающий максимальную длину подстрок, сохраняемых в индексе. Используется для управления размером индекса.

Pattern Divider (Разделитель шаблонов)

Компонент поискового сервера, который разбивает поисковый термин с подстановочными знаками на под-паттерны, используя подстановочные знаки как разделители.

Sub-pattern (Под-паттерн)

Часть поискового термина, полученная после разделения. Например, в запросе 'ab*cd' под-паттернами будут 'ab' и 'cd'.

Sub-pattern Selector (Селектор под-паттернов)

Компонент, который выбирает оптимальный под-паттерн для поиска. Выбирается тот, который имеет наименьшее количество связанных с ним Inclusive Strings в индексе (наиболее селективный).

Substring (Подстрока)

Часть слова, хранящаяся в индексе. Например, 'xy' является подстрокой 'xyz'.

Wildcard Character (Подстановочный знак)

Специальные символы в запросе, такие как '*' (любое количество символов) и '?' (один любой символ).

Word Object (Объект слова)

Данные, связанные со строкой в индексе. Обычно идентифицируют местоположение контента (например, URL веб-страницы или адрес памяти), где встречается данная строка.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на структуре индекса и методе его использования для эффективного поиска.

Claim 1 (Независимый пункт): Определяет метод поиска с использованием специфического индекса. Ключевые требования к индексу:

1. Наличие одной или нескольких подстрок (substrings) слова.
2. Наличие одной или нескольких включающих строк (inclusive strings), соответствующих подстрокам (подстрока + минимум 1 символ).
3. Наличие двух или более объектов слова (word objects), идентифицирующих контент (например, локацию веб-страницы), где встречается подстрока.

Ядром изобретения является структура индекса, связывающая подстроки с включающими строками для эффективного поиска.

Claim 3 (Зависимый от 1): Вводит механизм оптимизации размера индекса.

Система использует числовую переменную K. Индекс генерируется так, что индексируемые подстроки не превышают по длине значение K. Это позволяет контролировать объем хранимых данных.

Claim 6 (Зависимый от 5, который зависит от 1): Описывает обработку запросов с подстановочными знаками.

Если поисковый терм содержит wildcard character, он разделяется на два или более под-паттерна (sub-patterns).

Claim 17 (Зависимый от 16, в другом независимом дереве Claim 10): Определяет ключевой механизм оптимизации поиска.

Из набора под-паттернов система идентифицирует тот, который идентичен подстроке в индексе, имеющей наименьшее количество ассоциированных включающих строк (least number of associated inclusive strings). Это позволяет начать поиск с наиболее селективной части запроса, минимизируя количество кандидатов для проверки.

Где и как применяется

Изобретение является инфраструктурным и затрагивает базовые этапы работы поисковой системы.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Компонент Indexer обрабатывает собранные слова (из Word List Files) и строит специализированную структуру данных (Index Table или Indexed Tree). Это включает генерацию подстрок (с учетом переменной K), определение Inclusive Strings и сохранение Word Objects.

RANKING – Ранжирование (L1 Retrieval / Отбор кандидатов)
Механизм используется на самом первом этапе ранжирования — быстром отборе кандидатов. Компоненты Search Server (Pattern Divider, Sub-pattern Selector, Word List Generator, Pattern Verifier) используют индекс для эффективного поиска совпадений по подстрокам и wildcards.

Входные данные (Индексирование):

• Списки слов и их локации (URL).
• Переменная K.

Выходные данные (Индексирование):

• Индекс (Indexed Tables/Indexed Tree) с подстроками и включающими строками.

Входные данные (Поиск):

• Поисковый запрос (возможно, с wildcards).
• Индекс.

Выходные данные (Поиск):

• Список Word Objects (локаций), удовлетворяющих запросу.

На что влияет

• Типы запросов: Влияет на производительность обработки запросов, где требуется поиск по части слова (substring matching) или используются операторы подстановки (*, ?).
• Эффективность системы: Основное влияние — снижение вычислительной нагрузки на поисковую систему при обработке сложных запросов за счет сокращения пространства поиска.
• Контент и Ниши: Не имеет специфики по типам контента или тематикам. Это базовый механизм индексирования текста.

Когда применяется

• Триггеры активации (Индексирование): При обработке нового или обновленного контента.
• Триггеры активации (Поиск): Алгоритм поиска активируется при получении запроса. Специфическая логика (разделение на sub-patterns) применяется, когда запрос содержит подстановочные знаки или когда выполняется поиск по подстроке.

Пошаговый алгоритм

Процесс А: Индексирование (Выполняется Indexer)

1. Идентификация слова и локации: Система получает слово и его локацию (Word Object, например, URL).
2. Проверка/Обновление индекса: Проверяется, существует ли индексная таблица для слова. Если нет, она создается. Если да, обновляется Word Object.
3. Идентификация переменной K: Определяется максимальная длина индексируемых подстрок.
4. Генерация подстрок: Идентифицируются подстроки слова. Если длина слова больше K, идентифицируются только подстроки длиной K или меньше.
5. Определение включающих строк: Для каждой подстроки определяются её Inclusive Strings.
6. Популяция индекса: Индексная таблица заполняется подстроками, соответствующими им Inclusive Strings и Word Objects.

Процесс Б: Обработка поискового запроса (Выполняется Search Server)

1. Получение запроса: Система получает запрос с одним или несколькими терминами.
2. Разделение на под-паттерны: Если термин содержит wildcards, Pattern Divider разделяет его на sub-patterns и генерирует массив.
3. Выбор оптимального под-паттерна: Sub-pattern Selector идентифицирует sub-pattern, который соответствует подстроке в индексе с наименьшим количеством Inclusive Strings (наиболее селективный).
4. Сравнение с индексом: Word List Generator сравнивает выбранный sub-pattern с индексными таблицами.
5. Извлечение включающих строк: Идентифицируются и добавляются в список слов все Inclusive Strings, соответствующие выбранному sub-pattern.
6. Верификация паттерна: Pattern Verifier сравнивает слова из списка с полным исходным поисковым термином (включая wildcards), чтобы определить, удовлетворяют ли они ему.
7. Генерация результатов: Если поисковых терминов несколько, определяется пересечение (intersection) или объединение (union) Word Objects для всех терминов. Финальный список предоставляется пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на инфраструктуре и не использует стандартные SEO-факторы (ссылочные, поведенческие и т.д.).

• Контентные факторы: Используются сами слова (строки символов), извлеченные из контента, которые разбиваются на substrings.
• Технические факторы: Используются локации (например, URL или идентификаторы в базе данных), где эти слова встречаются (Word Objects).

Какие метрики используются и как они считаются

• Переменная K: Пороговое значение, определяющее максимальную длину индексируемой подстроки. Устанавливается администратором для контроля размера индекса.
• Количество включающих строк (Number of Inclusive Strings): Метрика, рассчитываемая для каждой подстроки в индексе. Используется компонентом Sub-pattern Selector для выбора наиболее эффективного (с наименьшим значением метрики) sub-pattern при обработке запроса.

Патент описывает внутренние процессы Google без прямых рекомендаций для SEO.

1. Патент чисто инфраструктурный: Он описывает техническое решение для оптимизации скорости и снижения вычислительной нагрузки при обработке специфических типов запросов (подстроки, wildcards).
2. Цель — эффективность Retrieval: Ключевая задача — избежать полного сканирования индекса. Это достигается за счет хранения подстрок и их связей с включающими строками (Inclusive Strings).
3. Оптимизация обработки Wildcards: Система оптимизирует поиск, выбирая наиболее селективный (редкий) фрагмент запроса (sub-pattern с наименьшим количеством Inclusive Strings) для начала обработки.
4. Управление размером индекса: Переменная K позволяет балансировать между размером индекса и возможностями поиска по коротким подстрокам.
5. Отсутствие связи с ранжированием: Патент не содержит информации о расчете релевантности, качестве контента или формировании итогового рейтинга документа. Он решает только задачу быстрого нахождения совпадений.

Best practices (это мы делаем)

Патент является инфраструктурным и не дает практических выводов для SEO. Нет конкретных действий, которые SEO-специалист мог бы предпринять на основе этого патента для улучшения позиций сайта.

Единственный косвенный вывод: патент подтверждает, что Google детально индексирует текстовый контент. Обеспечение корректного написания терминов, артикулов и технических названий важно для их базовой находимости (retrievability), особенно при точном поиске.

Worst practices (это делать не надо)

Патент не описывает механизмов борьбы с манипуляциями или спамом. Нет практик, которые этот патент делал бы неэффективными или опасными.

Стратегическое значение

Стратегическое значение для SEO минимально. Патент интересен с точки зрения понимания инфраструктуры поиска и того, как Google решает инженерные задачи по оптимизации скорости и нагрузки (L1 Retrieval). Он не влияет на долгосрочную SEO-стратегию, которая должна фокусироваться на качестве контента и E-E-A-T.

Практические примеры

Практических примеров применения в SEO нет, так как патент описывает внутреннюю оптимизацию поисковой системы. Однако можно привести пример работы механизма, как описано в патенте (FIG. 5):

Сценарий: Эффективный поиск с Wildcard

1. Индексация: Система проиндексировала слово «mukeshkumar». В индексе для подстроки «k» есть много Inclusive Strings, а для подстроки «mar» — только одна («umar»).
2. Запрос: Пользователь вводит запрос «k?mar».
3. Обработка: Система делит запрос на под-паттерны «k» и «mar».
4. Оптимизация: Sub-pattern Selector определяет, что у «mar» меньше Inclusive Strings в индексе, чем у «k».
5. Извлечение: Система начинает поиск с «mar», быстро находит его Inclusive Strings («umar») и слово-кандидат («mukeshkumar»).
6. Верификация: Pattern Verifier проверяет, удовлетворяет ли «mukeshkumar» исходному запросу «k?mar».
7. Результат: Совпадение найдено эффективно, без необходимости перебора всех слов, содержащих «k».