Как Google выборочно индексирует действия пользователя на локальном устройстве, основываясь на поведении и частоте событий

Термины и определения

Article (Статья)

Любой элемент контента, с которым взаимодействует пользователь: веб-страница (HTML, PDF), email, документ Word, сообщение IM, медиафайл и т.д.

Capture Processor (Процессор захвата)

Компонент системы, отвечающий за мониторинг активности на клиентском устройстве и захват событий и связанных с ними данных.

Criterion (Критерий)

Условие, используемое для оценки события. Если событие удовлетворяет критерию, оно индексируется; если нет — игнорируется.

Event (Событие)

Любое действие или происшествие, связанное со статьей, приложением или устройством. Примеры: просмотр веб-страницы, сохранение файла, получение email, движение мыши, ввод текста.

Event Capture Criterion (Критерий захвата события)

Критерий, основанный на контексте захвата события (когда, где, как): например, время суток, местоположение устройства, активный профиль пользователя.

Historical Events (Исторические события)

События, произошедшие до установки системы или когда она была неактивна (например, существующие файлы на диске).

Indexable/Non-indexable Events (Индексируемые/Неиндексируемые события)

Классификация событий по важности. Индексируемые события (просмотр, сохранение) сохраняются в индексе. Неиндексируемые (движение мыши) могут использоваться для обновления текущего состояния пользователя, но не сохраняются.

Real-time Events (События реального времени)

События, происходящие в настоящий момент.

Related Event Object (Объект связанных событий)

Структура данных, которая группирует связанные события. Например, все события просмотра одного и того же URL или все события редактирования одного документа.

Ключевые утверждения (Анализ Claims)

Патент описывает инфраструктурные процессы для клиентского поиска без прямых рекомендаций для SEO.

Claim 1 (Независимый пункт): Описывает базовый метод выборочного хранения данных.

1. Система захватывает событие (event), связанное со статьей (article).
2. Система оценивает событие на соответствие критерию (criterion).
3. Если событие соответствует критерию, оно индексируется.
4. Создается объект связанных событий (related event object), объединяющий набор связанных событий, включая текущее.
5. Объект связанных событий сохраняется в первом расположении хранилища данных.
6. По крайней мере часть индексированного события сохраняется во втором расположении.
7. Создается указатель (pointer) между объектом связанных событий и сохраненной частью индексированного события.

Ядро изобретения — это комбинация выборочного индексирования на основе критериев (шаги 2-3) и структурированного хранения с использованием объектов связанных событий (шаги 4-7).

Claim 3 (Зависимый от 1): Уточняет процесс фильтрации.

Система сначала определяет, является ли событие индексируемым или неиндексируемым. Индексирование происходит только если событие определено как индексируемое И удовлетворяет критерию.

Claim 6 (Зависимый от 1): Описывает автоматическое создание правил.

Критерий генерируется неявно (implicitly generating the criterion), то есть без прямого указания пользователя, вероятно, на основе анализа его поведения.

Claim 15 (Зависимый от 1): Описывает адаптацию к ресурсам и частоте.

Система корректирует критерий на основе одного или нескольких факторов: общего объема сохраненных данных о событиях, частоты захвата событий (event capture frequency) или оставшейся емкости хранилища данных.

Claim 18 и 25 (Зависимые от 1): Определяют типы критериев.

Критерий может быть основан на контексте захвата события (event capture criterion — Claim 18) или на характеристиках самой статьи (article criterion — Claim 25).

Где и как применяется

Важно понимать, что патент описывает архитектуру клиентского поиска (например, Google Desktop), а не основного веб-поиска Google. Он применяется на локальном устройстве пользователя.

CRAWLING – Сканирование и Сбор данных (Локальный контекст)
Capture Processor выступает в роли локального краулера. Он постоянно отслеживает активность пользователя в реальном времени (Real-time Events) и периодически сканирует файловую систему или кэши приложений для обнаружения Historical Events.

INDEXING – Индексирование и извлечение признаков (Локальный контекст)
Это основной этап применения патента. Indexer получает события и выполняет ключевые функции:

1. Нормализация: Преобразование данных события в индексируемый текст.
2. Фильтрация (Selective Storing): Применение критериев (Criterion) для решения, индексировать ли событие. Это включает проверку типа события (индексируемое/неиндексируемое) и соответствие правилам (явным или неявным).
3. Дедупликация: Использование контрольных сумм для предотвращения повторного индексирования идентичных событий.
4. Структурирование: Связывание события с Related Event Object.

Входные данные:

• События (Events) и связанный с ними контент (Articles).
• Данные о производительности системы.
• Поведенческие данные пользователя (используются для генерации неявных критериев).

Выходные данные:

• Структурированные данные в локальном хранилище (Index, Database, Repository).
• Обновленные Related Event Objects.

На что влияет

В контексте локального поиска:

• Типы контента: Влияет на все типы локального контента (документы, email, история браузера, IM). Система может применять разные критерии к разным типам контента (например, индексировать все документы Word, но только некоторые логи .log).
• Частота обновления: Система активно подавляет индексирование слишком частых событий, таких как многократные автосохранения одного и того же документа.

Когда применяется

Алгоритм применяется постоянно, при захвате каждого нового события на клиентском устройстве.

• Триггеры активации фильтрации:
  • Превышение порога частоты событий (event capture frequency) для определенного типа или конкретной статьи.
  • Низкий объем доступного места в хранилище.
  • Неявные сигналы о незаинтересованности пользователя в определенном типе контента (например, пользователь никогда не ищет и не кликает на результаты из IM).
  • Явные инструкции пользователя на исключение (например, не индексировать определенные папки или сайты).

Пошаговый алгоритм

Процесс выборочного хранения и индексирования события:

1. Получение события: Индексатор извлекает следующее событие из очереди.
2. Нормализация контента: Данные статьи, связанные с событием, конвертируются в канонический индексируемый текст (THIS_INDEX_TEXT). Для этого используются специализированные обработчики (handlers) для разных форматов (HTML, PDF и т.д.).
3. Генерация контрольной суммы: Вычисляется контрольная сумма (C_TEXT, fingerprint, например, MD5 или SHA1) для индексируемого текста.
4. Проверка критериев (Фильтрация): Система оценивает, удовлетворяет ли событие критерию.
   • Проверяется тип события (индексируемое/неиндексируемое).
   • Проверяется соответствие явным правилам (включения/исключения).
   • Проверяется соответствие неявным критериям (частота, ресурсы, поведение пользователя).
   • Если НЕТ: Событие не индексируется. Процесс завершен.
5. Проверка на дубликаты: Система проверяет, существует ли уже индексированное событие с такой же контрольной суммой C_TEXT.
   • Если ДА: Событие не индексируется. Могут быть обновлены статистики доступа. Процесс завершен.
6. Присвоение ID события: Новому уникальному событию присваивается Event ID.
7. Обработка объекта связанных событий: Система определяет, существует ли Related Event Object для данного события (например, по URI файла или URL).
   • Если ДА: Загружается существующий объект.
   • Если НЕТ: Создается новый объект и ему присваивается Related Event ID.
8. Сохранение данных:
   • Оригинальный и/или индексируемый текст сохраняются в Репозитории.
   • Событие и объект связанных событий обновляются и сохраняются в Базе Данных (создаются указатели между ними).
9. Обновление индекса: Индексируемый текст добавляется в Полнотекстовый Индекс.

Какие данные и как использует

Данные на входе

Система использует данные, захваченные на локальном устройстве.

• Контентные факторы: Содержимое статей (текст, изображения), метаданные (заголовки, отправители/получатели email, формат файла).
• Технические факторы: URL веб-страниц, пути к локальным файлам.
• Временные факторы: Время события (используется для определения частоты).
• Пользовательские факторы (Контекст захвата): Активный профиль пользователя, используемое приложение, местоположение устройства (если доступно), сетевое подключение.
• Поведенческие факторы (Для генерации критериев): История прошлых поисков пользователя, клики на результаты (clickthroughs), частота доступа к определенным статьям или типам статей. Эти данные используются для неявного вывода о важности контента для пользователя.
• Системные факторы: Доступная емкость хранилища, загрузка процессора (может влиять на скорость и объем индексирования).

Какие метрики используются и как они считаются

• Capture Score (Оценка важности события): Упоминается как возможный механизм для определения, является ли событие indexable или non-indexable.
• Event Capture Frequency (Частота захвата событий): Метрика, отслеживающая, как часто происходят однотипные события (например, сохранение конкретного файла). Используется для подавления индексирования слишком частых событий.
• Frequency Threshold (Порог частоты): Пороговое значение для Event Capture Frequency. Если частота превышает порог, индексирование может быть пропущено (например, индексировать не чаще, чем раз в 30 минут).
• Fingerprint / Checksum: Криптографический хэш (MD5, SHA1) от индексируемого текста. Используется для дедупликации событий.

Патент описывает инфраструктурные процессы Google для клиентского поиска и не содержит прямых рекомендаций для SEO. Основные выводы для понимания технологий Google:

1. Гранулярный захват поведения пользователей: Патент демонстрирует техническую способность Google (уже в 2004 году) детально фиксировать взаимодействие пользователя с контентом на уровне отдельных событий (просмотры, редактирования, время взаимодействия).
2. Приоритет эффективности и релевантности (Selective Indexing): Ключевая идея — индексировать не всё подряд, а только то, что полезно и эффективно. Система активно фильтрует шум (дубликаты, слишком частые события).
3. Неявные критерии на основе поведения: Система автоматически адаптирует правила индексирования (Criterion), основываясь на поведении пользователя. Если пользователь не интересуется определенным типом контента, система может перестать его индексировать.
4. Адаптация к частоте (Frequency-based Criteria): Внедрен механизм для борьбы с переиндексацией часто изменяющегося контента, что схоже с концепцией управления краулинговым бюджетом в веб-поиске.
5. Структурирование через связанные события: Использование Related Event Objects для группировки всех взаимодействий с одной единицей контента (например, URL) позволяет эффективно агрегировать сигналы и статистику (например, общее время взаимодействия).

Best practices (это мы делаем)

Поскольку патент описывает систему локального поиска, прямых SEO-рекомендаций нет. Однако, исходя из продемонстрированных возможностей Google по анализу поведения пользователей, можно подтвердить важность следующих общих стратегий:

• Фокус на User Experience (UX) и Вовлеченности: Патент подтверждает, что Google обладает технологиями для детального измерения взаимодействия пользователя с контентом (частота доступа, время просмотра). Если подобные технологии используются в Chrome/Android и влияют на ранжирование, то создание контента, который пользователи часто посещают и с которым долго взаимодействуют, является критически важным.
• Создание запоминающегося и полезного контента: В патенте система учится на поведении пользователя и может перестать индексировать контент, который пользователь игнорирует. Это подчеркивает необходимость создания контента, который стимулирует повторные визиты и взаимодействие.

Worst practices (это делать не надо)

Патент не описывает механизмы борьбы с SEO-манипуляциями в веб-поиске.

Стратегическое значение

Стратегическое значение патента для SEO заключается в понимании глубины аналитических возможностей Google. Он детально описывает фреймворк для захвата и интерпретации гранулярных поведенческих данных на контролируемых платформах. Это служит сильным напоминанием для Senior SEO-специалистов, что поведенческие факторы (даже если они собираются не этим конкретным методом) являются важной частью экосистемы Google, и долгосрочная стратегия должна быть сосредоточена на реальном вовлечении пользователей.

Практические примеры

Практических примеров применения данного патента в работе по SEO продвижению сайтов нет, так как он описывает систему локального (клиентского) поиска.