Как Google индексирует контент, который не может прочитать, получая метаданные напрямую от сторонних приложений и серверов

Термины и определения

Access Control Information (Информация о контроле доступа)

Данные, определяющие права доступа к ресурсу. Используются для обеспечения того, чтобы только авторизованные пользователи могли найти индексированные метаданные. Часто реализуется через Access Control List (ACL).

Application Programming Interface (API)

Интерфейс, через который стороннее приложение взаимодействует с сетевой системой для передачи индексируемых метаданных.

Indexable Metadata (Индексируемые метаданные)

Данные, предоставляемые третьей стороной, которые представляют собой исходный контент. Могут быть в формате indexable text (простой текст) или indexable html.

Indexing Utility (Утилита индексации)

Компонент сетевой системы, который обрабатывает полученные метаданные и организует их для поиска.

Metadata Converter (Конвертер метаданных)

Компонент на стороне третьего сервера, который преобразует проприетарную модель данных в индексируемый текст или HTML.

Network System / Online Storage System (Сетевая система / Онлайн-хранилище)

Основная платформа (например, Google Search, Google Drive), которая выполняет индексацию и поиск.

Raw Data (Исходные данные)

Контент, хранящийся на стороннем сервере или в проприетарном формате, который сетевая система не может прочитать или получить напрямую.

Third-Party Server/Application (Сторонний сервер/Приложение)

Внешняя система или программа, которая создает и хранит исходные данные и генерирует индексируемые метаданные.

Threshold Amount (Пороговое значение)

Жесткое ограничение на максимальный размер индексируемых метаданных, которые сетевая система примет от третьей стороны для одного ресурса.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс индексации ресурса, хранящегося на стороннем сервере.

1. Система определяет информацию о контроле доступа (access control information) для ресурса на стороннем сервере.
2. Система получает от стороннего сервера indexable metadata, описывающие контент ресурса. Уточняется, что сам контент не может быть обработан поисковой функциональностью системы (not searchable).
3. Ключевой механизм защиты: Система устанавливает пороговое значение (threshold amount) для размера принимаемых метаданных.
4. Система сравнивает размер полученных метаданных с порогом.
5. Если размер превышает порог, метаданные отклоняются (reject).
6. Если метаданные приняты, система обрабатывает их и организует на устройстве хранения так, чтобы они стали доступны для поиска.

Claim 3 (Зависимый от 1): Детализирует требования к контролю доступа в экосистеме приложений.

Система проверяет, что: (i) пользователь находится в списке контроля доступа (ACL) для ресурса, (ii) стороннее приложение находится в ACL для ресурса, и (iii) пользователь установил это стороннее приложение. Это подтверждает фокус патента на платформенных интеграциях.

Claim 9 (Зависимый от 1): Уточняет сценарий применения.

Уточняется, что сторонний сервер управляется стороной, отличной от оператора сетевой системы. Контент ресурса не может быть обработан поисковой системой, потому что он находится в формате, проприетарном (proprietary format) для оператора стороннего сервера.

Claim 13 (Зависимый от 11): Приводит конкретный пример порогового значения.

Объем метаданных, принимаемых от стороннего сервера, ограничен 128 килобайтами данных.

Где и как применяется

Изобретение изменяет стандартный процесс сбора данных и фокусируется на этапе индексации.

CRAWLING – Сканирование и Сбор данных
Этот механизм обходит традиционное сканирование (crawling). Вместо того чтобы краулер пытался получить и распарсить контент (PULL), система использует PUSH-модель сбора данных. Стороннее приложение активно отправляет данные через API.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Indexing Utility получает indexable metadata. Система не обрабатывает исходные данные (Raw Data). Вместо этого она парсит предоставленный текст или HTML. Если предоставлен HTML, система обращает особое внимание на HTML-теги и индексирует их на основе этих тегов. Метаданные сохраняются и ассоциируются с исходным ресурсом и его Access Control Information (ACLs).

RANKING / RERANKING – Ранжирование / Переранжирование
Индексированные метаданные используются на этих этапах для определения релевантности ресурса поисковым запросам (внутри платформы).

Входные данные:

• Indexable Metadata (текст или HTML), полученные от третьей стороны через API.
• Access Control Information (ACLs) для ресурса.

Выходные данные:

• Индексированное представление стороннего ресурса в базе данных поисковой системы, доступное для поиска авторизованным пользователям.

На что влияет

• Конкретные типы контента и форматы: Наибольшее влияние оказывается на контент, который традиционно сложно индексировать. Патент явно упоминает мультимедийные форматы (MPEG, SHOCKWAVE), архивы (ZIP), изображения, видео, PDF, документы Word, а также динамический контент, доступный через запросы к базам данных (CGI, Java programs, Active Server pages).
• Специфические ниши: Экосистемы, где интегрировано множество сторонних приложений (например, Google Workspace/Drive, App Indexing). Также это может касаться индексации сложных веб-приложений (SPA) или контента, который находится за формами авторизации или файрволами.

Когда применяется

Алгоритм применяется при соблюдении следующих условий:

• Условие необходимости: Когда исходные данные ресурса недоступны для сканирования или не могут быть распарсены поисковой системой (например, из-за проприетарного формата).
• Триггер активации: Когда сторонняя сторона активно решает сгенерировать и отправить (push) indexable metadata через предоставленный API. Обычно это происходит в момент, когда пользователь сохраняет или обновляет данные в стороннем приложении.
• Пороговые значения: Применяется строгое ограничение на размер метаданных (Threshold Amount). Если размер превышен, механизм не сработает (данные будут отклонены).

Пошаговый алгоритм

Процесс инициируется третьей стороной и завершается сетевой системой.

1. Обновление данных (На стороне третьей стороны): Пользователь создает или обновляет данные с помощью стороннего приложения. Данные сохраняются в недоступном формате.
2. Генерация метаданных (На стороне третьей стороны): Стороннее приложение активирует Metadata Converter для преобразования своей модели данных в упрощенное представление (indexable text или indexable html).
3. Передача данных (API Call): Стороннее приложение делает вызов API сетевой системы, передавая сгенерированные метаданные и информацию о контроле доступа (ACL).
4. Валидация доступа (На стороне сетевой системы): Система проверяет права доступа и авторизацию приложения и пользователя для данного ресурса (включая проверку установки приложения пользователем, согласно Claim 3).
5. Проверка ограничений (На стороне сетевой системы): Система определяет размер полученных метаданных и сравнивает его с установленным пороговым значением (Threshold Amount).
6. Принятие или Отклонение:
   • Если размер превышен или доступ запрещен: Метаданные отклоняются.
   • Если валидация пройдена: Метаданные принимаются к обработке.
7. Индексация: Indexing Utility обрабатывает метаданные. Простой текст парсится по словам; HTML парсится с учетом тегов. Старые метаданные могут быть очищены или перезаписаны. Данные добавляются в поисковый индекс.
8. Поиск (Пользователь): Пользователь выполняет поиск в сетевой системе. Система использует индексированные метаданные для нахождения релевантных сторонних ресурсов, проверяя при этом ACL пользователя.

Какие данные и как использует

Данные на входе

Патент фокусируется на механизме приема и обработки данных, предоставленных извне.

• Контентные и Мультимедиа факторы: Основным входом являются Indexable Metadata. Это текст или HTML, который представляет собой исходный контент (документы, презентации, изображения, видео и т.д.). Система не получает исходные файлы.
• Технические факторы: Неявно учитывается формат исходных данных (бинарный, проприетарный, мультимедиа) как причина использования этого механизма.
• Пользовательские факторы (Безопасность): Критически важными являются Access Control Information (ACLs). Они используются для определения того, кто имеет право видеть этот контент в результатах поиска и какое приложение имеет право обновлять метаданные.

Какие метрики используются и как они считаются

• Threshold Amount (Пороговый размер): Ключевая метрика патента. Это жесткий лимит на объем данных, принимаемых для индексации от третьей стороны. Патент приводит примеры: 128 килобайт (в Claims), а также 2 МБ, 10 МБ и различные диапазоны (в Description).
  Расчет: Размер полученных метаданных $\leq$ Threshold Amount.
• Методы анализа текста: Система использует разные парсеры в зависимости от типа метаданных:
  • Простой текст (Plain text): Парсится по словам для индексации.
  • HTML: Парсится как HTML, при этом особое внимание уделяется HTML-тегам, и индексация происходит на основе этих тегов.

1. Механизм индексации "Несканируемого" контента: Патент описывает способ, позволяющий Google индексировать контент, который стандартные краулеры не могут получить (например, данные на внешних серверах) или понять (проприетарные форматы, сложные мультимедиа).
2. Переход от Pull к Push модели: Вместо сканирования (pull), система полагается на то, что третья сторона активно предоставит (push) индексируемое представление своих данных через API.
3. Ответственность третьей стороны за качество индекса: Качество, полнота и точность индексации полностью зависят от того, насколько хорошо стороннее приложение генерирует indexable metadata. Google индексирует только то, что ему предоставили.
4. Жесткие ограничения по размеру (Anti-Abuse): Google вводит строгие лимиты (Threshold Amount, например, 128 КБ - 2 МБ) на размер принимаемых метаданных. Это необходимо для управления хранилищем и предотвращения злоупотреблений (например, спама ключевыми словами).
5. Интеграция контроля доступа: Безопасность и приватность являются неотъемлемой частью системы. Индексированные данные наследуют права доступа (ACL) исходного ресурса, гарантируя, что приватные данные не станут публичными.
6. Фокус на экосистемы: Хотя механизм может применяться к веб-поиску концептуально, его описание и требования к доступу (Claim 3) наиболее точно соответствуют работе внутренних экосистем, таких как Google Drive, Workspace или App Indexing.

Best practices (это мы делаем)

Примечание: Практики разделены на прямое применение (App/Platform SEO) и концептуальное применение для Web SEO.

Для App/Platform SEO (Google Drive, App Indexing):

• Активно использовать API индексации: Необходимо передавать Indexable Metadata для обеспечения видимости контента приложения в поиске платформы.
• Использовать HTML для структурирования: Следует использовать HTML вместо простого текста, применяя семантические теги. Патент указывает, что HTML-теги учитываются при индексации.
• Оптимизировать метаданные под лимиты: Генерировать краткое и емкое представление контента, укладываясь в Threshold Amount (например, 128 КБ - 2 МБ).

Для Web SEO (Концептуальное применение):

• Обеспечение индексируемого представления для сложного контента: Если контент сайта скрыт в сложных JavaScript-приложениях (SPA), видео или интерактивных элементах, необходимо предоставлять поисковой системе четкое, индексируемое текстовое или HTML-представление. Это подтверждает важность таких техник, как пререндеринг, динамический рендеринг или использование Indexing API.
• Управление метаданными для медиаконтента: Для видео и аудио необходимо активно управлять метаданными (схемы разметки, субтитры, транскрипции), которые служат тем самым indexable text, описанным в патенте.

Worst practices (это делать не надо)

• Изоляция контента в несканируемых форматах (Web SEO): Полагаться на то, что Google сможет проиндексировать контент внутри проприетарных форматов или плохо реализованных SPA без предоставления альтернативного представления.
• Превышение лимитов объема (App/Platform SEO): Попытка передать слишком большой объем данных через API. Система имеет жесткие пороги (Threshold Amount) и отклонит данные.
• Игнорирование обновлений (App/Platform SEO): Сохранение устаревших метаданных после изменения исходного файла. Необходимо своевременно обновлять данные в индексе через API.

Стратегическое значение

Патент подтверждает стремление Google индексировать контент за пределами стандартного HTML и подчеркивает ограничения стандартного краулинга. Для SEO-специалистов это сигнал о том, что индексация современных сложных веб-приложений и контента внутри платформ требует активного участия разработчиков. Стратегия индексации смещается от пассивного ожидания краулера к активному управлению тем, как контент представляется поисковой системе (через рендеринг или API).

Практические примеры

Сценарий 1: Индексация приложения в Google Workspace (Прямое применение, Platform SEO)

1. Приложение: Сторонний инструмент для создания диаграмм (например, Miro, Lucidchart), интегрированный с Google Drive.
2. Проблема: Диаграммы хранятся в проприетарном векторном формате, который Google Drive не может прочитать.
3. Применение патента: Когда пользователь сохраняет диаграмму, инструмент генерирует текстовое резюме (названия блоков, текст внутри диаграммы, заголовок).
4. Передача: Инструмент отправляет этот текст как indexable metadata в Google Drive через API. Размер резюме 5 КБ (ниже порога).
5. Результат: Google Drive индексирует текст. Пользователь может найти эту диаграмму в поиске Drive, введя слова, которые использовались внутри диаграммы.

Сценарий 2: Индексация сложного SPA (Косвенное применение принципов, Web SEO)

1. Сайт: Сложное E-commerce приложение, построенное как Single Page Application (SPA).
2. Проблема: Googlebot испытывает трудности с рендерингом и индексацией контента, генерируемого JavaScript.
3. Применение принципов: Разработчики настраивают динамический рендеринг.
4. Генерация представления: Когда Googlebot запрашивает страницу, сервер генерирует статический HTML-снапшот страницы (выступает в роли indexable html).
5. Результат: Googlebot получает и индексирует HTML-снапшот, что позволяет сайту ранжироваться в поиске, даже если исходное JS-приложение сложно для прямого анализа.