Как Google использует HTTP-заголовки для извлечения и индексации метаданных из не-HTML документов (PDF, DOC и т.д.)

Термины и определения

External Metadata Compiler (Компилятор внешних метаданных)

Компонент на стороне сервера (в репозитории документов или веб-сервере). Отвечает за сбор метаданных, их форматирование в пары имя-значение, кодирование и внедрение в HTTP-заголовок при ответе на запрос сканирования.

HTTP Header (HTTP-заголовок)

Часть HTTP/HTTPS ответа от сервера. Используется для передачи закодированных метаданных в предопределенном поле.

Indexer (Индексатор)

Компонент поисковой системы, который анализирует содержимое документа и его метаданные для создания поискового индекса.

Interpreter (Интерпретатор)

Компонент на стороне поисковой системы (часть краулера). Получает HTTP-ответ, извлекает метаданные из специального HTTP-заголовка и преобразует их во фрагмент языка разметки.

Markup language fragment (Фрагмент языка разметки)

Синтезированный документ (например, HTML или XML), созданный Интерпретатором. Он объединяет основное содержимое не-HTML файла и метаданные, преобразованные в стандартные теги (например, <META>).

Name-value pair (Пара имя-значение)

Формат представления метаданных (например, Author=O'Connor).

Non-markup language document (Документ без языка разметки)

Файлы, не являющиеся HTML, XML и т.п. Примеры: PDF, DOCX, XLSX, PPTX.

Percent-encoding (Процентное кодирование)

Стандартный механизм (RFC3986) для кодирования специальных символов для безопасной передачи в HTTP-протоколе.

Pre-determined header name (Предопределенное имя заголовка)

Специальное имя (например, X-EXTERNAL-METADATA, как показано на схемах патента), используемое для идентификации пользовательских метаданных в HTTP-ответе.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на процессе обработки данных поисковой системой.

Claim 1 (Независимый пункт): Описывает метод предоставления метаданных для документа без языка разметки в поисковый индекс.

1. Поисковая система отправляет запрос на получение данных о документе.
2. Поисковая система получает ответ, содержащий HTTP-заголовок. Этот заголовок включает метаданные о документе в формате пары имя-значение, а также содержимое документа.
3. Из HTTP-заголовка извлекается пара имя-значение.
4. В поисковой системе создается тег языка разметки (markup language tag) для этой пары имя-значение.
5. Этот тег и содержимое документа в формате языка разметки предоставляются компоненту создания поискового индекса.

Claim 2 (Зависимый от 1): Уточняет, что пара имя-значение закодирована с использованием percent-encoding.

Claim 3 (Зависимый от 1): Уточняет механизм активации.

Процессы извлечения и создания тега выполняются в ответ на идентификацию предопределенного имени заголовка (pre-determined header name).

Claim 4 (Зависимый от 1): Указывает, что предоставленные метаданные заменяют предыдущие метаданные, проиндексированные для этого документа (обеспечение актуальности).

Claim 8 (Независимый пункт): Описывает поисковую систему (систему с процессором и памятью), сконфигурированную для выполнения аналогичных шагов в рамках операции сканирования (crawling operation).

Где и как применяется

Изобретение применяется на этапах сканирования и индексирования.

CRAWLING – Сканирование и Сбор данных
Это основной этап применения. Interpreter (как часть краулера) отправляет запрос на получение не-HTML документа. Сервер (используя External Metadata Compiler) отвечает HTTP-ответом. Interpreter анализирует HTTP-заголовки и, если обнаруживает предопределенный заголовок с метаданными, извлекает и декодирует их.

INDEXING – Индексирование и извлечение признаков
Interpreter преобразует извлеченные метаданные и основное содержимое файла в Markup language fragment. Этот фрагмент передается Indexer. Индексатор обрабатывает этот фрагмент, как если бы это был стандартный HTML/XML документ, индексируя содержимое и учитывая синтезированные META-теги.

Входные данные (для поисковой системы):

• HTTP-ответ от сервера, содержащий:
  • Контент не-HTML документа.
  • HTTP-заголовок с pre-determined header name.
  • Закодированные (Percent-encoding) пары «имя-значение» в этом заголовке.

Выходные данные (для индексатора):

• Markup language fragment (виртуальный HTML или XML), содержащий контент документа и метаданные в виде тегов разметки.

На что влияет

• Конкретные типы контента: Влияет исключительно на документы, не являющиеся HTML (PDF, DOCX, XLSX, PPTX и другие форматы, индексируемые поисковой системой).
• Специфические запросы: Улучшает индексацию и ранжирование этих документов по всем типам запросов, позволяя им ранжироваться по метаданным (например, по автору или оптимизированному заголовку).
• Конкретные ниши или тематики: Имеет критическое значение в нишах, где преобладают не-HTML форматы: академические исследования (PDF), финансы (отчеты, таблицы), B2B (техническая документация).

Когда применяется

• Временные рамки: Применяется в реальном времени во время сканирования (crawl-time) или повторного сканирования документа.
• Триггеры активации: Механизм на стороне поисковой системы активируется только при обнаружении предопределенного HTTP-заголовка в ответе сервера.

Пошаговый алгоритм

Процесс описывает взаимодействие между Interpreter (Краулер) и External Metadata Compiler (Сервер).

Этап 1: Запрос (Interpreter)

1. Поисковая система отправляет HTTP-запрос на получение документа, который не находится в формате языка разметки (например, PDF).

Этап 2: Обработка на сервере (External Metadata Compiler)

1. Система находит запрошенный документ в репозитории.
2. Система находит метаданные, связанные с документом (из свойств файла, базы данных, CMS или производные данные).
3. Система создает пары «имя-значение» для этих метаданных (например, Author=O'Connor, Topic=Fishing).
4. Система применяет Percent-encoding к парам «имя-значение» для безопасной передачи (например, Author%3DO%27Connor).
5. Система формирует HTTP-ответ, вставляя закодированные данные в pre-determined header name (например, X-EXTERNAL-METADATA) и добавляя контент документа.

Этап 3: Обработка ответа (Interpreter)

1. Поисковая система получает HTTP-ответ.
2. Система сканирует HTTP-заголовки, идентифицирует pre-determined header name, извлекает и декодирует пары «имя-значение».
3. Система создает markup language fragment (например, HTML-сниппет).
4. Система вставляет извлеченные метаданные в этот фрагмент в виде тегов (например, META-тегов) и добавляет контент документа.

Этап 4: Индексация (Indexer)

1. Interpreter передает markup language fragment компоненту Indexer для обработки и обновления поискового индекса.

Какие данные и как использует

Данные на входе

Патент описывает механизм передачи данных и упоминает типы и источники метаданных, которые могут быть использованы.

• Технические факторы:
  • Структура HTTP-ответа и HTTP-заголовков.
  • Использование pre-determined header name для идентификации данных.
  • Применение протокола Percent-encoding (RFC3986) для кодирования данных.
• Контентные факторы (Типы метаданных):
  • Заголовки (Titles), Темы (Topic/Subject), Ключевые слова (Keywords), Категории.
• Факторы авторства и управления:
  • Автор (Author), Отдел организации, Номер проекта.
• Временные факторы:
  • Дата и время создания/обновления.
• Источники метаданных (упомянутые в патенте):
  • Свойства файла, созданные приложением (например, свойства Word).
  • Данные из системы управления документами (Document Management System).
  • Данные, предоставленные пользователем через интерфейс.
  • Производные метаданные (например, из структуры директорий, где хранится файл).

Какие метрики используются и как они считаются

Патент не описывает метрики ранжирования. Он описывает форматы данных и протоколы обработки.

• Методы кодирования: Percent-encoding.
• Трансформация данных: Преобразование формата пар имя-значение в формат тегов разметки (HTML/XML META elements).
• Протоколы передачи: HTTP и HTTPS.

1. Стандартизированный механизм для не-HTML метаданных: Google имеет четко определенный механизм для приема метаданных для PDF, документов Word и других файлов через HTTP-заголовки во время сканирования.
2. Эквивалентность META-тегам: Метаданные, переданные через HTTP-заголовок, преобразуются в виртуальные теги разметки (markup language fragment) и обрабатываются поисковой системой идентично стандартным HTML META-тегам.
3. Разделение контента и метаданных: Этот подход позволяет управлять метаданными отдельно от самих файлов. Метаданные могут храниться в CMS и динамически внедряться сервером в момент запроса, что упрощает обновление информации без модификации исходных файлов.
4. Ответственность на стороне сервера: Реализация этого механизма лежит на владельце сайта (веб-сервере или CMS). Поисковая система только интерпретирует данные, если они предоставлены в правильном формате (включая корректный percent-encoding) и в нужном заголовке.
5. Унификация индексации: Изобретение устраняет фундаментальное ограничение не-HTML форматов, позволяя им быть полноценно представленными в поисковом индексе с богатым набором метаданных.

Best practices (это мы делаем)

• Применение принципов патента через стандартные заголовки: В публичном веб-поиске механизм, описанный в патенте, активно используется через стандартизированные HTTP-заголовки. Необходимо активно применять их для не-HTML контента:
  • X-Robots-Tag: Для управления индексацией PDF/DOC файлов (например, noindex для устаревших документов).
  • Link: rel=canonical: Для указания канонической версии файлов, доступных по разным URL.
• Оптимизация метаданных в источнике: Поскольку External Metadata Compiler может использовать метаданные из самого файла, всегда заполняйте свойства документа (Заголовок, Автор, Тема) в PDF или файлах Office перед публикацией.
• Внедрение кастомных метаданных (для Enterprise Search или продвинутого SEO): В корпоративном поиске или при наличии технической возможности можно рассмотреть внедрение пользовательских метаданных через специальный заголовок (как описанный в патенте X-EXTERNAL-METADATA). Это позволяет передавать оптимизированные Titles, Descriptions или сигналы E-E-A-T (авторство). Требует тщательной настройки сервера и корректного percent-encoding.
• Централизованное управление метаданными: Используйте возможности CMS для хранения метаданных отдельно от файлов. Это позволяет обновлять SEO-информацию динамически при сканировании без изменения самих файлов.

Worst practices (это делать не надо)

• Игнорирование оптимизации PDF/DOC: Оставлять метаданные неоптимизированными и не управлять индексацией через HTTP-заголовки, что приводит к плохим сниппетам и проблемам с дублированием контента.
• Перенасыщение ключевыми словами (Keyword Stuffing) или Клоакинг: Попытка манипулировать ранжированием путем добавления нерелевантных или вводящих в заблуждение метаданных через HTTP-заголовки. Это может быть расценено как спам.
• Ошибки форматирования и кодирования: Неправильное использование percent-encoding (при кастомной реализации) или ошибки в синтаксисе стандартных заголовков (например, X-Robots-Tag) приведут к игнорированию данных.

Стратегическое значение

Патент подтверждает стратегию Google по унификации обработки всех типов контента. Независимо от исходного формата (HTML, PDF, DOC), контент приводится к общему виду перед индексацией. Для SEO это означает, что техническая оптимизация должна охватывать весь контент на сайте, а конфигурация сервера является критически важным инструментом для передачи сигналов поисковым системам о не-HTML активах.

Практические примеры

Сценарий 1: Управление индексацией PDF с помощью стандартного заголовка

1. Задача: Исключить из индекса устаревший PDF-отчет (/reports/old-report.pdf).
2. Решение на основе принципа патента: Передать инструкцию через HTTP-заголовок во время сканирования.
3. Реализация (например, Apache):

   <Files "old-report.pdf"> Header set X-Robots-Tag "noindex" </Files>

4. Результат: При сканировании Interpreter получит эту инструкцию, преобразует ее в эквивалент META Robots тега, и индексатор удалит файл из индекса.

Сценарий 2: Передача кастомных метаданных (Продвинутый/Enterprise)

1. Задача: Передать оптимизированный Title и Author для PDF-файла /files/doc1.pdf.
2. Подготовка данных: Title="SEO Strategy 2025", Author="John Doe". Кодируем: Title%3DSEO%20Strategy%202025,Author%3DJohn%20Doe.
3. Реализация (например, Apache, используя пример из патента):

   <Files "doc1.pdf"> Header set X-EXTERNAL-METADATA "Title%3DSEO%20Strategy%202025,Author%3DJohn%20Doe" </Files>

4. Результат: Interpreter извлекает данные, преобразует их в META-теги Title и Author, что может повлиять на сниппет и понимание контента. (Примечание: поддержка заголовка X-EXTERNAL-METADATA в публичном поиске не гарантирована).