Как Google использует спецификации от издателей для обработки, индексирования и показа цифровых книг (Google Books)

Термины и определения

Content Provider (Поставщик контента)

Организация (например, издатель или библиотека), которая предоставляет цифровой контент и спецификации для включения в цифровую библиотеку.

Content Specification (Спецификация контента)

Структурированный файл (например, XML), предоставляемый поставщиком контента. Описывает один или несколько цифровых томов, включая их структуру, метаданные, расположение файлов и инструкции по обработке.

Display Tags (Теги отображения)

Теги в спецификации, определяющие параметры отображения тома пользователям, например, макет или ограничения на просмотр страниц.

Granularity Level (Уровень гранулярности)

Уровень детализации индексации. Определяется в Indexing Tags. Может быть на уровне страницы (page level), главы (chapter level) или всего тома (volume level).

Indexing Tags (Теги индексирования)

Теги в спецификации, предоставляющие инструкции для индексации контента, в частности, определяющие Granularity Level.

Metadata Tags (Теги метаданных)

Теги в спецификации, определяющие описательную информацию о томе (ISBN, название, автор, синопсис) или ссылающиеся на внешние источники метаданных (например, ONIX).

ONIX (Online Information Exchange)

Стандарт в книгоиздательской индустрии для обмена информацией о книгах. Спецификация может ссылаться на ONIX-фид.

Partner Tags (Партнерские теги)

Теги для поставщиков контента, участвующих в партнерской программе. Определяют кастомизацию отображения, настройки рекламы, права доступа (permissions), географические ограничения и видимость в различных типах поиска.

Structural Tags (Структурные теги)

Теги в спецификации, определяющие структуру тома. Включают расположение (URL) файлов контента, порядковые номера (sequence number) для сборки тома и семантическую информацию о частях контента (например, «обложка», «оглавление», «глава 1»).

Volume (Том)

Цифровое представление человекочитаемого контента, например, оцифрованная книга или журнал.

Volume Server (Сервер томов)

Система, которая принимает, обрабатывает, индексирует и хранит цифровые тома, а также предоставляет к ним доступ пользователям.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько независимых пунктов (1, 8, 13, 18), описывающих изобретение как метод, систему, программный продукт и структуру данных. Ядро изобретения сосредоточено на использовании спецификации контента с явными инструкциями по индексированию.

Claim 1, 8, 13 (Система, Метод, Продукт): Описывают процесс включения цифрового тома в библиотеку.

1. Система получает Content Specification для цифрового тома, содержащего текстовые данные.
2. Спецификация включает элементы языка разметки и теги:
   • Structural tag, указывающий расположение (location) хотя бы части контента тома.
   • Metadata tag, описывающий том.
   • Indexing tag, определяющий уровень гранулярности (granularity level) для индексации контента.
3. Модуль контента получает контент тома, используя расположение, указанное в Structural tag.
4. Модуль индексирования индексирует текстовые данные полученного контента на уровне гранулярности, указанном в Indexing tag.

Ключевым элементом здесь является не просто использование метаданных или структуры, а явное указание инструкций по индексированию (гранулярности) в самой спецификации.

Claim 18 (Структура данных): Описывает саму Content Specification как структуру данных на носителе.

1. Структура содержит элементы языка разметки и теги.
2. Теги включают:
   • Structural tag с расположением контента, используемым для его получения.
   • Metadata tag, описывающий том.
   • Indexing tag, содержащий инструкции по индексированию текстовых данных, включая указание granularity level.

Зависимые пункты (например, 3, 15, 20): Добавляют детали, такие как использование информации о последовательности (sequencing information или sequence number) для сборки тома из отдельных частей контента.

Зависимые пункты (например, 4, 16): Уточняют, что индексирование включает извлечение текста из контента (например, через OCR).

Где и как применяется

Изобретение описывает инфраструктуру для приема и обработки контента в специализированных цифровых библиотеках, таких как Google Books. Оно не применяется к стандартному веб-поиску.

CRAWLING – Сканирование и Сбор данных
Crawling Module (Модуль сканирования) обнаруживает и извлекает Content Specification у поставщика контента. Затем Content Module (Модуль контента) использует Structural Tags из спецификации для извлечения фактических файлов контента (изображений, PDF) по указанным ссылкам (URL).

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Система обрабатывает спецификацию для извлечения данных:

• Metadata Module извлекает метаданные из Metadata Tags и внешних источников (ONIX).
• Partner Module обрабатывает Partner Tags для определения правил доступа и отображения.
• Content Module и Processing Module собирают том на основе информации о последовательности в Structural Tags, выполняют OCR и конвертируют форматы.
• Indexing Module индексирует извлеченный текст и метаданные, строго следуя инструкциям в Indexing Tags, в частности, применяя указанную гранулярность (страница, глава, том).

RANKING / (Presentation)
Presentation Module (Модуль представления) использует созданный индекс для поиска релевантного контента в ответ на запросы пользователей. При отображении результатов модуль применяет правила, извлеченные из Partner Tags и Display Tags (например, ограничения просмотра).

Входные данные:

• Content Specification (XML-файл).
• Файлы контента тома (TIFF, JPEG, PDF, HTML, Text), расположенные по URL из спецификации.
• Внешние фиды метаданных (например, ONIX).

Выходные данные:

• Собранный и обработанный цифровой том.
• Извлеченные метаданные и правила доступа.
• Поисковый индекс с заданной гранулярностью.

На что влияет

• Конкретные типы контента: Влияет исключительно на оцифрованные тома (книги, журналы, научные работы), предоставляемые через специализированные системы агрегации. Не влияет на обычные веб-страницы, товары или локальные листинги.
• Специфические запросы: Влияет на результаты поиска внутри цифровой библиотеки (например, Google Books). Partner Tags могут также определять, будет ли том доступен через общий веб-поиск.

Когда применяется

• Условия работы: Алгоритм применяется, когда поставщик контента (издатель) предоставляет Content Specification для одного или нескольких цифровых томов для включения в цифровую библиотеку.
• Триггеры активации: Обнаружение новой или обновленной Content Specification модулем сканирования или ее прямая загрузка поставщиком контента.

Пошаговый алгоритм

Процесс обработки цифрового тома на Volume Server:

1. Получение спецификации: Система получает Content Specification от поставщика контента.
2. Парсинг и извлечение данных: Система анализирует спецификацию.
   • Partner Module определяет идентификатор партнера и извлекает партнерские правила из Partner Tags.
   • Metadata Module извлекает метаданные из Metadata Tags и может запрашивать дополнительные данные из внешних ONIX-фидов или баз данных по ISBN.
   • Извлекаются инструкции по индексированию из Indexing Tags (гранулярность).
3. Определение структуры и получение контента: Content Module использует Structural Tags для определения структуры тома и извлечения файлов контента по указанным URL.
4. Обработка и анализ контента: Processing Module собирает файлы контента в единый том на основе информации о последовательности (sequence number). Выполняется OCR для извлечения текста и, при необходимости, конвертация форматов.
5. Индексирование тома: Indexing Module индексирует обработанный контент (текст) и метаданные. Индексация выполняется с учетом заданного Granularity Level (страница, глава, том).
6. Хранение: Обработанный контент, структура, метаданные, партнерские правила и индекс сохраняются в Volume Storage (Хранилище томов) для последующего доступа через Presentation Module.

Какие данные и как использует

Данные на входе

Система использует данные, явно указанные в Content Specification или извлеченные из файлов, на которые она ссылается.

• Контентные факторы: Текст, извлеченный посредством OCR из файлов контента тома (изображения, PDF) или полученный из текстовых файлов.
• Технические факторы: URL файлов контента, форматы файлов (TIFF, JPEG, PDF, HTML, Text), дата последней модификации файлов (упоминается в примере XML).
• Структурные факторы: Порядковые номера (sequence number) для сборки тома, имена страниц, семантические типы ресурсов (например, frontcover, page, table of contents), указанные в Structural Tags.
• Метаданные (внешние и внутренние): ISBN, ссылки на ONIX-фиды, название, автор, издатель, синопсис, указанные в Metadata Tags.
• Факторы доступа и отображения: Разрешения на просмотр, максимальный процент просмотра, географические ограничения, настройки рекламы, исключение страниц из поиска (например, тег <bm:excludeFromSearch> в примере XML) – все это извлекается из Partner Tags и Display Tags.

Какие метрики используются и как они считаются

Патент не описывает метрики ранжирования. Он фокусируется на параметрах обработки и индексирования.

• Granularity Level (Уровень гранулярности): Ключевая инструкция из Indexing Tags. Определяет единицу индексации: страница, глава или том.
• Semantic Type (Семантический тип): Классификация частей контента (оглавление, индекс и т.д.), указанная в Structural Tags. Может использоваться для придания разного веса при индексировании.
• Permissions (Разрешения): Бинарные или числовые правила из Partner Tags, определяющие доступность контента для пользователей.

1. Инфраструктура для специализированного контента: Патент описывает инфраструктурное решение для управления цифровыми библиотеками (например, Google Books), а не алгоритм ранжирования для веб-поиска. Он определяет протокол взаимодействия между издателями и платформой.
2. Предпочтение структурированных данных: Для сложного контента, такого как книги, Google предпочитает получать точные структурные и семантические данные напрямую от поставщика контента, а не пытаться определить их алгоритмически (эвристически). Это минимизирует ошибки обработки.
3. Точный контроль над индексацией (Гранулярность): Ключевой особенностью является возможность издателя указывать гранулярность индексации через Indexing Tags. Это позволяет оптимизировать поиск для разных типов изданий (например, индексировать кулинарные книги на уровне страниц/рецептов, а учебники — на уровне глав).
4. Управление отображением и доступом: Partner Tags предоставляют издателям детальный контроль над тем, как, где и кому показывается их контент, включая монетизацию (рекламу) и защиту авторских прав (ограничения просмотра).
5. Минимальная релевантность для стандартного SEO: Для специалистов, занимающихся продвижением обычных веб-сайтов, этот патент не дает прямых практических рекомендаций по ранжированию. Он важен для понимания процессов агрегации контента в специализированных вертикалях Google.

Best practices (это мы делаем)

Эти рекомендации применимы в первую очередь к издателям и авторам, которые предоставляют контент для цифровых библиотек, использующих описанную систему (например, Google Books).

• Предоставлять полные и точные спецификации: Обеспечить, чтобы Content Specification была валидной, содержала корректные ссылки на файлы контента и точную структурную информацию (последовательность страниц, обозначение оглавления и т.д.).
• Использовать стандартные метаданные: Максимально использовать Metadata Tags, предоставляя ISBN и ссылки на полные ONIX-фиды. Это обеспечивает корректную идентификацию и классификацию тома.
• Выбирать оптимальную гранулярность индексации: Использовать Indexing Tags для определения правильного Granularity Level. Если важно, чтобы пользователи могли находить отдельные статьи или рецепты, следует выбирать гранулярность на уровне страницы. Если том представляет собой единое повествование, лучше индексировать на уровне главы или тома.
• Управлять доступом через партнерские теги: Активно использовать Partner Tags для определения бизнес-правил: настройки рекламы, географические ограничения и процент контента, доступный для предварительного просмотра.

Worst practices (это делать не надо)

• Предоставлять неполные данные: Отсутствие ключевых метаданных (ISBN) или структурной информации затруднит обработку и снизит видимость книги в поиске.
• Ошибки в структурных тегах: Неправильные URL или неверная последовательность страниц (sequence number) приведут к ошибкам сборки тома или невозможности его отображения.
• Игнорирование инструкций по индексированию: Неправильный выбор гранулярности может сделать контент неудобным для поиска (например, если целая книга индексируется как один блок текста, или если роман индексируется постранично, теряя контекст главы).

Стратегическое значение

Патент подчеркивает важность стандартизированных протоколов обмена данными для агрегации контента в больших масштабах. Успех контента на специализированных платформах (Google Books, Google Scholar) напрямую зависит от качества и полноты данных, предоставляемых издателем через эти протоколы. Для SEO-стратегии это подтверждает тренд на использование структурированных данных (аналогично Schema.org для веб-поиска или фидам для Google Merchant Center) для обеспечения корректной интерпретации контента поисковыми системами.

Практические примеры

Сценарий 1: Индексирование кулинарной книги

1. Задача: Издатель хочет, чтобы пользователи могли находить отдельные рецепты в кулинарной книге.
2. Действие: В Content Specification издатель использует Indexing Tags, чтобы указать Granularity Level на уровне страницы (page level), так как каждый рецепт занимает одну страницу.
3. Результат: Volume Server индексирует каждую страницу отдельно. Поиск по запросу «рецепт яблочного пирога» точно приведет пользователя на соответствующую страницу книги, а не просто на книгу в целом.

Сценарий 2: Управление доступом к новому роману

1. Задача: Издатель хочет предоставить предварительный просмотр романа, но ограничить доступ к полному тексту для стимулирования продаж.
2. Действие: В Content Specification издатель использует Partner Tags, чтобы установить максимальный процент просмотра (например, 15%) и указать ссылку на свой веб-сайт для покупки полной версии. Также могут быть использованы теги для исключения финальной главы из предпросмотра.
3. Результат: Presentation Module отображает книгу пользователям, но блокирует доступ после достижения лимита в 15% и показывает ссылку для покупки.