Как Google обогащает оцифрованные документы (например, книги), автоматически находя и встраивая связанный веб-контент

Термины и определения

Document (Документ)

В контексте патента — традиционное печатное произведение (книга, журнал, каталог, статья и т.д.), часто оцифрованное (например, с помощью сканирования и OCR). Также упоминается как Scanned Document.

Web Document (Веб-документ)

Любой машиночитаемый контент, доступный через сеть (веб-сайт, файл, блог и т.д.). Источник связанной информации.

Attribute (Атрибут документа)

Характеристика документа, используемая для генерации вторичных поисковых запросов. Примеры: название, автор, категория, издатель, дата публикации, ISBN/ISSN.

Reference Page (Справочная страница)

Пользовательский интерфейс, генерируемый системой для представления детальной информации о выбранном документе. Агрегирует данные из документа и связанную информацию из интернета.

Extracted Information (Извлеченная информация)

Данные, которые система извлекает из найденных веб-документов (например, рейтинг, текст обзора, биография) для прямого отображения на Reference Page.

IR Score (Information Retrieval Score)

Стандартная оценка текстовой релевантности документа запросу.

Link-based Score (Оценка на основе ссылок)

Оценка авторитетности документа на основе ссылок. В патенте упоминается техника из U.S. Pat. No. 6,285,999 (PageRank).

Ключевые утверждения (Анализ Claims)

Патент описывает несколько ключевых режимов работы.

Claim 1 (Независимый пункт): Описывает реактивный (интерактивный) метод.

1. Система получает запрос, выполняет первый поиск и предоставляет результаты.
2. Пользователь выбирает результат, связанный с scanned document.
3. Система отображает первую Reference Page. Она содержит ссылки, каждая из которых связана со вторым поиском по определенному атрибуту (например, ссылка «Обзоры»).
4. Пользователь выбирает одну из ссылок.
5. Система выполняет второй поиск (на основе атрибута) для идентификации веб-документов.
6. Результат второго поиска отображается как вторая Reference Page.

Claim 17 (Независимый пункт): Описывает метод с автоматическим выполнением множества поисков.

1. Система получает идентификацию документа.
2. Отображается Reference Page с ссылкой, связанной с множеством поисков (plurality of searches) по атрибутам.
3. Пользователь выбирает эту ссылку.
4. Система автоматически выполняет это множество поисков для идентификации связанных веб-документов.
5. Предоставляется вторая Reference Page с результатами.

Claim 20 (Независимый пункт): Описывает метод с извлечением информации.

1. Система идентифицирует scanned document и отображает Reference Page с ссылкой на поиск по атрибуту.
2. После выбора ссылки выполняется поиск веб-документов.
3. Система извлекает информацию (extract information) из этих веб-документов.
4. Отображается вторая Reference Page, включающая эту извлеченную информацию (например, текст обзора, а не ссылку на него).

Claims 3 и 4 (Зависимые): Уточняют, что результаты второго поиска ранжируются. Для этого генерируются оценки (scores), которые могут основываться на комбинации IR scores и link-based scores.

Где и как применяется

Изобретение в первую очередь относится к этапам, связанным с формированием финальной выдачи и интерфейса для специализированных вертикалей поиска (например, Google Books, Google Scholar).

INDEXING – Индексирование и извлечение признаков
На этом этапе система обрабатывает как исходные Documents (сканирует книги, извлекает текст через OCR, идентифицирует Attributes), так и Web Documents (сканирует веб-страницы с обзорами, биографиями).

QUNDERSTANDING – Понимание Запросов
Система должна генерировать вторичные поисковые запросы на основе атрибутов документа. Например, получив атрибуты «Название: 9/11 Report» и «Тип информации: Обзор», система генерирует запрос ["9/11 Report" review].

RANKING – Ранжирование
Ранжирование применяется при выполнении вторичных поисков (например, поиске обзоров). В патенте (Claims 3, 4) явно указано использование стандартных методов ранжирования, включая IR-scores и Link-based scores (ссылочные оценки), для сортировки этих вторичных результатов.

METASEARCH – Метапоиск и Смешивание
Это основной этап применения патента. Система функционирует как метапоисковый движок, который агрегирует информацию из разных источников (оцифрованный документ и результаты вторичного веб-поиска) и смешивает их для создания единой Reference Page.

Входные данные:

• Выбранный пользователем документ и его атрибуты (название, автор, ISBN и т.д.).
• Запрос на связанную информацию (явный клик пользователя или автоматический триггер).
• Веб-индекс.

Выходные данные:

• Сгенерированная Reference Page, объединяющая информацию о документе и результаты вторичного веб-поиска (в виде ссылок или извлеченных данных).

На что влияет

• Конкретные типы контента: Наибольшее влияние на оцифрованные печатные издания (книги, научные статьи, журналы). Также влияет на веб-контент, который описывает эти издания (обзоры, биографии авторов, страницы книжных магазинов).
• Специфические запросы: Влияет на информационные запросы, направленные на изучение конкретного документа или его автора.
• Конкретные ниши или тематики: Издательское дело, академические исследования, электронная коммерция (продажа книг).

Когда применяется

• Условия работы алгоритма: Алгоритм активируется, когда пользователь переходит от общих результатов поиска к просмотру деталей конкретного документа (например, открывает страницу книги в Google Books).
• Триггеры активации:
  • Проактивно: Загрузка Reference Page для документа.
  • Реактивно: Клик пользователя по ссылке для получения связанной информации (например, «Показать обзоры»).

Пошаговый алгоритм

Процесс А: Реактивное получение связанной информации (на основе Claim 1 и FIG. 3B)

1. Получение запроса и первичный поиск: Система получает запрос пользователя и идентифицирует релевантные документы.
2. Выбор документа: Пользователь выбирает один документ из результатов.
3. Представление первичной Reference Page: Система отображает страницу с информацией о документе и списком ссылок на типы связанной информации (например, «Обзор документа», «Биография автора»).
4. Запрос связанной информации: Пользователь выбирает одну из ссылок.
5. Генерация и выполнение вторичного поиска: Система генерирует поисковый запрос на основе атрибута документа (например, Название + «обзор») и выполняет поиск веб-документов.
6. Ранжирование и представление результатов: Найденные веб-документы ранжируются (используя IR score и Link-based score) и отображаются пользователю.

Процесс Б: Проактивное получение и извлечение информации (на основе Claim 17, 20 и FIG. 3C/3D)

1. Выбор документа: Пользователь идентифицирует и выбирает документ.
2. Автоматическое выполнение множественных поисков: Система автоматически (или после одного общего клика) генерирует и выполняет несколько вторичных поисковых запросов по разным атрибутам документа (поиск обзоров, биографии и т.д.).
3. Ранжирование результатов: Полученные веб-документы ранжируются.
4. Извлечение информации (Опционально): Система анализирует топовые веб-документы и извлекает конкретные данные (например, рейтинги, текст обзора).
5. Генерация и представление Reference Page: Система создает итоговую Reference Page, встраивая в нее либо ссылки на найденные веб-документы, либо непосредственно извлеченную информацию.

Какие данные и как использует

Данные на входе

Система использует следующие типы данных:

• Контентные факторы (Документа): Текст оцифрованного документа (для показа выдержек).
• Структурные факторы (Атрибуты Документа): Метаданные документа: Название, Автор(ы), Издатель, Дата публикации, ISBN/ISSN, Категория/Тема. Эти данные критически важны для генерации вторичных запросов.
• Контентные факторы (Веб-документа): Содержимое веб-страниц (обзоры, биографии), которое анализируется на релевантность и из которого может извлекаться информация.
• Ссылочные факторы (Веб-документа): Входящие ссылки на веб-документы, используемые для расчета авторитетности.
• Поведенческие факторы: Действия пользователя (выбор документа, клик по ссылке) являются триггерами для запуска процессов.

Какие метрики используются и как они считаются

Патент не вводит новых метрик ранжирования, но явно указывает (Claims 3, 4 и описание) на использование существующих для оценки результатов вторичного веб-поиска:

• IR Score (Оценка информационного поиска): Стандартная оценка релевантности веб-документа вторичному запросу (например, на основе частоты и расположения ключевых слов).
• Link-based Score (Ссылочная оценка): Оценка авторитетности веб-документа на основе ссылок. В патенте цитируется U.S. Pat. No. 6,285,999 (PageRank) как пример техники расчета.
• Overall Scores (Общие оценки): Комбинация IR scores и Link-based scores для финального ранжирования веб-документов, найденных во время вторичного поиска.
• Извлечение информации (Information Extraction): Используются методы для идентификации и извлечения конкретных данных (рейтингов, имен, текста обзора) из веб-документов (Claim 20).

1. Автоматическое обогащение контента: Патент описывает механизм, позволяющий Google автоматически дополнять информацию о специфических сущностях (книгах, статьях) релевантными данными из веба. Это ключевой принцип работы вертикалей и Панелей Знаний.
2. Генерация запросов на основе атрибутов: Система демонстрирует переход от ключевых слов к атрибутам сущностей, автоматически генерируя релевантные поисковые запросы, комбинируя атрибуты документа (Название, Автор) с типами информации (Обзор, Биография).
3. Использование стандартного ранжирования для вторичных поисков: Для определения того, какие веб-документы (например, обзоры) будут показаны, система полагается на стандартные сигналы ранжирования, включая релевантность (IR Score) и авторитетность (Link-based Score/PageRank).
4. Извлечение информации (Information Extraction) для UI: Система не просто ссылается на внешние ресурсы, но может активно извлекать данные (рейтинги, тексты) из веб-документов и встраивать их непосредственно в свой интерфейс (Reference Page).
5. Фокус на UX в вертикалях: Изобретение направлено на улучшение пользовательского опыта в рамках специализированных поисковых продуктов (Google Books), а не на изменение основного алгоритма веб-поиска.

Best practices (это мы делаем)

Практическое применение этого патента актуально для сайтов, контент которых может служить источником связанной информации о книгах, статьях, авторах (сайты отзывов, книжные магазины, энциклопедии, СМИ).

• Оптимизация под вторичные запросы: Создавайте контент, который четко отвечает на автоматически генерируемые запросы, описанные в патенте (например, [Название книги + обзор], [Автор + биография]). Убедитесь, что страницы хорошо оптимизированы под эти интенты.
• Повышение авторитетности (Link-based Score): Поскольку результаты вторичных поисков ранжируются с использованием ссылочных оценок (PageRank), необходимо работать над авторитетностью сайта. Авторитетные источники с большей вероятностью будут выбраны Google для отображения на Reference Page.
• Содействие извлечению информации (Information Extraction): Используйте чистую HTML-верстку и микроразметку (Schema.org для Review, Book, Person), чтобы помочь Google извлечь ключевую информацию (рейтинги, имена авторов, краткое содержание обзора). Это повышает шансы на то, что ваш контент будет встроен непосредственно в интерфейс Google (Claim 20).
• Полнота данных об авторах и публикациях: Если вы публикуете статьи или книги, убедитесь, что информация о них (атрибуты) полна и доступна в интернете, что облегчает Google создание богатых Reference Pages для ваших работ.

Worst practices (это делать не надо)

• Тонкий контент об известных сущностях: Создание поверхностных страниц с обзорами книг или биографиями авторов неэффективно. Google ищет авторитетные и полные источники для обогащения своих Reference Pages, используя стандартное ранжирование.
• Блокировка или затруднение извлечения данных: Использование сложной верстки или методов, затрудняющих парсинг страницы, снизит вероятность того, что Google сможет извлечь и использовать ваш контент для обогащения информации о документе.
• Игнорирование микроразметки для обзоров и книг: Отсутствие разметки снижает понимание структуры контента системой, уменьшая шансы на его использование в качестве источника для Extracted Information.

Стратегическое значение

Патент подтверждает стратегию Google по синтезу информации и созданию собственных ответов на базе данных из интернета. Он демонстрирует, как Google использует веб-контент для обогащения сущностей в своих вертикалях. Для SEO-специалистов это подчеркивает важность оптимизации не только для традиционного ранжирования, но и для того, чтобы стать источником данных для Панелей Знаний и специализированных сервисов Google, что требует авторитетности и хорошо структурированного контента.

Практические примеры

Сценарий: Оптимизация страницы обзора книги для Google Books

1. Цель: Добиться того, чтобы обзор и рейтинг с вашего сайта отображались на странице книги в Google Books (Reference Page).
2. Анализ (на основе патента): Google автоматически сгенерирует запрос типа [Название книги + обзор] и будет искать авторитетные результаты (Link-based score), из которых можно извлечь данные (Extracted Information).
3. Действия:
   • Создать качественный, экспертный обзор книги.
   • Оптимизировать Title и H1 под интент «Обзор книги X».
   • Внедрить микроразметку Schema.org/Review, четко указав рейтинг (ratingValue), объект обзора (itemReviewed - Book) и текст обзора (reviewBody).
   • Обеспечить чистый HTML-код, где основной контент легко извлекается.
   • Получить качественные внешние ссылки на страницу обзора для повышения ее Link-based Score.
4. Ожидаемый результат: Google идентифицирует страницу как релевантный и авторитетный результат вторичного поиска, извлекает рейтинг и сниппет обзора и отображает их на Reference Page книги.