Как Google вычисляет важность сущностей внутри документа, используя контекст, ссылки и поведение пользователей, для улучшения ранжирования

Термины и определения

Book (Книга)

Любое письменное произведение. В патенте определение включает традиционные книги, а также газеты, журналы, веб-страницы и другие электронные документы.

Book Context Module (Модуль контекста книги)

Компонент, оценивающий важность сущности на основе того, где и как она упомянута в книге (заголовки, начало текста, выделение, внутренние ссылки).

Entity (Сущность)

Объект, обладающий свойствами, описанными в книге. Примеры: географическая локация (geopoint), дата/время, событие, человек, организация.

Entity Importance Engine (Механизм оценки важности сущностей)

Система, которая обрабатывает корпус для генерации query-independent importance scores.

Library Classification Data (Данные библиотечной классификации)

Метаданные о книге (ISBN, коды классификации, тема, автор). Аналог метаданных и микроразметки для веб-страниц.

Precision Module (Модуль точности)

Компонент, повышающий оценку важности для более точно определенных сущностей (например, полный адрес важнее города). Также учитывает уверенность распознавания текста (OCR confidence).

Query-Independent Importance Score (Независимая от запроса оценка важности)

Числовая метрика, определяющая важность сущности относительно других сущностей того же типа в пределах одного документа, рассчитанная на этапе индексирования.

References Module (Модуль ссылок)

Компонент, анализирующий сторонние ссылки (third party references) на разделы книги. Разделы, на которые ссылаются извне, считаются более важными.

Term Weighting Module (Модуль взвешивания терминов)

Компонент, использующий частоту упоминаний сущности (например, с помощью TF-IDF) для влияния на ее оценку важности.

User Activities Module (Модуль активности пользователей)

Компонент, повышающий важность сущностей, упомянутых в разделах книги, которые чаще просматриваются пользователями.

Ключевые утверждения (Анализ Claims)

Патент содержит ключевые независимые пункты, которые описывают как процесс расчета важности сущностей, так и критически важное применение этих расчетов в ранжировании.

Claim 1 (Независимый пункт): Описывает систему, фокусирующуюся на внешних ссылках и ранжировании.

1. Система присваивает query-independent importance scores сущностям.
2. Используется References Module для идентификации сторонних ссылок (third party references) на разделы книги.
3. Значения важности (importance values) разделов, на которые ссылаются третьи стороны, повышаются.
4. Оценка важности сущности рассчитывается на основе значений важности разделов, в которых она упомянута.
5. Search Module ранжирует книги в списке результатов в порядке, основанном, по крайней мере частично, на этих query-independent importance scores.

Внешние ссылки на конкретные разделы документа повышают важность контента и сущностей в этих разделах. Эта оценка важности затем используется как сигнал для ранжирования всего документа.

Claim 8 (Независимый пункт): Описывает систему, фокусирующуюся на метаданных классификации и ранжировании.

1. Система присваивает query-independent importance scores.
2. Используется модуль классификации (library classification module), который определяет, упоминается ли сущность в данных библиотечной классификации (метаданных) книги.
3. Оценки важности сущностей, упомянутых в данных классификации, повышаются.
4. Search Module ранжирует книги в списке результатов, используя эти query-independent importance scores.

Упоминание сущности в формальных метаданных или классификации документа повышает ее важность. Эта оценка важности также используется как сигнал для ранжирования всего документа.

Claim 15 и Claim 22 (Независимые пункты): Детализируют методы расчета важности, подтверждая механизмы, описанные в Claim 1 (фокус на внешних ссылках) и Claim 8 (фокус на классификации) соответственно.

Где и как применяется

Изобретение применяется в основном на этапе индексирования для предварительных вычислений, результаты которых используются на этапе ранжирования.

INDEXING – Индексирование и извлечение признаков
Это основной этап работы Entity Importance Engine. Система работает асинхронно (офлайн).

• Извлечение сущностей: Идентификация сущностей в тексте документа.
• Сбор данных и анализ: Система собирает данные о структуре документа (Book Context), метаданные (Classification Data), данные о внешних ссылках (References) и агрегированные данные о поведении пользователей (User Activities).
• Расчет метрик: Вычисляются query-independent importance scores для всех значимых сущностей. Эти данные сохраняются в индексе как признаки (features) документа.

RANKING – Ранжирование
На этом этапе используются результаты работы. Как явно указано в Claims 1 и 8, система ранжирования использует предварительно рассчитанные importance scores сущностей в качестве одного из сигналов для определения релевантности и ранжирования самого документа в ответ на запрос. Документы, где искомая сущность имеет высокую важность (является центральной темой), могут получить преимущество.

Входные данные:

• Текст и структура документа (книги/веб-страницы).
• Метаданные документа (данные классификации).
• Данные о внешних ссылках и цитированиях (third-party references).
• Агрегированные данные о поведении пользователей.
• Данные о частотности сущностей в корпусе (для TF-IDF).

Выходные данные:

• Набор сущностей, связанных с документом.
• Query-independent Importance Score для каждой сущности.

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, богатый именованными сущностями — информационные статьи, исследования, лонгриды, биографии, путеводители.
• Оценка Topical Authority: Система позволяет оценить, насколько глубоко документ раскрывает тему, определяя, какие сущности являются центральными для повествования, а не просто упомянутыми мимоходом.
• Специфические запросы: Влияет на ранжирование по запросам, связанным с сущностями.

Когда применяется

• Временные рамки: Расчет важности сущностей происходит на этапе индексирования или при обновлении индекса (офлайн-процесс). Использование этих оценок происходит в реальном времени на этапе ранжирования.
• Условия применения: Применяется ко всем документам в корпусе, где могут быть идентифицированы сущности.

Пошаговый алгоритм

Процесс А: Расчет важности сущностей (Офлайн / Индексирование)

1. Сбор данных: Формирование корпуса документов и связанных метаданных.
2. Идентификация сущностей: Анализ текста каждого документа для выявления сущностей с использованием NLP-техник.
3. Расчет факторов важности: Параллельный расчет нескольких независимых оценок для каждой сущности:
   1. Оценка контекста (Book Context): Анализ расположения сущности. Повышение оценки за упоминание в важных разделах (заголовки, начало документа), в метаданных классификации, или в разделах, на которые часто ссылаются внутри документа (internal references).
   2. Оценка точности (Precision): Повышение оценки за более точное определение сущности. Снижение при низкой уверенности OCR.
   3. Оценка ссылок (References): Анализ внешних ссылок (third-party references). Определение важности разделов на основе частоты их цитирования извне. Повышение оценки сущностей в высоко цитируемых разделах.
   4. Оценка активности пользователей (User Activities): Анализ частоты доступа к разделам. Повышение оценки сущностей в часто просматриваемых разделах.
   5. Оценка веса термина (Term Weighting): Расчет TF-IDF для сущности относительно всего корпуса.
4. Агрегация и Нормализация: Расчет финального Importance Score путем взвешенного суммирования (линейной комбинации) отдельных оценок. Нормализация результата.
5. Сохранение в индексе: Сохранение оценок в индексе как признаков документа.

Процесс Б: Использование оценок (Ранжирование и Представление)

1. Получение запроса: Система получает запрос от пользователя.
2. Ранжирование документов: Система ранжирует документы, используя Importance Scores упомянутых в них сущностей как один из сигналов ранжирования (согласно Claims 1 и 8).
3. Представление информации: При отображении информации о документе (например, в Google Books или Knowledge Panel) система выбирает подмножество наиболее важных сущностей на основе их Importance Scores.

Какие данные и как использует

Данные на входе

• Контентные факторы: Основной текст документа.
• Структурные факторы: Структура документа (заголовки, главы, оглавление, сноски, подписи к изображениям). Расположение текста (начало/конец документа). Форматирование (жирный, курсив).
• Ссылочные факторы:
  • Внутренние ссылки (Intra-book references): Ссылки из одних разделов на другие.
  • Внешние ссылки (Third-party references): Цитирования, обзоры, веб-ссылки на конкретные разделы документа.
• Поведенческие факторы: Данные о частоте доступа/просмотра пользователями определенных разделов документа (User Activities).
• Метаданные (Classification data): Данные библиотечной классификации (тема, жанр, автор, ISBN, коды классификации).
• Технические факторы: Оценки уверенности оптического распознавания символов (OCR confidence scores).

Какие метрики используются и как они считаются

• Importance Value (Значение важности раздела): Метрика, присваиваемая разделу документа. Повышается на основе структурной значимости, частоты цитирования (внутреннего и внешнего) и частоты просмотра пользователями.
• Precision Score (Оценка точности): Метрика, оценивающая, насколько детально определена сущность.
• TF-IDF Score: Стандартная метрика для Term Weighting. Рассчитывается как частота сущности в документе (TF) относительно ее частоты во всем корпусе (IDF).
• Final Importance Score (Финальная оценка важности): Агрегированная метрика. Рассчитывается как взвешенная сумма (линейная комбинация) отдельных оценок от разных модулей.

  Формула (из описания патента): $\text{Final Importance Score} = AX+BY+CZ...$

  Где X, Y, Z — отдельные оценки (например, от Context, References, Precision), а A, B, C — весовые коэффициенты.

• Нормализация: Финальная оценка может быть нормализована (например, от 0 до 1) путем деления на сумму весов. В патенте упоминается, что в одном из вариантов реализации Book Context и Precision получают наибольшие веса.

1. Важность сущностей как сигнал ранжирования документа: Самый критический вывод для SEO. Патент явно утверждает (Claims 1 и 8), что рассчитанные query-independent importance scores сущностей используются для ранжирования самих документов в результатах поиска. Это подтверждает важность Entity SEO.
2. Контекст и Структура (Prominence) критичны: Расположение сущности в документе имеет огромное значение. Упоминания в заголовках, в начале текста, в метаданных классификации (аналог микроразметки) имеют больший вес (Book Context).
3. Внешние ссылки повышают важность на уровне разделов: Внешние ссылки (third-party references), указывающие на определенный раздел документа, повышают важность этого раздела и всех сущностей в нем. Это аналог PageRank, применяемый к частям контента (deep linking).
4. Поведение пользователей влияет на оценку важности: Если пользователи часто взаимодействуют с определенным разделом (User Activities), система повышает важность сущностей в этом разделе.
5. Точность вознаграждается: Более детально и точно описанные сущности считаются более важными (Precision).
6. Независимость от запроса: Оценка происходит на этапе индексирования, что позволяет Google заранее понять, какие темы являются главными для документа.

Best practices (это мы делаем)

• Оптимизация заметности сущностей (Entity Prominence): Размещайте ключевые сущности в стратегически важных местах: заголовках (H1-H6), введении (первые абзацы). Используйте четкую структуру документа. Это соответствует принципам Book Context.
• Использование метаданных и микроразметки: Активно используйте микроразметку (Schema.org), категории и теги для определения основных сущностей страницы. Это аналог Library Classification Data, упоминание в которых напрямую повышает важность сущности (Claim 8).
• Повышение точности и детализации (Precision): Описывайте сущности максимально точно. Указывайте полные адреса, точные даты, полные имена. Это повышает Importance Score, рассчитанный модулем Precision.
• Стимулирование глубоких ссылок (Deep Linking): Работайте над получением внешних ссылок, которые указывают на конкретные разделы вашего контента (например, через анкорные ссылки). Согласно References Module, это значительно повышает важность сущностей в этих разделах.
• Оптимизация внутренней перелинковки: Используйте внутренние ссылки и оглавления (TOC) для указания на важные разделы. Разделы, на которые чаще ссылаются внутри документа (intra-book references), считаются более важными.
• Оптимизация под вовлеченность (User Engagement): Улучшайте пользовательский опыт, чтобы стимулировать дочитываемость и взаимодействие с ключевыми разделами контента. Это положительно влияет на оценку User Activities Module.

Worst practices (это делать не надо)

• "Закапывание" ключевой информации: Размещение важных сущностей только в конце документа, в сносках или в футере. Система придаст им низкий Importance Score.
• Спам сущностями (Entity Stuffing): Многократное повторение сущностей без контекста. Механизм Term Weighting (TF-IDF) нивелирует эффект от повторения общеупотребительных сущностей, если их частота не оправдана глубиной раскрытия темы.
• Игнорирование структуры контента: Публикация "стены текста" без заголовков, разделов и внутренних связей усложняет системе определение важных разделов и сущностей.
• Использование общих и неточных данных: Отсутствие конкретики при описании сущностей снижает их важность из-за низких оценок модуля Precision.

Стратегическое значение

Этот патент подтверждает стратегическую важность перехода к оптимизации под сущности (Entity SEO) и построению Topical Authority. Он показывает, что Google стремится понять контент глубоко, определяя главные объекты и темы повествования. Для успеха в SEO необходимо не просто упомянуть релевантные сущности, но и структурно, контекстуально и с помощью внешних сигналов продемонстрировать, какие из них являются центральными для документа.

Практические примеры

Сценарий: Оптимизация статьи "Руководство по уходу за Кофейным Деревом Арабика"

1. Цель: Повысить важность сущностей "Кофейное Дерево Арабика" (Coffea arabica), "Температура", "Влажность", "Обрезка".
2. Действие (Book Context): Упомянуть "Кофейное Дерево Арабика" в H1 и первом абзаце. Создать разделы H2: "Оптимальная Температура и Влажность" и "Техники Обрезки".
3. Действие (Precision): Указать точный диапазон температур (18-24°C) и точные сроки обрезки, а не общие рекомендации. Использовать Schema.org/HowTo.
4. Действие (References - Internal): Добавить оглавление (TOC) со ссылками на разделы. В разделе "Проблемы" сделать внутреннюю ссылку на раздел "Обрезка".
5. Действие (References - External): Добиться того, чтобы авторитетный блог о садоводстве сослался на раздел "Техники Обрезки" с помощью анкорной ссылки.
6. Ожидаемый результат: Система присвоит этим сущностям высокий Importance Score. Благодаря этому (согласно Claim 1), статья получит преимущество в ранжировании по запросам, связанным с этими сущностями.