Как Google находит, извлекает и ранжирует определения из интернета для формирования словарных блоков в выдаче

Термины и определения

Definition List Tags (<dl>, <dt>, <dd>)

HTML-теги, используемые для создания списков определений. <dl> определяет список, <dt> (definition term) определяет термин, а <dd> (definition description) определяет описание или определение термина. Система активно использует эти теги для парсинга.

Document (Документ)

Источник информации, например, веб-страница, содержащая одно или несколько определений.

Headword (Заглавное слово/Термин)

Слово или фраза, которая определяется в глоссарии или словаре. Система ищет их, анализируя HTML-структуру и форматирование.

PageRank

Метрика авторитетности документа (веб-страницы). В контексте патента используется для ранжирования определений, извлеченных из разных источников.

Phrase (Фраза)

Запрос пользователя, для которого ищется определение. Может быть словом, фразой или любой другой семантической единицей.

Predetermined term (Предопределенный термин)

Термин, указывающий на присутствие определений в документе. Примеры: "glossary", "definition", "dictionary". Используется для поиска источников определений.

Superstrings (Суперстроки)

Строки, которые содержат исходную фразу. Например, для фразы "rdbms" суперстрокой может быть "Relational DBMS (RDBMS)". Используются для показа связанных фраз (Related phrases).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт, Система) и Claim 19 (Независимый пункт, Метод): Описывают основной механизм предоставления определений.

1. Система получает фразу (phrase) для обработки.
2. Система выбирает несколько документов, содержащих определение для этой фразы.
3. Ключевой момент выбора: выполняется поиск на основе запроса, который включает predetermined term, указывающий на присутствие определений (например, поиск слова "glossary").
4. Система представляет одно или несколько определений для фразы.
5. Ключевой момент представления: порядок определяется на основе ранжирования (ranking) документов-источников.

Claim 4 и 22 (Зависимые): Уточняют, что predetermined term включает одно из слов: glossary, definition, или dictionary.

Claim 5 и 23 (Зависимые): Уточняют, что поиск predetermined term выполняется в поле заголовка (title field) документов.

Claim 12 (Зависимый): Указывает, что выбранные документы могут определяться в реальном времени (substantially in real-time) в ответ на получение фразы от пользователя, а не только в офлайн-режиме.

Claim 16 и 34 (Зависимые): Описывают дополнительную функцию: определение суперстрок (superstrings) исходной фразы, присутствующих в документах, и их представление пользователю как связанных фраз или предлагаемых запросов (Claims 17/18 и 35/36).

Где и как применяется

Изобретение охватывает несколько этапов поисковой архитектуры и направлено на создание специализированного индекса определений или функции поиска по определениям (например, Google Glossary).

CRAWLING – Сканирование и Сбор данных
На этом этапе система ищет документы, которые могут содержать определения. Это делается путем поиска predetermined terms (например, "glossary") в контенте или метаданных (явно указано поле <title>) страниц во время сканирования интернета.

INDEXING – Индексирование и извлечение признаков
Это ключевой этап для данного патента. Система выполняет несколько действий:

1. Парсинг и извлечение: Идентифицированные документы анализируются для извлечения пар "термин (headword) – определение". Система использует анализ HTML-структуры (теги <dl>, <dt>, <dd>, теги форматирования <b>, <strong>, теги-разделители <p>, <li>).
2. Фильтрация и очистка: Применяются эвристики для повышения качества данных (например, требование минимума определений на странице).
3. Расчет авторитетности: Используется метрика ранжирования документов-источников (упоминается PageRank).
4. Индексирование определений: Извлеченные и очищенные данные сохраняются в индексе.

RANKING – Ранжирование / METASEARCH – Метапоиск и Смешивание
Когда пользователь вводит запрос (phrase):

1. Сопоставление: Запрос сопоставляется с терминами (headwords). Может использоваться канонизация.
2. Ранжирование определений: Найденные определения ранжируются на основе ранга документа-источника (PageRank).
3. Формирование блока: Лучшие определения выбираются для показа, возможно, в специальном блоке SERP (Definition Block или Featured Snippet).
4. Связанные фразы: Система также определяет и показывает superstrings запроса.

Входные данные:

• Индекс веб-документов с их HTML-структурой и заголовками.
• Метрики ранжирования документов (PageRank).
• Запрос пользователя (phrase).

Выходные данные:

• Отсортированный список определений для запрошенной фразы.
• Список связанных фраз (superstrings).

На что влияет

• Специфические запросы: В первую очередь влияет на информационные запросы, где пользователь ищет определение термина (запросы типа "что такое X", "X определение").
• Конкретные типы контента: Наибольшее влияние оказывается на страницы типа глоссариев, словарей, энциклопедических статей и FAQ, которые структурированы как списки определений.
• Форматы контента: Влияет на контент, использующий семантическую HTML-разметку для структурирования определений.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда система интерпретирует интент пользователя как поиск определения.
• Условия работы: Применяется при условии, что в индексе существуют документы, которые система смогла идентифицировать как глоссарии (по заголовку или структуре) и успешно извлечь из них определения для запрошенного термина.

Пошаговый алгоритм

Алгоритм можно разделить на два процесса: индексирование (может происходить офлайн или в реальном времени) и обработка запроса.

Процесс А: Идентификация и Индексирование Определений

1. Поиск документов-кандидатов: Система выполняет поиск документов, содержащих predetermined terms ("glossary", "definition", "dictionary"), в частности, в заголовке <title>.
2. Парсинг HTML-структуры: Анализ структуры документа для идентификации терминов (headwords) и их определений. Используются следующие эвристики:
   • Использование тегов списка определений (<dl>, <dt>, <dd>).
   • Использование тегов-разделителей (<p>, <tr>, <li>, <br>).
   • Идентификация терминов по тегам форматирования (<b>, <strong>, <em>, <code>, <span>).
3. Фильтрация и повышение точности:
   • Удаление строк, которые не начинаются с идентифицированного термина.
   • Игнорирование всего документа, если найдено менее N (например, N=5) определений.
   • Удаление лишних пробелов и знаков пунктуации.
4. Индексирование: Сохранение извлеченных пар "термин-определение" с привязкой к URL источника и его PageRank.

Процесс Б: Обработка Запроса и Предоставление Определений

1. Получение и нормализация фразы: Система получает запрос пользователя, может выполняться проверка орфографии и нормализация (канонизация).
2. Сопоставление: Поиск совпадений фразы с индексированными терминами (headwords).
3. Ранжирование: Найденные определения ранжируются на основе PageRank документов-источников.
4. Пост-обработка и очистка:
   • Удаление HTML-разметки из определений.
   • Удаление дубликатов.
   • Удаление определений, начинающихся с "see:".
   • Форматирование (например, определение наиболее распространенной капитализации термина).
5. Определение связанных фраз: Табуляция и выбор superstrings запроса, найденных в индексе.
6. Представление результатов: Отображение отсортированных определений и связанных фраз.

Какие данные и как использует

Данные на входе

Система активно использует структурные, контентные и ссылочные факторы.

• Структурные факторы (HTML): Критически важны для парсинга. Используются:
  • Теги списков определений: <dl>, <dt>, <dd>.
  • Теги форматирования (для идентификации термина): <b>, <strong>, <em>, <code>, <span>.
  • Теги-разделители: <p>, <tr>, <li>, <br>.
• Контентные факторы:
  • Заголовки: Наличие predetermined terms ("glossary", "dictionary") в <title> используется для идентификации источников.
  • Текст: Сами термины (headwords) и текст определений.
• Ссылочные факторы:
  • PageRank: Используется для ранжирования определений, извлеченных из разных источников.

Какие метрики используются и как они считаются

• PageRank: Основная метрика для ранжирования результатов. Определения с более авторитетных страниц ранжируются выше.
• Порог N: Минимальное количество определений, которое должно быть найдено на странице, чтобы она учитывалась как источник (упоминается пример N=5). Это фильтр качества источника.
• Точность (Precision) vs Полнота (Recall): Патент явно указывает, что парсер смещен в сторону точности. Лучше отбросить сомнительное определение, чем включить неверные данные, полагаясь на большое количество доступных источников в интернете.

1. Автоматизированное извлечение знаний: Патент описывает, как Google автоматизирует создание словаря путем извлечения определений непосредственно из веб-контента, не полагаясь на ручное курирование.
2. Критичность семантической HTML-разметки: Система в значительной степени полагается на корректное использование HTML-тегов (особенно <dl>, <dt>, <dd>) для идентификации и извлечения определений. Это подчеркивает важность семантической верстки для SEO.
3. Авторитетность источника определяет ранжирование: Ранжирование извлеченных определений напрямую зависит от авторитетности (в патенте указан PageRank) исходного документа. Определение с авторитетного сайта будет выше, чем определение с менее авторитетного сайта.
4. Фокус на точности данных (Precision): Система использует эвристики и фильтры (например, минимальное количество определений на странице N=5) для обеспечения высокого качества извлекаемых данных, предпочитая точность полноте охвата.
5. Идентификация источников по сигнатурам: Для поиска глоссариев используются простые, но эффективные сигналы, такие как наличие слов "glossary" или "dictionary" в заголовке <title>.
6. Понимание связанных концепций: Система анализирует superstrings (фразы, включающие запрос), чтобы предложить пользователю связанные термины и уточнения.

Best practices (это мы делаем)

• Используйте списки определений (Definition Lists): При создании глоссариев, словарей или разделов FAQ используйте семантически корректную HTML-разметку: <dl> для контейнера, <dt> для термина и <dd> для определения. Это наиболее надежный способ, указанный в патенте.
• Выделяйте термины (если <dl> не используется): Если использование <dl> невозможно, выделяйте термины с помощью тегов форматирования (<b>, <strong>) и используйте четкие разделители (<p>, <li>, <br>) между определениями.
• Создавайте полные и качественные глоссарии: Патент указывает, что страницы с малым количеством определений (например, менее 5) могут быть проигнорированы. Создавайте проработанные тематические глоссарии.
• Оптимизируйте заголовки для идентификации: Если страница является глоссарием, убедитесь, что в ее <title> присутствуют слова "Глоссарий", "Словарь терминов" или "Определения". Это помогает системе идентифицировать страницу как источник.
• Повышайте общую авторитетность сайта (E-E-A-T/PageRank): Поскольку определения ранжируются на основе авторитетности источника (PageRank), работа над качеством сайта и его ссылочным профилем напрямую влияет на видимость ваших определений в поиске.

Worst practices (это делать не надо)

• Использование неструктурированного текста: Публикация определений в виде сплошного текста без четкого выделения терминов и использования разделителей затрудняет парсинг.
• Нестандартная или сложная верстка для глоссариев: Использование нестандартных HTML-структур (например, только <div> вместо <dl> или <ul>) для отображения определений может помешать системе корректно извлечь данные.
• Создание коротких, "тонких" списков определений: Создание множества страниц с 1-2 определениями на каждой может привести к тому, что они будут проигнорированы системой согласно правилу минимального порога N.
• Дублирование определений: Копирование определений из других источников без добавления ценности неэффективно, так как система устраняет дубликаты и предпочитает более авторитетный источник.

Стратегическое значение

Патент подтверждает стратегическую важность семантической верстки и структурирования контента. Он показывает, что Google стремится извлекать знания напрямую из контента, и предоставляет вебмастерам инструменты (HTML-теги) для облегчения этого процесса. Эти механизмы являются фундаментом для Featured Snippets. Для SEO-специалистов это означает, что техническая оптимизация структуры контента напрямую влияет на видимость в специализированных блоках выдачи. Создание правильно структурированных информационных хабов, таких как глоссарии, может стать важным источником трафика.

Практические примеры

Сценарий: Оптимизация глоссария по SEO-терминологии для улучшения видимости в блоках определений.

1. Анализ текущей реализации: Глоссарий реализован с использованием параграфов <p>, где термин выделен жирным <b>, а определение следует через тире. Title страницы: "SEO термины".
2. Задача: Улучшить структуру для лучшего распознавания системой Google согласно патенту.
3. Действия:
   • Изменить <title> на "Глоссарий SEO-терминов и определений" (использование predetermined term).
   • Переверстать контент, используя список определений <dl>.

   Было (Не оптимально):

   <p><b>PageRank</b> — Алгоритм Google для оценки важности страницы.</p>
   <p><b>SERP</b> — Страница результатов поиска.</p>

   Стало (Оптимально):

   <dl>
     <dt>PageRank</dt>
     <dd>Алгоритм Google для оценки важности страницы.</dd>
     <dt>SERP</dt>
     <dd>Страница результатов поиска.</dd>
   </dl>

4. Ожидаемый результат: Система Google с большей вероятностью идентифицирует страницу как глоссарий, корректно извлечет пары "термин-определение" и будет использовать их в блоках с определениями или Featured Snippets при соответствующих запросах.