Как Google находит и показывает наиболее релевантный фрагмент документа на мобильных устройствах

Термины и определения

Transcoder Server (Сервер транскодирования)

Сервер, который перехватывает запросы к веб-страницам, анализирует их контент и форматирует (транскодирует) его для оптимального отображения на устройствах с маленькими экранами.

Relevance Scoring Engine (Механизм оценки релевантности)

Компонент, который оценивает релевантность различных частей (nodes или блоков информации) документа по отношению к исходному поисковому запросу.

Page Formatter (Форматировщик страниц)

Компонент, который делит транскодированный документ на подстраницы (sub-pages) и определяет, какой фрагмент контента будет отображаться вверху первой подстраницы.

Transcoder URL Rewriter (Модуль переписывания URL для транскодера)

Компонент поисковой системы, который изменяет URL в результатах поиска. Новый URL направляет пользователя на Transcoder Server и содержит закодированный исходный URL и поисковый запрос.

Nodes (Узлы)

Структурные элементы документа (например, HTML-теги), используемые Document Node Analyzer для разделения контента на анализируемые блоки.

Sub-pages (Подстраницы)

Части документа, созданные транскодером для постраничного отображения контента на мобильном устройстве.

Navigational Query Term (Навигационный термин запроса)

Термин из поискового запроса, который обнаружен в предопределенных местах документа (например, в теге Title или в URL). В патенте предлагается снижать вес таких терминов при оценке релевантности внутренних фрагментов страницы.

Informational Query Term (Информационный термин запроса)

Термин запроса, который не классифицирован как навигационный. Используется как основной для поиска релевантного контента внутри страницы.

Context Settings (Настройки контекста)

Параметры, определяющие, как именно отображать релевантный фрагмент. Например, сколько строк показывать до него, подсветка терминов или создание навигации между несколькими релевантными фрагментами.

Matching Engine (Механизм сопоставления)

Компонент, который идентифицирует совпадения между терминами запроса и контентом в узлах документа.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод, выполняемый на стороне сервера.

1. Получение поискового запроса и возврат списка результатов.
2. Получение индикации о выборе пользователем первого результата (ссылки на целый документ).
3. Разделение (Dividing) соответствующего документа на несколько sub-pages.
4. Определение оценки (Score) для каждой sub-page на основе терминов запроса.
5. Идентификация первой sub-page как наиболее релевантной.
6. Предоставление первой sub-page для отображения.
7. Предоставление кода, который отображает элемент управления (control) для перехода ко второй (следующей наиболее релевантной) sub-page.
8. При активации элемента управления, идентификация и предоставление второй sub-page вместо первой.

Ядром изобретения является процесс перехвата запроса к документу, его разделение на части, оценка релевантности этих частей на основе исходного запроса, отображение наиболее релевантной части первой и предоставление механизма для навигации к следующей наиболее релевантной части.

Claim 4 (Зависимый от 1): Детализирует процесс определения оценки (Score).

1. Определение того, что первый термин запроса находится в предопределенном месте (predetermined location) в документе.
2. В результате, присутствие этого термина в sub-pages оказывает менее значительное влияние (less-significantly influence) на оценки, чем присутствие других терминов запроса.

Это механизм для снижения веса "навигационных" терминов. Если термин запроса совпадает с названием сайта или заголовком страницы (Claims 5 и 6 уточняют, что predetermined location — это Title tag или URL), его вес при оценке релевантности контента внутри страницы снижается. Это позволяет сфокусироваться на "информационной" части запроса.

Claim 9 (Независимый пункт): Описывает процесс с точки зрения клиентского устройства (мобильного телефона).

1. Отправка запроса и получение списка результатов.
2. Выбор результата пользователем и отправка индикации на сервер (что запускает процесс разделения и оценки на сервере).
3. Представление первой (наиболее релевантной) sub-page пользователю.
4. Отображение элемента управления для перехода ко второй sub-page.
5. Активация элемента управления пользователем (запрос навигации).
6. Представление второй sub-page пользователю.

Этот пункт защищает пользовательский интерфейс, позволяющий легко переключаться между наиболее релевантными фрагментами документа.

Где и как применяется

Описанная система функционирует как промежуточный слой между стандартной поисковой системой и конечным пользователем, активируясь преимущественно при мобильном поиске (в контексте патента).

RANKING – Ранжирование
Стандартный Search Engine на Web Server выполняет поиск и генерирует первичный список релевантных документов.

METASEARCH / RERANKING (Обработка SERP)
На этом этапе, перед отправкой SERP пользователю, вмешивается Transcoder URL Rewriter. Он модифицирует ссылки в результатах поиска, направляя их на Transcoder Server и добавляя в них информацию об исходном URL и поисковом запросе.

Слой Доставки и Представления Контента (Post-Click)
Это основной этап работы изобретения, который активируется после клика пользователя по результату в SERP.

1. Перехват: Transcoder Server получает запрос от пользователя.
2. Анализ (On-the-fly): Relevance Scoring Engine выполняет гранулярный анализ загруженного документа в реальном времени, используя исходный поисковый запрос.
3. Форматирование: Page Formatter транскодирует контент и переформатирует его так, чтобы наиболее релевантный фрагмент оказался вверху.

Входные данные:

• Переписанный URL, содержащий исходный URL документа и термины поискового запроса.
• Контент исходного документа.
• Context Settings (параметры отображения).

Выходные данные:

• Транскодированный документ, разделенный на sub-pages.
• Первая отображаемая sub-page начинается с наиболее релевантного фрагмента.
• Элементы управления для навигации к следующему наиболее релевантному фрагменту.

На что влияет

• Конкретные типы устройств: Система напрямую нацелена на улучшение пользовательского опыта на устройствах с маленькими экранами ("cell phone, PDA, or other similar device").
• Типы контента: В первую очередь HTML документы, но упоминается возможность обработки других форматов (.doc, .txt, .pdf, XML, SGML).
• Влияние на представление: Патент влияет не на ранжирование документа в SERP, а на то, какая часть документа будет показана пользователю первой после клика.

Когда применяется

• Триггеры активации: Когда пользователь выполняет поиск и кликает на результат с устройства, которое идентифицировано как требующее транскодирования (например, из-за малого размера дисплея).
• Условия применения: Когда Transcoder URL Rewriter активен и переписывает ссылки в SERP для данного типа устройств.
• Динамическое применение: Патент упоминает, что решение о форматировании может приниматься динамически на основе выделенной области отображения. Если область отображения меньше порогового значения, система может активировать отображение наиболее релевантного фрагмента вверху.

Пошаговый алгоритм

Фаза 1: Подготовка SERP (Web Server)

1. Получение поискового запроса от мобильного устройства.
2. Выполнение поиска стандартным Search Engine.
3. Переписывание URL в результатах поиска с помощью Transcoder URL Rewriter. В URL кодируется адрес Transcoder Server, исходный URL документа и термины запроса.
4. Отправка модифицированного SERP на мобильное устройство.

Фаза 2: Получение и анализ документа (Transcoder Server)

1. Получение запроса от пользователя (клик по переписанному URL).
2. Извлечение исходного URL и терминов запроса. Загрузка контента.
3. Анализ структуры документа с помощью Document Node Analyzer для идентификации узлов (nodes), содержащих текст.
4. Сопоставление терминов запроса с текстом в каждом узле с помощью Matching Engine. Составление списка узлов с совпадениями.

Фаза 3: Оценка релевантности (Relevance Scoring Engine)

1. Классификация терминов запроса с помощью Location Analyzer. Термины, найденные в предопределенных местах (Title, URL), классифицируются как Navigational. Остальные — как Informational.
2. Статистический анализ совпадений (Statistical Analyzer): частота, расстояние, близость, распределение терминов.
3. Расчет оценок релевантности для узлов/блоков информации с помощью Scoring Engine. Применяются веса и правила (Scoring Rules). Вес Navigational терминов снижается или обнуляется.
4. Отсечение (Pruning) низкорелевантных узлов и ранжирование (Ranking) оставшихся.
5. Идентификация местоположения блока(ов) с наивысшей оценкой.

Фаза 4: Форматирование и доставка (Page Formatter)

1. Разделение документа на sub-pages, подходящие для маленького экрана.
2. Применение Decision Logic для форматирования первой отображаемой sub-page так, чтобы она начиналась в месте расположения наиболее релевантного блока, с учетом Context Settings.
3. Генерация элементов управления для навигации (например, переход к следующему наиболее релевантному фрагменту).
4. Отправка первой транскодированной sub-page на мобильное устройство.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст, связанный с узлами (Nodes) документа. Система анализирует весь текстовый контент для поиска совпадений.
• Структурные факторы: HTML-структура используется для разделения документа на узлы (Nodes). Тег Title является ключевым структурным фактором для идентификации Navigational Query Terms.
• Технические факторы: URL документа используется как еще один фактор для идентификации Navigational Query Terms.
• Пользовательские факторы: Исходный поисковый запрос является основой для оценки релевантности. Тип устройства и размер экрана (подразумеваются) определяют необходимость транскодирования и влияют на Context Settings.

Какие метрики используются и как они считаются

• Классификация терминов запроса: Бинарная классификация на Navigational и Informational. Основана на присутствии термина в Title или URL документа.
• Метрики статистического анализа: Упоминаются частота вхождений (frequency), расстояние между вхождениями (distance), близость терминов друг к другу (proximity) и распределение вхождений (distribution).
• Relevance Score (Оценка релевантности): Числовая оценка для блока/узла. Рассчитывается на основе весов (weights) и правил (scoring rules).
• Корректировка весов (Weight Adjustment): Веса для Navigational терминов снижаются ("assigned a lower scoring weight") или полностью игнорируются ("discounted entirely"). Веса Informational терминов имеют больший приоритет.
• Система оценки: В патенте упоминается возможность использования системы на основе штрафов (penalty-based system). Узлы начинают с предопределенной оценки, которая снижается (штрафуется) в зависимости от соблюдения или несоблюдения правил. Например, узел может быть оштрафован, если термин встречается слишком часто.

1. Фокус на релевантности фрагмента (Passage Relevance): Патент демонстрирует ранние усилия Google по идентификации конкретного, наиболее релевантного фрагмента внутри документа, а не только оценке документа в целом. Цель — немедленно доставить пользователю ответ на его запрос.
2. Разделение навигационных и информационных интентов внутри запроса: Ключевым механизмом является классификация терминов запроса на Navigational и Informational. Система активно снижает вес терминов, совпадающих с Title/URL страницы, при оценке внутренних блоков контента. Это позволяет точнее определить релевантность содержания, игнорируя повторения заголовка.
3. Гранулярный анализ структуры документа: Система анализирует документ на уровне структурных узлов (Nodes), что подчеркивает важность четкой структуры HTML для машинного понимания контента.
4. Навигация между релевантными фрагментами: Изобретение включает механизм, позволяющий пользователю легко переходить от одного высокорелевантного фрагмента к другому (следующему по релевантности).
5. Устаревшая реализация, но актуальные концепции: Хотя техническая реализация через Transcoder Server и разделение на sub-pages устарела, концепции, заложенные в патенте, являются предшественниками современных технологий, таких как Passage Ranking (оценка фрагментов) и Scroll-to-Text (переход к фрагменту на странице).

Best practices (это мы делаем)

• Обеспечение четкой семантической структуры контента: Используйте семантический HTML и логичную иерархию заголовков. Система анализирует страницу на основе nodes (блоков). Четкая структура помогает алгоритмам (как описанному Relevance Scoring Engine, так и современным системам Passage Ranking) идентифицировать и оценивать отдельные фрагменты контента.
• Фокус на релевантности на уровне фрагмента (Passage Level): Создавайте контент, где отдельные абзацы или разделы являются самодостаточными и четко отвечают на конкретные вопросы. Поскольку цель Google — идентифицировать и показать наиболее релевантный блок, каждый раздел длинной статьи должен быть информационно насыщенным.
• Концентрация на информационном содержании в теле документа: Сосредоточьтесь на предоставлении ценности в основном контенте. Патент показывает, что Google стремится отделить информационные термины от навигационных (совпадающих с Title/URL) и отдает приоритет первым при оценке содержания страницы.

Worst practices (это делать не надо)

• Создание "стен текста": Монолитные блоки текста без четкой структуры (заголовков, списков, абзацев) затрудняют работу Document Node Analyzer по выделению и оценке отдельных информационных блоков.
• Избыточное повторение ключевых слов (Keyword Stuffing): Патент явно упоминает Statistical Analyzer и систему на основе штрафов (penalty-based system), которые анализируют частоту терминов и могут штрафовать за их чрезмерное использование.
• Ненужное повторение заголовка страницы в контенте: Если термины из заголовка (Title) повторяются в тексте без добавления ценности, они могут быть классифицированы как Navigational и их вес при оценке релевантности этого фрагмента будет снижен.

Стратегическое значение

Этот патент является важным ранним индикатором стратегического движения Google к пониманию контента на гранулярном уровне. Он подтверждает долгосрочную цель Google — не просто найти лучшую страницу, но и найти лучший ответ внутри этой страницы и немедленно направить туда пользователя. Хотя описанная технология транскодирования устарела, лежащая в ее основе логика анализа фрагментов (passages) и разделения интентов запроса получила прямое развитие в современных системах ранжирования (Passage Ranking) и функциях SERP (Featured Snippets, Scroll-to-Text).

Практические примеры

Сценарий: Оптимизация длинного руководства для выделения фрагментов (Применение логики патента к современным реалиям)

Хотя патент описывает устаревшую систему транскодирования, мы можем применить его логику к современным технологиям, таким как Passage Ranking и Scroll-to-Text.

1. Задача: SEO-специалист оптимизирует длинное руководство по теме "Уход за суккулентами".
2. Действие (Основанное на патенте): Вместо сплошного текста специалист структурирует контент с четкими заголовками H2/H3: "Частота полива", "Лучший состав почвы", "Решение проблемы желтых листьев". Это создает четкие блоки (nodes).
3. Механизм: Когда пользователь ищет "почему желтеют листья суккулентов", современный эквивалент Relevance Scoring Engine анализирует страницу. Термины "суккуленты" (вероятно, в Title) могут быть понижены как Navigational, а фокус сместится на "желтеют листья" (Informational). Блок "Решение проблемы желтых листьев" получает наивысшую оценку.
4. Результат: Google может ранжировать страницу на основе релевантности этого конкретного фрагмента и (используя технологию Scroll-to-Text — современный аналог цели Page Formatter) направить пользователя сразу к этому разделу после клика по результату в SERP.