Как Google автоматизирует извлечение структурированных данных с веб-страниц для создания списков ключевых слов

Термины и определения

Clean-up Engine (Механизм очистки)

Компонент, который применяет пользовательские инструкции (Instructions) к извлеченным данным для их модификации (например, удаление подстрок, изменение регистра).

Item (Элемент)

Визуальное представление объекта (Object) на отрендеренной странице в интерфейсе пользователя.

Keyword Generator (Генератор ключевых слов)

Компонент, который обрабатывает извлеченные и очищенные данные для создания списка ключевых слов (Keywords), предназначенных для использования в рекламных кампаниях.

Lowest Common Ancestor (LCA) (Наименьший общий предок)

Узел в древовидной структуре, который является общим предком для двух или более выбранных объектов и находится на самом низком уровне иерархии (наиболее близок к этим объектам). Используется как отправная точка для генерации шаблона.

Metadata (Метаданные)

Элементы, обеспечивающие структуру данных. В контексте HTML это теги (например, <table>, <tr>, <td>), которые формируют узлы в DOM-дереве.

Object (Объект)

Единица данных в Structured Data (например, текст, изображение, гиперссылка), которая отображается пользователю как Item.

Object Crawler (Обходчик объектов)

Основной компонент системы, описанной в патенте. Это НЕ Googlebot. Это часть пользовательского инструмента, отвечающая за анализ выборов и поиск похожих объектов.

Path Assembler (Сборщик пути)

Компонент, который сравнивает пути к выбранным объектам и определяет обобщенный Selection Path.

Selection Path (Путь выбора)

Обобщенный шаблон (например, в формате, похожем на XPath), созданный на основе сравнения путей к выбранным пользователем объектам. Включает общие узлы и Variant.

Structured Data (Структурированные данные)

Исходный код документа, имеющий иерархическую структуру (например, HTML, XML).

Transparent Panel (Прозрачная панель)

Невидимый слой пользовательского интерфейса, размещаемый поверх отрендеренной страницы. Он перехватывает клики пользователя для выбора элементов, не позволяя браузеру реагировать на них (например, не переходя по гиперссылкам).

Tree Representation (Древовидное представление)

Иерархическая модель структурированных данных (например, Document Object Model - DOM-дерево HTML-документа).

Variant (Вариант)

Часть пути выбора, которая различается между двумя выбранными пользователем объектами (например, разные индексы в tr[1] и tr[2]).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс работы системы в графическом интерфейсе, состоящем из первого и второго окна.

1. Рендеринг Transparent Panel поверх первого окна, отображающего множество элементов. Панель невидима и настроена на перехват ввода для выбора элементов, предотвращая активацию гиперссылок под ней.
2. Получение ввода, указывающего на выбор пользователем первого элемента (соответствующего первому объекту в Structured Data).
3. Получение ввода, указывающего на выбор второго элемента (соответствующего второму объекту).
4. Автоматическое определение дополнительных объектов в Structured Data, которые структурно похожи на первый и второй объекты.
5. Отображение во втором окне индикации выбора первого, второго и дополнительных элементов.

Claim 8 (Зависимый от 1): Детализирует механизм автоматического определения дополнительных объектов (шаг 4 в Claim 1).

1. Идентификация Наименьшего Общего Предка (Lowest Common Ancestor) для первого и второго объектов в иерархической структуре.
2. Идентификация первого пути от LCA до первого объекта и второго пути от LCA до второго объекта.
3. Идентификация идентичных узлов в первом и втором путях.
4. Идентификация Variant (различия) в первом и втором путях.
5. Идентификация дополнительных объектов, связанных с LCA через другие пути, которые включают те же идентичные узлы и Variant в той же позиции, где он встречается в первом и втором путях.

Claim 10 (Независимый пункт): Описывает применение метода конкретно к онлайн-каталогу ритейлера.

1. Отображение в окне браузера информации о продуктах ритейлера на основе структурированных данных.
2. Отображение Transparent Panel поверх части окна браузера для перехвата ввода и предотвращения активации гиперссылок.
3. Получение ввода от пользователя, указывающего на выбор первого и второго идентификаторов продуктов.
4. Автоматическое определение дополнительных идентификаторов других продуктов, которые структурно похожи на первый и второй идентификаторы.

Где и как применяется

ВАЖНОЕ УТОЧНЕНИЕ: Этот патент не описывает механизмы, применяемые в архитектуре органического поиска Google (сканирование, индексирование, ранжирование).

Описанная система применяется исключительно в контексте пользовательского интерфейса, например, как браузерное расширение или функция внутри рекламных платформ Google (Google Ads, Merchant Center).

Среда выполнения: Клиентская сторона (Client-side) в браузере пользователя.

Взаимодействие с компонентами:

• Система взаимодействует с отрендеренным представлением веб-страницы и её базовой структурой (Tree Representation / DOM-дерево).
• Transparent Panel взаимодействует с браузером для перехвата событий мыши.
• Object Crawler анализирует DOM-дерево для извлечения данных.

Входные данные:

• Структурированные данные (HTML/XML) загруженной веб-страницы.
• Координаты кликов пользователя по элементам страницы (Selections).
• Инструкции пользователя по очистке данных (Instructions).

Выходные данные:

• Список извлеченных элементов (текст, данные).
• Список ключевых слов (Keywords) для рекламных кампаний.

На что влияет

• Конкретные типы контента: Наиболее эффективно работает с контентом, имеющим повторяющуюся структуру: каталоги товаров (явно указано в патенте), списки, таблицы, результаты поиска на любом сайте (пример на FIG. 6).
• Специфические запросы: Не применимо к поисковым запросам. Применимо к задаче извлечения данных (Data Extraction).
• Конкретные ниши или тематики: Особенно полезно для E-commerce и любых сайтов с большими каталогами или базами данных, отображаемыми онлайн.

Когда применяется

• Условия работы: Алгоритм активируется пользователем, когда ему необходимо извлечь массив данных со страницы (например, нажатием кнопки «Record»).
• Триггеры активации: Автоматическое расширение выбора срабатывает после того, как пользователь выбрал как минимум два примера элемента, и система смогла определить между ними структурную закономерность.
• Временные рамки: Патент упоминает возможность работы с несколькими страницами (Pages 146), позволяя извлекать данные из наборов, распределенных по страницам пагинации.

Пошаговый алгоритм

Процесс работы инструмента извлечения данных:

1. Инициализация: Веб-страница загружается в браузер. Система отображает интерфейс инструмента и накладывает Transparent Panel поверх страницы.
2. Активация записи: Пользователь активирует режим записи.
3. Получение примеров: Пользователь кликает на первый и второй примеры элементов. Transparent Panel перехватывает координаты кликов.
4. Маппинг на структуру: Selection Handler и Object Locator определяют, каким объектам в Structured Data (DOM-дереве) соответствуют эти клики.
5. Анализ путей: Data Parser определяет метаданные (теги), связанные с этими объектами, формируя пути в Tree Representation.
6. Определение LCA: Система находит Наименьшего Общего Предка (LCA) для выбранных объектов.
7. Генерация шаблона: Path Assembler сравнивает пути от LCA до объектов. Он идентифицирует общие узлы и различия (Variant). На основе этого генерируется обобщенный Selection Path. (Например, если выбраны /table/tr[1]/td[2] и /table/tr[2]/td[2], LCA это /table, а шаблон – /tr[X]/td[2]).
8. Поиск соответствий: Selection Logic применяет Selection Path ко всему документу (или его части, начиная с LCA) и находит все объекты, соответствующие шаблону.
9. Отображение результатов: Delivery Engine отображает все найденные элементы (исходные и дополнительные) в Selection Window и подсвечивает их на странице.
10. Очистка данных (Опционально): Пользователь вводит инструкции для Clean-up Engine (например, «удалить символ валюты»), и данные модифицируются.
11. Генерация ключевых слов (Опционально): Keyword Generator обрабатывает финальный список для использования в рекламе.

Какие данные и как использует

Данные на входе

Система использует исключительно данные, доступные в браузере пользователя.

• Структурные факторы: Это основной тип данных. Используются HTML/XML теги (Metadata) и иерархическая структура документа (DOM-дерево или Tree Representation). Структура используется для определения путей и шаблонов.
• Контентные факторы: Содержимое узлов (Objects) — это данные, которые извлекаются системой (например, текст названия продукта, цена).
• Пользовательские факторы: Действия пользователя критичны для работы системы: клики для выбора примеров (Selections) и правила для очистки данных (Instructions).

Другие факторы (ссылочные, поведенческие, временные и т.д.) в этом патенте не упоминаются и не используются.

Какие метрики используются и как они считаются

Патент не использует метрики ранжирования или оценки качества. Он использует алгоритмы структурного анализа:

• Сравнение путей (Path Comparison): Алгоритм сравнивает последовательности узлов (метаданных) в древовидной структуре.
• Наименьший Общий Предок (Lowest Common Ancestor - LCA): Вычисляемый узел в дереве, используемый как база для сравнения.
• Идентификация Варианта (Variant Identification): Определение точки расхождения в путях после LCA.
• Сопоставление с шаблоном (Pattern Matching): Проверка соответствия структуры других объектов сгенерированному Selection Path.

1. Инструмент для PPC, а не алгоритм SEO: Патент описывает пользовательский инструмент для автоматизированного извлечения данных (Data Extraction Tool), а не алгоритм органического поиска Google. Его основное назначение — упрощение сбора ключевых слов для рекламных кампаний (PPC).
2. Зависимость от структуры документа: Метод полностью полагается на анализ структурированных данных (DOM-дерева/HTML) отображаемой страницы. Система ищет повторяющиеся структурные шаблоны.
3. Алгоритмическое обобщение выбора: Ключевым механизмом является использование алгоритма Наименьшего Общего Предка (LCA) и идентификация вариаций (Variant) для генерации обобщенного пути выбора (Selection Path) на основе всего двух примеров от пользователя.
4. Клиентская реализация: Описанный механизм работает на стороне клиента, в браузере пользователя, и включает элементы интерфейса (Transparent Panel) для удобного взаимодействия с контентом без его модификации или активации ссылок.
5. Отсутствие прямых выводов для SEO: Патент не дает практических рекомендаций по оптимизации сайтов для лучшего ранжирования в органическом поиске, так как не касается работы поисковых роботов или факторов ранжирования.

Практическое применение в SEO

ВАЖНО: Патент является инфраструктурным (описывает инструмент) и не дает прямых практических выводов для органического SEO. Однако он дает важное понимание того, как автоматизированные системы Google анализируют структуру страниц.

Best practices (это мы делаем)

• Использование чистой семантической верстки: Хотя патент описывает инструмент для пользователей, он демонстрирует, как легко алгоритмически извлекать данные из хорошо структурированных документов. Это подтверждает важность использования чистого, валидного и семантически размеченного HTML. Такая структура облегчает анализ контента любыми системами, включая поисковые роботы Googlebot.
• Структурирование каталогов и списков: Убедитесь, что повторяющиеся элементы (товары, статьи) имеют идентичную и предсказуемую HTML-структуру. Это улучшает как пользовательский опыт, так и возможность автоматизированного парсинга.

Worst practices (это делать не надо)

Патент не направлен против каких-либо SEO-тактик и не описывает механизмы пессимизации.

• Использование непредсказуемой или "сломанной" верстки: Хотя это не приведет к пессимизации в контексте данного патента, это усложняет автоматический анализ структуры страницы, что потенциально может затруднить работу поисковых систем при попытке понять контент страницы.

Стратегическое значение

Стратегическое значение для SEO минимально. Патент подтверждает способность Google эффективно анализировать и понимать структуру документа (DOM-дерево) на алгоритмическом уровне. Однако он не дает никакой информации о сигналах ранжирования, оценке качества контента или поведении поисковых роботов в органическом поиске.

Практические примеры

Практических примеров для органического SEO нет. Патент описывает инструмент для PPC-специалистов или менеджеров по рекламе.

Сценарий: Использование инструмента PPC-специалистом для сбора ключевых слов

1. Задача: Менеджеру нужно быстро собрать названия всех 500 товаров из онлайн-каталога для запуска новой рекламной кампании.
2. Действие: Менеджер открывает страницу каталога в браузере и активирует инструмент (Object Crawler). Включается режим записи.
3. Выбор примеров: Менеджер кликает на название первого товара («Кроссовки Модель А») и второго товара («Кроссовки Модель Б»). Transparent Panel перехватывает клики.
4. Анализ: Инструмент анализирует HTML-структуру. Он определяет, что оба элемента находятся по пути типа /body/div[1]/ul/li[X]/h3/a.
5. Автоматическое извлечение: Инструмент автоматически находит и выбирает названия всех остальных товаров на этой странице (и, возможно, на следующих страницах), которые соответствуют этому пути.
6. Очистка: В Selection Window появляется список из 500 названий. Менеджер использует Clean-up Engine, чтобы удалить артикулы из названий.
7. Результат: Менеджер получает готовый список ключевых слов для загрузки в Google Ads.