Как Google использует структурные шаблоны и анализ «Edit Distance» для извлечения структурированных данных из веб-страниц

Описание

Какую задачу решает

Патент решает проблему извлечения информации из неструктурированных документов, таких как веб-страницы, которые отформатированы для чтения, а не для анализа. Стандартные методы затрудняются в отделении данных от форматирования и текста, особенно когда данные распределены по множеству страниц (например, данные о ценах на товары). Изобретение направлено на автоматическое извлечение такой информации и ее сохранение в структурированной базе данных (structured database) для последующего анализа и использования в поиске.

Что запатентовано

Запатентована система и метод для извлечения данных из неструктурированных документов путем сравнения их объектных моделей. Система использует размеченные вручную примеры страниц для создания аннотированных шаблонов (annotated object models или labeled templates). Эти шаблоны обобщают структуру страниц, учитывая повторяющиеся и опциональные элементы. Новые страницы автоматически анализируются путем сравнения их структуры с этими шаблонами. При обнаружении достаточного уровня совпадения (degree of match) данные извлекаются из новой страницы в соответствии с разметкой шаблона.

Как это работает

Система работает в два основных этапа: обучение и извлечение.

• Обучение (Training): Технический специалист вручную размечает элементы на обучающих веб-страницах (например, выделяет цену и присваивает метку «Price»). Система генерирует объектную модель (например, DOM) для этих страниц и создает обобщенный шаблон (Template Tree), связывая метки с соответствующими узлами структуры. Шаблон может включать Group Nodes для представления повторяющихся или опциональных структур.
• Извлечение (Extraction): Система сканирует новые страницы, генерирует их объектные модели и сравнивает их с сохраненными размеченными шаблонами. Сравнение осуществляется путем вычисления Edit Distance (стоимости преобразования одной древовидной структуры в другую). Если дистанция достаточно мала, шаблон считается подходящим. Метки из шаблона переносятся на соответствующие узлы новой страницы, и данные из этих узлов извлекаются в структурированную базу данных.

Актуальность для SEO

Высокая. Извлечение и структурирование данных из веба является фундаментальной задачей для Google, необходимой для работы вертикальных поисков (Google Shopping, Travel), формирования расширенных сниппетов (Rich Snippets) и наполнения Knowledge Graph. Методы, основанные на анализе структуры документа и машинном обучении для извлечения данных (Web Scraping/Data Extraction), постоянно развиваются и активно используются.

Важность для SEO

Влияние на SEO высокое (85/100). Хотя патент описывает внутренние механизмы извлечения данных, он имеет критическое значение для понимания того, как Google интерпретирует структуру страниц. Корректное и консистентное HTML-форматирование напрямую влияет на способность системы создать точный шаблон (Template Tree) и успешно извлечь данные. Это жизненно важно для видимости в специализированных поисковых вертикалях и получения расширенных результатов.

Детальный разбор

Термины и определения

Annotated Object Model (Аннотированная объектная модель)

Объектная модель веб-страницы (часто обучающей страницы), в которой определенным узлам присвоены метки (Labels), указывающие на тип данных (например, «Price», «Model»).

Concrete Page / Concrete Tree (Конкретная страница / Конкретное дерево)

Веб-страница (или ее объектная модель), которая еще не была размечена или проанализирована, и из которой система пытается извлечь данные.

Data Extractor (Экстрактор данных)

Компонент системы, который извлекает контент из документа в местах, соответствующих размеченным элементам в подходящем шаблоне, и сохраняет его в структурированной базе данных.

Data Nodes (Узлы данных)

Узлы в Template Tree, которые представляют конкретные элементы документа, такие как HTML-теги (например, <p>, <table>) или текст (TEXT).

DOM (Document Object Model / Объектная модель документа)

Стандартное представление структуры HTML-документа в виде иерархического дерева узлов.

Edit Distance (Расстояние редактирования)

Метрика для определения степени совпадения между двумя древовидными структурами (например, между шаблоном и конкретным деревом). Представляет собой минимальную стоимость (minimum cost) последовательности операций (вставка, удаление, замена узлов), необходимых для преобразования одного дерева в другое.

Group Nodes (Групповые узлы)

Специальные узлы в Template Tree, которые представляют повторяющуюся и/или опциональную структуру. Используются для обобщения вариаций контента. Типы: «?» (ноль или один раз), «+» (один или более раз), «*» (ноль или более раз).

Labels (Метки)

Метаданные, присваиваемые элементам веб-страницы (и соответствующим узлам в объектной модели) для идентификации типа контента. Используются как идентификаторы полей в структурированной базе данных.

Object Model (Объектная модель)

Представление структуры документа, через которое можно анализировать и манипулировать его содержимым. Примеры: DOM или Template Tree.

Template Comparison Module (Модуль сравнения шаблонов)

Компонент, который определяет уровень совпадения между размеченными шаблонами и неразмеченными моделями, часто используя вычисление Edit Distance.

Template Generator (Генератор шаблонов)

Компонент, создающий объектные модели документов, в том числе обобщенные Template Trees.

Template Tree (Дерево шаблона)

Обобщенная объектная модель, которая может включать Data Nodes и Group Nodes. Используется как эталон для сравнения и извлечения данных.

Ключевые утверждения (Анализ Claims)

Патент US9323731B1 является продолжением (Continuation) более ранней заявки (Ser. No. 11/933,962, ныне патент US8589366). Claims в этом патенте фокусируются на процессе создания и использования композитных объектных моделей.

Claim 1 (Независимый пункт): Описывает метод анализа данных.

1. Присвоение меток (Labels) узлам в объектных моделях нескольких веб-страниц для создания набора аннотированных объектных моделей (annotated object models).
2. Сравнение этих аннотированных моделей между собой.
3. На основе сравнения, формирование композитных объектных моделей (composite object models). Это включает:
   • Определение того, что две или более аннотированные модели имеют определенный уровень сходства.
   • В ответ на это, сохранение данных из соответствующих веб-страниц в единую базу данных для формирования композитной модели. Композитная модель отражает структуру группы страниц.
4. Сравнение объектной модели новой (неразмеченной) веб-страницы с каждой из композитных моделей.
5. Идентификация конкретной композитной модели на основе Edit Distance между ней и моделью новой страницы.
6. Сопоставление (mapping) модели новой страницы с выбранной композитной моделью на основе минимального Edit Distance.
7. Извлечение данных из новой страницы из узлов, которые соответствуют размеченным узлам в композитной модели на основе этого сопоставления.
8. Предоставление извлеченных данных для хранения в структурированной базе данных и для отображения приложением.

Ядро изобретения заключается в использовании Edit Distance для точного сопоставления структуры неразмеченной страницы с обобщенными (композитными) шаблонами, созданными на основе нескольких схожих обучающих страниц, для автоматического извлечения данных.

Claim 5 (Зависимый от 1): Уточняет, что объектные модели предоставляются в виде Template Tree, включающего отдельные узлы, которые представляют повторяющиеся (repeated) или опциональные (optional) структуры данных из соответствующих веб-страниц. Это подтверждает использование механизма обобщения (Group Nodes).

Claim 7 (Зависимый от 1): Указывает на применение извлеченных данных: доступ к структурированной базе данных в ответ на поисковый запрос и предоставление результатов поиска, включающих гиперссылки на исходные веб-страницы.

Где и как применяется

Изобретение описывает инфраструктурный процесс, который охватывает несколько этапов поисковой архитектуры, но его основная работа происходит до основного ранжирования.

CRAWLING – Сканирование и Сбор данных
Система использует краулер (Crawler) для обнаружения страниц на определенном домене (common web domain), как обучающих, так и целевых (Concrete Pages), из которых будут извлекаться данные.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Процесс извлечения данных (Data Extraction) является формой глубокого индексирования и извлечения признаков.

1. Анализ структуры: DOM Analyzer анализирует HTML и создает объектные модели (DOM или Template Tree).
2. Обучение и Генерация шаблонов: Template Generator и Template Labeler создают и аннотируют шаблоны на основе обучающих данных. Происходит формирование композитных моделей.
3. Сравнение и Извлечение: Template Comparison Module и Data Extractor сравнивают новые страницы с шаблонами и извлекают данные.

Результатом этого этапа являются не только проиндексированные страницы, но и структурированные данные, сохраненные в отдельной базе (Structured DB).

RANKING / METASEARCH – Ранжирование / Метапоиск
Извлеченные структурированные данные используются поисковой системой (Search Engine). В ответ на запрос система может искать информацию в этой структурированной базе данных и генерировать результаты поиска (например, в виде специализированных блоков или вертикального поиска), которые включают ссылки на исходные документы.

Входные данные:

• URL-адреса обучающих страниц.
• HTML-код скачанных страниц (обучающих и целевых).
• Метки (Labels), предоставленные оператором для обучающих страниц.

Выходные данные:

• Аннотированные шаблоны (Annotated/Composite Object Models).
• Структурированные данные, извлеченные из целевых страниц, сохраненные в базе данных с привязкой к меткам и исходным URL.

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на контент, который имеет повторяющуюся структуру и содержит данные, полезные для сравнения. Это критично для E-commerce (товары, цены, характеристики), Travel (рейсы, отели, цены, даты), недвижимости и любых сайтов-каталогов или агрегаторов.
• Специфические запросы: Влияет на коммерческие и транзакционные запросы, где пользователи ищут конкретные данные (цены, наличие), а не только информацию.

Когда применяется

• Триггеры активации: Система активируется для доменов или групп страниц, для которых были предварительно созданы и обучены шаблоны извлечения данных (Site Wrapper).
• Условия работы: Алгоритм извлечения применяется к новой странице, если ее объектная модель достаточно близка (имеет малое Edit Distance) к одному из существующих размеченных шаблонов. Если совпадение не найдено (дистанция слишком велика), данные не извлекаются этим методом.
• Частота применения: Применяется во время сканирования и индексирования страниц на целевых доменах. Может применяться повторно при обновлении контента страниц для поддержания актуальности структурированных данных.

Пошаговый алгоритм

Процесс можно разделить на две фазы: Фаза Обучения (создание шаблонов) и Фаза Извлечения (применение шаблонов).

Фаза А: Обучение и создание шаблонов

1. Идентификация обучающих страниц: Определение набора страниц на домене для обучения системы (вручную или автоматически).
2. Получение меток: Оператор вручную размечает элементы на страницах (например, выделяет текст и присваивает метку «Price»).
3. Формирование первичных шаблонов: Для каждой страницы создается объектная модель (DOM).
4. Аннотирование шаблонов: Метки, присвоенные оператором, связываются с соответствующими узлами в объектной модели.
5. Обобщение и создание Мастер-шаблона (Composite/Master Template):
   • Сравнение нескольких аннотированных моделей между собой.
   • Если модели схожи, они объединяются в Мастер-шаблон.
   • Анализ повторяющихся структур (Repeat Analysis) и опциональных элементов (Detection of Optional Structures).
   • Вставка Group Nodes (‘+’, ‘*’, ‘?’) в Мастер-шаблон для представления этих вариаций. Например, множество строк таблицы <tr> заменяется одним узлом <tr> под групповым узлом «+».
6. Сохранение шаблона: Размеченный Мастер-шаблон сохраняется для последующего использования.

Фаза Б: Извлечение данных

1. Идентификация целевой страницы: Краулер находит новую (или обновленную) страницу на целевом домене.
2. Генерация объектной модели: Создается объектная модель (DOM Tree) для целевой страницы.
3. Сравнение с шаблонами: Система сравнивает модель целевой страницы со всеми доступными Мастер-шаблонами для этого домена.
4. Вычисление Edit Distance: Для сравнения вычисляется Edit Distance — минимальная стоимость преобразования одного дерева в другое с помощью операций вставки, удаления и замены узлов. Group Nodes в шаблоне позволяют пропускать или многократно использовать соответствующие структуры в целевой странице при вычислении дистанции.
5. Выбор наилучшего шаблона: Выбирается шаблон с наименьшим Edit Distance, если эта дистанция ниже определенного порога.
6. Применение меток (Mapping): Если шаблон найден, система сопоставляет узлы шаблона с узлами целевой страницы (выполняет выравнивание деревьев — Tree alignment). Метки из шаблона ассоциируются с соответствующими узлами целевой страницы.
7. Извлечение данных: Контент из узлов целевой страницы, которым были присвоены метки, извлекается.
8. Сохранение данных: Извлеченные данные сохраняются в структурированной базе данных, где метки используются как идентификаторы полей.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на структурных и контентных факторах, необходимых для извлечения данных. Другие факторы (ссылочные, поведенческие и т.д.) не упоминаются.

• Контентные факторы: Текст (TEXT), содержащийся внутри HTML-элементов. Именно этот текст является целью извлечения.
• Структурные факторы: Структура HTML-документа является критически важной. Система анализирует иерархию HTML-тегов (<body>, <table>, <tr>, <td>, <p>, <a> и т.д.) в виде объектной модели (DOM). Порядок следования тегов и их вложенность определяют возможность сопоставления шаблона.
• Системные данные (Метки): Labels, предоставленные операторами во время обучения (например, «Price», «Quantity»).

Какие метрики используются и как они считаются

Ключевая метрика в патенте — это Edit Distance.

• Edit Distance (Расстояние редактирования): Метрика сходства древовидных структур. Вычисляется как минимальная стоимость преобразования одного дерева в другое.
• Стоимость операций (Operation Cost): Каждой операции редактирования (вставка узла, удаление узла, замена узла) присваивается стоимость.
  • Стоимость вставки/удаления Data Node может быть фиксированной (например, 1).
  • Стоимость замены (Replacement cost) равна нулю, если узлы эквивалентны (например, замена <p> на <p>), и положительной (или бесконечной), если они различны.
• Учет Group Nodes при расчете: Group Nodes влияют на расчет стоимости.
  • Опциональные узлы (‘?’, ‘*’) можно пропустить без штрафа (стоимость 0), если они пропускаются целиком.
  • Узлы под повторяющимися Group Nodes (‘+’, ‘*’) могут быть использованы многократно при сопоставлении.
• Методы вычислений: Для эффективного вычисления Edit Distance может использоваться взвешенный конечный автомат-преобразователь (weighted finite-state transducer, FST). Минимальное расстояние соответствует наименее затратному пути (least cost path) в FST.
• Пороговые значения: Система использует порог для Edit Distance, чтобы определить, является ли совпадение достаточно близким для извлечения данных. Также используется порог сходства при создании композитных моделей из обучающих страниц.

Выводы

1. Структура HTML критически важна для извлечения данных: Патент демонстрирует, что Google может полагаться на анализ структуры HTML (DOM) для идентификации и извлечения ключевой информации. Система ищет паттерны в иерархии тегов.
2. Консистентность структуры важнее конкретных тегов: Механизм Edit Distance позволяет системе находить совпадения даже при небольших изменениях в коде (например, добавление или удаление необязательных элементов), если общая структура остается узнаваемой.
3. Обобщение шаблонов (Generalization): Использование Group Nodes (‘+’, ‘*’, ‘?’) позволяет системе создавать гибкие шаблоны (Template Trees), которые игнорируют вариативность контента (например, разное количество товаров в списке или наличие/отсутствие блока рекламы), фокусируясь на стабильной структуре.
4. Зависимость от обучения: Эффективность системы зависит от качества первоначальной ручной разметки (Training). Система учится тому, где искать данные на основе предоставленных примеров.
5. Цель извлечения — структурирование для поиска: Конечной целью является наполнение структурированной базы данных для улучшения результатов поиска (Search Results), что напрямую указывает на использование этих данных в поисковой выдаче (например, вертикальный поиск, расширенные сниппеты).
6. Фокус на доменном уровне: Процесс часто подразумевает создание шаблонов для конкретного домена (common web domain), предполагая, что страницы на одном сайте будут иметь схожую структуру.

Практика

Best practices (это мы делаем)

Рекомендации основаны на необходимости облегчить системе создание точных шаблонов и минимизировать Edit Distance между страницами и этими шаблонами.

• Обеспечение максимальной консистентности HTML-структуры: Используйте идентичную или максимально схожую структуру DOM для однотипных страниц (например, карточек товаров, страниц категорий). Изменения в порядке блоков, вложенности ключевых элементов или структуре таблиц/списков могут увеличить Edit Distance и привести к ошибкам извлечения.
• Использование чистой и семантической верстки: Применяйте HTML-теги по назначению. Четкая иерархия облегчает генерацию Template Tree и корректное определение Data Nodes. Избегайте излишней вложенности и неинформативных контейнеров вокруг ключевых данных.
• Стабильность структуры при A/B тестировании и редизайне: При внесении изменений в дизайн убедитесь, что базовая структура DOM, содержащая ключевые данные, остается стабильной. Изменения, которые кажутся визуально незначительными, могут радикально изменить DOM и нарушить работу экстракторов.
• Четкое отделение данных от форматирования: Убедитесь, что ключевые данные (цена, название, характеристики) находятся в отдельных, четко определенных узлах DOM, а не смешаны с форматированием или дополнительным текстом.
• Оптимизация списков и таблиц: Для повторяющихся элементов (например, список товаров, таблица характеристик) используйте консистентную структуру для каждого элемента. Это позволит системе корректно идентифицировать Group Nodes (‘+’) и извлечь все данные.

Worst practices (это делать не надо)

• Генерация динамической и непредсказуемой структуры DOM: Использование JavaScript для генерации HTML-структуры, которая меняется в зависимости от условий (например, разная верстка для разных пользователей или сессий), затрудняет создание стабильного шаблона.
• Использование разной верстки для однотипных данных: Например, если на одной карточке товара цена указана в <span> внутри <div>, а на другой — в <p> внутри <section>. Это заставит систему создавать разные шаблоны или приведет к высокому Edit Distance.
• «Плавает» порядок блоков: Если порядок ключевых информационных блоков на однотипных страницах меняется (например, иногда характеристики выше описания, иногда ниже), это усложняет выравнивание деревьев (Tree alignment).
• Сложная и запутанная структура таблиц: Использование сложных объединенных ячеек, неконсистентное использование <thead>, <tbody> или вложенных таблиц может помешать корректному анализу повторяющихся структур.

Стратегическое значение

Этот патент подчеркивает стратегическую важность технического SEO и качества кода для видимости в поиске, особенно в E-commerce и других вертикалях, зависящих от данных. Google стремится быть базой данных, а не просто поисковиком. Системы, подобные описанной, являются инструментами для автоматического наполнения этой базы данных напрямую из веб-страниц. Если структура сайта не позволяет легко извлекать данные, сайт рискует потерять видимость в специализированных результатах поиска (Google Shopping, Rich Snippets), даже если он хорошо ранжируется по стандартным факторам.

Практические примеры

Сценарий: Обеспечение корректного извлечения цен товаров в E-commerce

Проблема: Google Shopping не всегда корректно отображает цены товаров с сайта, несмотря на наличие микроразметки Schema.org.

Применение патента (Анализ): Система извлечения данных Google, вероятно, использует структурные шаблоны (Template Trees) как основной или дополнительный источник данных. Возможно, структура DOM карточек товаров недостаточно консистентна, что приводит к высокому Edit Distance и ошибкам извлечения.

Действия SEO-специалиста:

1. Аудит структуры DOM: Сравнить структуру DOM нескольких десятков карточек товаров. Искать различия в иерархии тегов, окружающих цену (например, наличие/отсутствие блоков скидок, разное количество вложенных <div>).
2. Стандартизация верстки: Разработать единый стандарт HTML-структуры для блока цены и внедрить его на всех страницах товаров.

   Пример ДО стандартизации (неконсистентно):
   Товар А: <div class=»price-container»><p>Цена: <span>100 руб.</span></p></div>
   Товар Б: <div class=»price-container»><span class=»sale»>Распродажа!</span><span>90 руб.</span></div>

   Пример ПОСЛЕ стандартизации (консистентно):
   Товар А: <div class=»price-box»><span class=»info»></span><span class=»value»>100 руб.</span></div>
   Товар Б: <div class=»price-box»><span class=»info»>Распродажа!</span><span class=»value»>90 руб.</span></div>

3. Ожидаемый результат: Структура станет консистентной. Система Google сможет создать точный Template Tree, где блок цены всегда находится в одном и том же месте структуры. Edit Distance между страницами уменьшится, что позволит надежно извлекать данные о ценах.

Вопросы и ответы