Как Google автоматически распознает и извлекает структурированные данные с сайтов-классифайдов и шаблонных сайтов

Термины и определения

Candidate Site (Сайт-кандидат)

Веб-сайт, предварительно идентифицированный как потенциальный классифайд на основе эвристик (например, структура URL или наличие определенных терминов).

City Page (Страница города/региона)

Страница на классифайде, агрегирующая контент для определенной географической области (например, sf.craigslist.org).

Classified Site Models (Модели классифайдов)

База данных, хранящая шаблоны (структуру, динамические области, типы данных) для уже известных классифайдов. Используется для обучения классификаторов и идентификации новых сайтов.

Classifiers (Классификаторы)

Алгоритмы машинного обучения (упоминаются WinNOW, Naive Bayes, SVM и др.), используемые для оценки вероятности того, что сайт-кандидат или страница-кандидат является классифайдом/листингом/детальной страницей.

Details Page (Страница деталей)

Страница, содержащая подробную информацию об одной конкретной записи (объявлении, товаре). Обычно доступна по ссылке со страницы листинга.

Dynamic Regions (Динамические области)

Области на веб-странице, контент которых меняется от страницы к странице одного типа (например, цена товара, описание), в отличие от статических областей (навигация, футер).

Extracted Data Store (Хранилище извлеченных данных)

База данных, где извлеченный контент хранится в структурированном виде (пары атрибут-значение).

Geographically Localized (Географически локализованный)

Характеристика сайта, указывающая на его привязку к конкретным регионам. Часто проявляется в структуре URL (например, {cityname}.domain.com).

Heuristics (Эвристики)

Набор правил и признаков для предварительной идентификации классифайдов (например, наличие определенных слов, структура URL).

Listing Page (Страница листинга)

Страница, содержащая список записей (объявлений, товаров), часто в виде таблицы или повторяющихся блоков. Характеризуется наличием repeating pattern.

Page Models / Templates (Модели страниц / Шаблоны)

Структурированное описание страницы, идентифицирующее динамические области и типы информации, содержащиеся в них.

User Access Data (Данные о доступе пользователей)

Данные об интернет-активности пользователей (например, собранные через тулбары), включая поисковые запросы, просмотры и клики. Используются для понимания структуры сайта и навигации между страницами.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод автоматического извлечения данных.

1. Система определяет, что веб-сайт является "area specific classified website" (классифайдом, специфичным для региона). Ключевое условие: определение основано, по крайней мере частично, на том, что сайт является geographically localized.
2. Система получает доступ к моделям страниц других классифайдов.
3. Идентифицируется Listing Page на новом сайте на основе схожести с этими моделями.
4. Создается модель (listing page model) для этой страницы листинга. Процесс создания включает:
   • Идентификацию одной или нескольких dynamic regions.
   • Определение типа информации в каждой динамической области.
   • Создание и сохранение шаблона (listing page template), который описывает эти области и типы данных.
5. Данные извлекаются с сайта с использованием этой модели.
6. Извлеченные данные сохраняются в базе данных для ответа на запросы пользователей (classified site query).

Claim 2 (Зависимый): Дополняет Claim 1, указывая, что система также идентифицирует Details Page, связанную со страницей листинга, создает для нее модель и извлекает данные с ее помощью.

Claim 5 (Зависимый): Указывает, что система может идентифицировать дополнительные страницы (например, City Pages или страницы категорий) на основе user access data (данных о поведении пользователей) и создавать модели для них.

Claim 9 (Зависимый): Уточняет, что определение сайта как классифайда также может основываться на наборе эвристик, включающем определение того, содержит ли сайт "common classified site terms" (общие термины классифайдов).

Claim 10 (Зависимый): Уточняет, что Listing Page идентифицируется, по крайней мере частично, по наличию набора строк, демонстрирующих "repeating pattern" (повторяющийся паттерн).

Где и как применяется

Изобретение является частью инфраструктуры сбора и обработки данных Google.

CRAWLING – Сканирование и Сбор данных
Система используется для оптимизации сканирования. Идентификация сайта как классифайда позволяет применить к нему особые политики сканирования (Refresh Policy), так как такие сайты обновляются очень часто. Специализированные краулеры (City Page Crawler, Listing Page Crawler, Detail Page Crawler) используются для эффективного обхода структуры сайта.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. На этом этапе происходит анализ структуры страниц (Page Type Identifier), генерация моделей и шаблонов (Model Generator) и извлечение данных (Data Extractor). Вместо хранения только сырого HTML, система извлекает структурированные данные (пары атрибут-значение) и сохраняет их в Extracted Data Store. Это форма глубокого извлечения признаков и структурирования контента.

METASEARCH – Метапоиск и Смешивание
Извлеченные структурированные данные используются для формирования ответов в вертикальном поиске или специализированных блоках выдачи (например, блок вакансий, товаров), агрегируя данные из множества источников.

Входные данные:

• Сырой HTML и DOM-структура страниц сайта.
• Структура URL сайта.
• База существующих моделей классифайдов (Classified Site Models).
• Эвристики и ключевые слова (Heuristics).
• (Опционально) Данные о поведении пользователей (Access Data).

Выходные данные:

• Классификация сайта (является ли он классифайдом).
• Новые шаблоны для извлечения данных (Page Templates).
• Структурированные данные в формате атрибут-значение (например, Price: $340, Location: Cow Hollow).

На что влияет

• Конкретные типы контента и ниши: Патент оказывает критическое влияние на все сайты, использующие шаблонную структуру для представления сущностей. Хотя в патенте акцент сделан на классифайдах, описанные методы применимы к E-commerce (листинги товаров, карточки товаров), сайтам вакансий, агрегаторам билетов, форумам, сайтам рецептов и любым директориям.
• Структурные факторы: Влияет на то, как Google интерпретирует HTML/DOM структуру. Сайты с четкими, повторяющимися паттернами и семантической разметкой будут обработаны более эффективно.
• Географические факторы: Система активно ищет признаки географической локализации в URL как индикатор того, что сайт может быть классифайдом.

Когда применяется

• Триггеры активации (Идентификация): Алгоритм идентификации запускается, когда эвристики указывают на то, что сайт может быть классифайдом. Ключевые триггеры:
  • Структура URL вида {cityname}.domain.com (географическая локализация).
  • Наличие в доменном имени известных терминов классифайдов.
  • Наличие на страницах ключевых слов, характерных для объявлений (цена, спальни, продажа и т.д.).
• Триггеры активации (Извлечение): Процесс моделирования и извлечения активируется после того, как сайт классифицирован. Извлечение происходит во время регулярного сканирования сайта.

Пошаговый алгоритм

Патент описывает два основных процесса: Идентификацию классифайда и Извлечение данных.

Процесс А: Идентификация классифайда (Method 900)

1. Определение сайта-кандидата: Система определяет, является ли сайт потенциальным классифайдом. Это делается путем проверки:
   • Содержит ли доменное имя известные термины.
   • Является ли сайт географически локализованным (например, анализ URL на наличие паттерна {cityname}.domain.com).
2. Определение кандидатов в страницы листинга: Поиск страниц с табличной структурой или повторяющимися паттернами (repeating pattern) в HTML.
3. Определение кандидатов в страницы деталей: Поиск страниц, на которые ведут ссылки из повторяющихся блоков на страницах листинга.
4. Расчет оценки листинга (Listing Page Score): Использование классификатора для оценки кандидатов в листинги. Классификатор анализирует степень схожести ключевых слов и URL-токенов кандидата с корпусом известных классифайдов. Учитываются веса ключевых слов.
5. Расчет оценки деталей (Detail Page Score): Аналогичный процесс для кандидатов в страницы деталей с использованием соответствующего классификатора.
6. Расчет оценки сайта (Candidate Site Score): Агрегация оценок листингов и деталей для получения общей оценки сайта. В патенте приводится пример расчета: $W(Site) \sim C(\{l\}) + C(\{d\})$ (где C - классификатор, {l} и {d} - наборы страниц листингов и деталей).
7. Принятие решения: Если оценка сайта превышает заданный порог, сайт определяется как классифайд.

Процесс Б: Моделирование и Извлечение данных (Method 800)

1. Идентификация типов страниц: После подтверждения статуса сайта система идентифицирует конкретные страницы листингов и деталей. Дополнительные страницы (City Pages) могут быть идентифицированы с помощью User Access Data.
2. Создание моделей (Генерация шаблонов): Для каждого типа страниц (листинг, детали):
   • Идентификация Dynamic Regions (например, с помощью DOM-анализа).
   • Определение типа информации в каждой динамической области (например, цена, количество спален).
   • Создание и сохранение шаблона (Page Template), фиксирующего эту структуру.
3. Извлечение данных:
   • Краулер получает доступ к странице.
   • Система загружает соответствующий шаблон.
   • Контент извлекается из Dynamic Regions, определенных в шаблоне.
4. Хранение данных: Извлеченный контент сохраняется в Extracted Data Store как значение для соответствующего типа информации (атрибута).

Какие данные и как использует

Данные на входе

Система использует несколько типов данных для идентификации сайтов и извлечения информации:

• Технические факторы (URL): Структура URL критически важна. Анализируются URL-токены. Наличие географической локализации (например, {cityname}.domain.com) является сильным сигналом для идентификации сайта-кандидата. Также анализируются токены, указывающие на категории.
• Структурные факторы (HTML/DOM): Анализируется структура документа (DOM-анализ) для выявления повторяющихся паттернов (repeating pattern) на страницах листинга и для идентификации Dynamic Regions на всех типах страниц.
• Контентные факторы (Keywords): Ключевые слова на странице используются классификаторами для определения типа сайта и типа страницы. Упоминается, что разные ключевые слова имеют разный вес (например, "bedroom" и "price" имеют высокий вес для недвижимости).
• Пользовательские факторы (Access Data): Данные об интернет-активности группы пользователей (поиск, просмотр, клики) могут использоваться для понимания структуры сайта, например, для идентификации того, какие страницы пользователи посещают до или после страницы листинга.

Какие метрики используются и как они считаются

• Listing Page Score (Оценка страницы листинга): Метрика, указывающая на вероятность того, что страница-кандидат является листингом классифайда. Рассчитывается классификатором (например, WinNOW, Naive Bayes, SVM), обученным на корпусе известных сайтов, на основе ключевых слов и URL-токенов.
• Detail Page Score (Оценка страницы деталей): Аналогичная метрика для страниц деталей.
• Candidate Site Score (W(Site)): Агрегированная оценка сайта, основанная на комбинации Listing Page Score и Detail Page Score.
• Threshold (Порог): Предопределенное значение, которое должна превысить Candidate Site Score, чтобы сайт был признан классифайдом. Патент предполагает, что порог может быть установлен на основе ручного анализа или статистически (например, 70% от средней оценки известного корпуса).

1. Автоматическое структурирование данных: Патент описывает инфраструктуру Google для автоматического распознавания и извлечения структурированных данных с шаблонных сайтов без необходимости ручной разметки или использования Schema.org (хотя Schema.org помогает).
2. Идентификация через структуру и URL: Система активно ищет структурные подсказки для идентификации типа сайта. Географическая локализация в URL (city.domain.com) и наличие повторяющихся паттернов (repeating patterns) в HTML являются ключевыми сигналами.
3. Машинное обучение для классификации: Идентификация не полагается только на эвристики, но использует ML-классификаторы, обученные на существующих моделях, для оценки новых сайтов на основе их контента (ключевых слов) и структуры.
4. Ключевая роль "Динамических областей": Основой извлечения является способность системы отличать статический контент (шаблон сайта) от динамического (данные о сущности) и определять тип данных в этих областях.
5. Использование поведенческих данных для понимания структуры: Патент явно указывает на возможность использования данных об активности пользователей (User Access Data) для определения взаимосвязей между страницами и идентификации их типов (например, определение City Page по тому, что пользователи часто переходят с нее на Listing Page).
6. Основа для вертикального поиска: Описанный механизм является инфраструктурной основой для создания специализированных поисковых вертикалей, агрегирующих данные из множества источников.

Best practices (это мы делаем)

• Обеспечение абсолютной консистентности шаблонов: Для сайтов, основанных на шаблонах (E-commerce, недвижимость, агрегаторы), критически важно использовать идентичную HTML-структуру (DOM-дерево) для всех страниц одного типа (например, всех карточек товаров). Это облегчает системе идентификацию Dynamic Regions и создание надежного шаблона извлечения.
• Использование семантической и чистой HTML-разметки: Используйте осмысленные HTML-теги и CSS-классы для ключевых элементов (цена, атрибуты, заголовки). Это помогает системе определить тип информации в Dynamic Regions. Четкое отделение контента от шаблона (boilerplate) в DOM упрощает анализ.
• Четкая структура листингов: Страницы листингов должны иметь явно выраженный повторяющийся паттерн (repeating pattern). Каждая запись в листинге должна иметь схожую HTML-структуру и содержать ссылку на соответствующую страницу деталей.
• Логичная иерархия и структура URL: Используйте понятную структуру URL, отражающую иерархию сайта (Категория -> Листинг -> Деталь). Если сайт ориентирован на регионы, использование географических идентификаторов в URL (как описано в патенте: city.domain.com или domain.com/city/) может помочь системе быстрее понять организацию контента.
• Дополнение микроразметкой (Schema.org): Хотя патент описывает автоматическое извлечение, использование Schema.org (Product, LocalBusiness, JobPosting и т.д.) устраняет неоднозначность и гарантирует, что система корректно определит типы данных в динамических областях.

Worst practices (это делать не надо)

• Использование разных шаблонов для однотипных страниц: Применение A/B тестов, изменяющих структуру HTML, или использование разных вариантов дизайна для страниц одного типа может помешать системе создать стабильный шаблон извлечения.
• Сложная или обфусцированная структура HTML: Избыточная вложенность элементов, несемантическая верстка (например, <div> для всего) или динамическая генерация HTML, создающая неконсистентный DOM, затрудняют идентификацию Dynamic Regions.
• Хранение ключевых данных в неструктурированном виде: Размещение важных атрибутов (цена, характеристики) внутри больших блоков неструктурированного текста или в изображениях снижает вероятность их успешного извлечения.
• Отсутствие четких листингов: Страницы категорий, которые не имеют повторяющегося паттерна или четких ссылок на детальные страницы, могут быть не распознаны как Listing Pages.

Стратегическое значение

Патент подтверждает стратегическую важность технического SEO и качества структуры сайта для успешного индексирования. Google стремится понять контент на уровне сущностей и атрибутов, а не просто на уровне ключевых слов. Для шаблонных сайтов способность Google эффективно извлекать структурированные данные напрямую влияет на их представление в поиске, включая обогащенные результаты и вертикальные сервисы. Консистентность и чистота кода являются не просто рекомендацией, а необходимым условием для работы систем извлечения данных.

Практические примеры

Сценарий: Оптимизация сайта недвижимости для лучшего извлечения данных

1. Анализ структуры URL: Убедиться, что URL отражают географию и тип объекта, например: site.com/new-york/rentals/apartment-id123. Это соответствует эвристикам патента.
2. Оптимизация страницы листинга (Listing Page): Проверить шаблон листинга. Убедиться, что каждый объект в списке использует идентичный блок HTML (repeating pattern). Например:

   <div class="listing-item">
     <span class="price">$2500</span>
     <span class="bedrooms">2BR</span>
     <a href="/apartment-id123">Название объекта</a>
   </div>
   

   Это позволяет системе легко идентифицировать динамические области (price, bedrooms, ссылка).
3. Оптимизация страницы деталей (Details Page): Убедиться, что шаблон карточки объекта консистентен. Ключевые атрибуты должны находиться в предсказуемых местах в DOM и иметь четкую разметку.
4. Результат: Система Google успешно идентифицирует сайт, создает надежные шаблоны и извлекает структурированные данные (цены, количество спален, локации), что повышает шансы на появление в специализированных блоках выдачи по запросам о недвижимости.