Как Google использует структурные шаблоны сайта для идентификации «Визуальных Конечных Страниц» (Visual Leaf Pages) и повышает их в поиске по картинкам

Термины и определения

Visual Leaf Page (VLP) (Визуальная Конечная Страница)

Терминальная веб-страница, основное назначение которой сосредоточено вокруг одного или нескольких значимых (salient) изображений или видео, которые отображаются на видном месте (prominently displayed). Удаление этих изображений сделает страницу значительно менее информативной. Примеры: карточка товара, страница рецепта.

Hub Page (Хаб-страница)

Страница на хосте, которая ссылается на одну или несколько VLP, часто через image-based links. Примеры: страница категории товаров, листинг.

Salient Image (Значимое изображение)

Доминирующее изображение или видео на VLP. Определяется по размеру (больше других элементов), расположению (например, в центральной части) или функциональности (например, настраиваемый выбор изображений).

Image-based link (Ссылка на основе изображения)

Ссылка с Hub Page на VLP, представленная в виде изображения (например, кликабельное превью товара).

Feature Values (Значения признаков)

Набор предопределенных характеристик, извлекаемых из VLP. Включают структурные признаки (верстка/layout, URL depth), контентные признаки и метаданные (og:image, Product/Recipe metadata).

Central Tendency (Центральная тенденция)

Статистическая мера, представляющая центр распределения Feature Values для группы страниц (например, среднее значение и стандартное отклонение). Используется для описания типичных характеристик VLP, связанных с конкретным хабом.

Cluster Data (Данные кластера)

Набор Central Feature Values, представляющий группу VLP, связанных с одной Hub Page.

Cluster Model (Модель кластера / Чанк)

Модель, созданная путем объединения (merging) схожих Cluster Data с одного хоста. Представляет собой обобщенный шаблон для определенного типа VLP на сайте.

URL Depth (Глубина URL)

Количество уровней в пути URL. Используется как один из признаков для кластеризации.

Model Score (Оценка модели)

Оценка, генерируемая при применении Cluster Model к веб-странице. Отражает степень соответствия страницы данному шаблону.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный цикл работы системы — от идентификации структуры до влияния на ранжирование.

1. Идентификация и Кластеризация (Офлайн): Для множества хостов система выполняет:
   • Идентификацию Visual Leaf Pages (VLP) и Hub Pages, которые ссылаются на них через image-based links.
   • Генерацию Cluster Data для каждой Hub Page. Это включает определение Feature Values (включая признаки верстки контента - layout of content) для связанных VLP и вычисление Central Tendency этих признаков.
2. Классификация и Ранжирование (Онлайн):
   • Получение данных о веб-странице в ответ на поисковый запрос.
   • Использование классификатора (Visual Leaf Page Classifier), обученного на базовом наборе данных (включающем сгенерированные Cluster Data), для классификации этой страницы как VLP.
   • Определение, что поисковый запрос запрашивает результаты поиска по картинкам для определенного типа активности (particular type of activity, например, шопинг).
   • Увеличение (increasing) search score веб-страницы на основании её классификации как VLP и соответствия интенту запроса.

Claim 2 (Зависимый от 1): Детализирует процесс объединения (оптимизации) кластеров.

Система объединяет Cluster Data в Cluster Models. Процесс включает определение различий между кластерами. Если различие меньше порогового значения, кластеры объединяются в Cluster Model, который затем уникально ассоциируется с хостом. Это позволяет обобщить шаблоны на уровне сайта.

Claim 3 (Зависимый от 2): Детализирует процесс классификации с использованием объединенных моделей.

При обработке страницы система идентифицирует Cluster Models, ассоциированные с хостом этой страницы. Каждая модель применяется для генерации Model Score. Если наивысший Model Score превышает пороговое значение, страница классифицируется как Visual Leaf Page.

Где и как применяется

Изобретение охватывает этапы индексирования (для построения моделей) и ранжирования (для применения моделей и бустинга).

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит основная работа по анализу структуры и построению моделей (офлайн-компонент, Model Builder).

• Извлечение признаков (Feature Extraction): Система извлекает Feature Values: глубина URL, наличие метаданных (Product, Recipe), og:image, характеристики изображений, особенности верстки (layout features).
• Анализ структуры сайта: Идентификация связей между Hub Pages и потенциальными Visual Leaf Pages через image-based links.
• Построение моделей: Генерация Cluster Data и их объединение в Cluster Models. Эти модели сохраняются и ассоциируются с хостом.

RANKING – Ранжирование / RERANKING – Переранжирование
На этом этапе происходит применение моделей в реальном времени (онлайн-компонент, Page Analyzer).

• Понимание интента запроса: Система определяет, относится ли запрос к поиску изображений для определенной активности (Claim 1).
• Классификация кандидатов: Для страниц-кандидатов система применяет специфичные для хоста Cluster Models для расчета Model Score и классификации страницы как VLP.
• Корректировка ранжирования: Если страница классифицирована как VLP и интент запроса соответствует, система увеличивает её search score.

Входные данные:

• Структура сайта и внутренние ссылки (особенно image-based links).
• Feature Values страниц (URL, верстка, метаданные, характеристики изображений).
• Поисковый запрос и его интент.

Выходные данные:

• Cluster Models, ассоциированные с хостом (офлайн).
• Классификация страницы (VLP или нет) (онлайн).
• Модифицированный search score (онлайн).

На что влияет

• Конкретные типы контента и ниши: Наибольшее влияние оказывается на E-commerce (карточки товаров), сайты рецептов, моду, DIY, портфолио — везде, где изображение является основным объектом интереса.
• Специфические запросы: Влияет на запросы с транзакционным или визуальным интентом в поиске по картинкам («купить красное платье», «рецепт пасты карбонара»).
• Структура сайта: Повышает важность четкой иерархии (Категория -> Товар) и использования консистентных шаблонов.

Когда применяется

• Построение моделей: Применяется периодически в процессе индексирования и анализа данных хоста.
• Классификация и Бустинг: Применяется в реальном времени при обработке поискового запроса, но только при выполнении двух условий (Триггер активации бустинга):
  • Страница соответствует одной из Cluster Models хоста с высоким Model Score (т.е. классифицирована как VLP).
  • Запрос идентифицирован как «поиск изображений для определенного типа активности» (Claim 1).

Пошаговый алгоритм

Фаза 1: Построение моделей (Офлайн, Model Builder)

1. Итерация по хостам: Процесс выполняется для множества хостов.
2. Идентификация кандидатов VLP: Определение страниц на хосте, где изображение или видео отображается на видном месте (по размеру, расположению).
3. Идентификация Hub Pages: Поиск страниц на хосте, которые ссылаются на кандидатов VLP через image-based links.
4. Извлечение признаков: Для каждой VLP, связанной с Hub Page, извлекается набор Feature Values (глубина URL, метаданные, верстка и т.д.).
5. Генерация Cluster Data (Кластеризация): Для каждой Hub Page вычисляется Central Tendency (среднее, стандартное отклонение) признаков связанных VLP. Это формирует исходные Cluster Data.
6. Объединение кластеров (Merging): Система сравнивает Cluster Data разных хабов. Если расстояние (различие) между ними меньше порога, они объединяются.
7. Генерация Cluster Models: Формирование финального набора Cluster Models для хоста.
8. Сохранение: Ассоциация Cluster Models с хостом в индексе.

Фаза 2: Классификация и Ранжирование (Онлайн, Page Analyzer)

1. Получение запроса и кандидатов: Система получает запрос и набор релевантных страниц.
2. Анализ интента запроса: Определение, ищет ли пользователь изображения для активности (шопинг, рецепты и т.д.).
3. Получение моделей хоста: Для каждой страницы-кандидата извлекаются её признаки и загружаются соответствующие Cluster Models хоста.
4. Применение моделей: Модели применяются к признакам страницы-кандидата для расчета Model Score.
5. Классификация: Если наивысший Model Score превышает порог, страница классифицируется как Visual Leaf Page.
6. Корректировка ранжирования: Если страница классифицирована как VLP И интент запроса соответствует, её search score увеличивается.
7. Формирование выдачи: Предоставление результатов с учетом скорректированных оценок.

Какие данные и как использует

Данные на входе

Система использует комбинацию признаков для построения моделей и классификации.

• Структурные и Технические факторы:
  • URL Depth (Глубина URL). Консистентность глубины важна для кластеризации.
  • Признаки верстки контента (layout of content) (Claim 1).
  • Наличие сетчатой структуры (Grid-like structure) (используется для исключения SERP-подобных страниц из VLP).
• Мультимедиа и Визуальные факторы:
  • Значимость (Prominence) изображения/видео: размер (больше остального контента), расположение (в центральной части страницы - central portion).
  • Функциональность: Настраиваемый выбор изображений (Customizable selection of images), например, галерея товара.
  • Количество достаточно больших изображений и уникальных видимых видео на странице.
• Структурированные данные и Разметка:
  • Наличие разметки og:image.
  • Наличие метаданных продукта (Product metadata).
  • Наличие метаданных рецепта (Recipe metadata).
• Ссылочные факторы (Внутренние):
  • Наличие image-based link с Hub Page на Leaf Page (ключевой сигнал для бутстрэппинга).
• Контентные и Семантические факторы:
  • Количество параграфов/секций/глав на странице.
  • Семантический анализ изображения/видео в сравнении с остальным контентом страницы (должны быть связаны).

Какие метрики используются и как они считаются

• Feature Values Vector: Векторное представление признаков страницы, где каждый элемент соответствует определенному признаку.
• Central Tendency (Центральная тенденция): Статистическое описание кластера. Патент указывает, что Cluster Data и Cluster Model могут быть векторами, содержащими элементы среднего значения (mean) и стандартного отклонения (standard deviation) для каждого Feature Value в кластере.
• Cluster Difference (Различие кластеров): Метрика для определения схожести кластеров при их объединении (например, Евклидово расстояние между векторами Central Tendency).
• Model Score (Оценка модели): Метрика схожести между вектором признаков новой страницы и Cluster Model.
• Пороговые значения:
  • Порог размера/пропорции для определения Salient Image.
  • Порог различия для объединения кластеров.
  • Пороговый Model Score для классификации страницы как VLP.

1. Автоматическое определение типа страницы через структурный анализ: Google активно использует структуру сайта и шаблоны верстки (layout) для классификации страниц (в данном случае, Visual Leaf Pages) без ручного обучения (unsupervised learning). Система ищет паттерны в организации контента.
2. Hub Pages как ключ к пониманию структуры: Hub Pages (категории, листинги) используются как отправная точка для идентификации конечных страниц. То, как хаб ссылается на дочерние страницы (через image-based links), является сильным сигналом для бутстрэппинга.
3. Критичность консистентности (Consistency is Key): Механизм основан на вычислении Central Tendency. Это означает, что Visual Leaf Pages одного типа должны иметь схожие признаки (одинаковый шаблон верстки, схожую глубину URL, одинаковый набор метаданных). Неконсистентность затрудняет формирование точных Cluster Models.
4. Специфичный бустинг для визуального поиска: Классификация как VLP не дает автоматического повышения в стандартном веб-поиске. Бустинг применяется целенаправленно, когда система определяет, что пользователь выполняет поиск по картинкам для конкретной активности (шопинг, рецепты).
5. Специфичность моделей для хоста: Модели строятся и применяются индивидуально для каждого хоста. Google не использует универсальный шаблон VLP, а адаптируется к структуре конкретного сайта.

Best practices (это мы делаем)

• Обеспечение максимальной консистентности шаблонов: Страницы одного типа (например, все карточки товаров) должны использовать идентичный шаблон верстки, иметь одинаковый набор функциональных блоков и структурированных данных. Это позволит системе сформировать надежные Cluster Models.
• Использование четкой и логичной архитектуры сайта: Необходимо четко разделять Hub Pages (категории/листинги) и Visual Leaf Pages (товары/рецепты). Hub Pages должны преимущественно ссылаться на однотипные Leaf Pages.
• Активное использование Image-based Internal Linking: Ссылки с Hub Pages на Visual Leaf Pages должны быть реализованы через кликабельные изображения (превью товаров). Это ключевой триггер для анализа, описанного в патенте.
• Оптимизация основного изображения (Salient Image): На Visual Leaf Page главное изображение должно быть самым крупным элементом, располагаться в центральной или верхней части экрана. Если есть галерея, она должна поддерживать функционал «настраиваемого выбора» (customizable selection).
• Внедрение релевантных структурированных данных: Использование Schema.org (Product, Recipe) и Open Graph (og:image) критически важно, так как они явно указаны как используемые Feature Values для кластеризации.
• Поддержание консистентной глубины URL (URL Depth): Страницы одного типа должны иметь схожую глубину URL, так как это также используется как признак для кластеризации.

Worst practices (это делать не надо)

• Использование разных шаблонов для однотипного контента: Если карточки товаров в разных категориях имеют разную верстку или функционал, это размывает Central Tendency и мешает построению моделей.
• Смешивание типов контента в листингах: Если Hub Page ссылается и на товары, и на информационные статьи вперемешку, это затрудняет идентификацию паттерна VLP.
• Использование только текстовых ссылок в листингах: Отсутствие image-based links на Hub Pages может исключить сайт из этого механизма анализа.
• Маленькие или неоптимизированные основные изображения: Если главное изображение товара теряется среди баннеров или другого контента, страница может не быть идентифицирована как VLP.
• Игнорирование структурированных данных: Отсутствие Product/Recipe schema снижает количество доступных признаков для точной кластеризации.

Стратегическое значение

Патент подтверждает, что Google анализирует не только контент страницы, но и её роль в общей структуре сайта, а также используемые шаблоны (layout). Это часть стратегии Google по переходу от анализа ключевых слов к пониманию структуры и интента. Для SEO-специалистов это означает, что техническая оптимизация, архитектура сайта и UX (в части консистентности шаблонов) напрямую влияют на способность Google классифицировать контент и, как следствие, на ранжирование в специфических сценариях, таких как поиск по картинкам.

Практические примеры

Сценарий: Оптимизация E-commerce сайта для VLP-классификации

1. Анализ структуры: Проверяем, что страницы категорий (Hub Pages) ссылаются на карточки товаров (Visual Leaf Pages) преимущественно через кликабельные изображения товаров.
2. Аудит шаблонов PDP (Product Detail Pages): Убеждаемся, что все PDP используют единый шаблон. Проверяем Feature Values:
   • Изображение товара крупное и расположено в центре/слева вверху (Salient Image).
   • Внедрена разметка Schema.org/Product и og:image.
   • Глубина URL консистентна (например, /catalog/category/product-slug).
3. Аудит шаблонов PLP (Product Listing Pages): Убеждаемся, что листинг не выглядит как бесконечная сетка результатов (чтобы не быть принятым за SERP), а является курируемым набором ссылок на VLP (Hub Page).
4. Ожидаемый результат: Google формирует точные Cluster Models для карточек товаров. При запросах с интентом покупки в Google Images эти страницы получают бустинг в ранжировании, что увеличивает визуальную видимость и трафик.