Как Google анализирует неявные признаки контента для определения его формата и удобства использования на мобильных устройствах

Описание

Какую задачу решает

Патент решает проблему ненадежности явных деклараций формата документа (таких как DOCTYPE, заголовки Content-Type). Авторы часто некорректно кодируют документы или серверы неверно сконфигурированы. Это приводит к тому, что пользователи мобильных устройств получают контент, который технически несовместим или практически непригоден для использования (неюзабелен) на их устройствах. Изобретение направлено на создание надежного метода автоматической классификации формата и юзабилити контента.

Что запатентовано

Запатентована система классификации электронного контента, которая определяет формат документа (например, HTML, WML, XHTML) и его пригодность для отображения (Displayability) на определенных типах устройств. Ключевая особенность системы — способность делать выводы, анализируя Implicit identifying features (неявные признаки, такие как используемые теги, структура, сложность), а не полагаясь исключительно на Explicit features (явные декларации). Система рассчитывает Confidence Rating для своей классификации.

Как это работает

Система работает преимущественно на этапе индексирования:

• Сбор данных: Краулер (Crawler) получает электронный документ.
• Извлечение признаков: Классификатор контента (Content Classifier) парсит документ для извлечения явных и неявных признаков (теги, размер, количество изображений/таблиц).
• Определение формата: Система анализирует признаки с помощью эвристических правил или машинного обучения (Machine Learning), чтобы определить реальный формат контента.
• Оценка пригодности (Displayability): Система оценивает, будет ли контент не просто технически отображаться, но и будет ли он *юзабельным* (usable) на конкретном устройстве.
• Индексирование: Результаты классификации (формат, совместимые устройства, Confidence Rating) сохраняются в индексе.
• Поиск: При получении запроса система использует информацию о типе устройства пользователя для фильтрации индекса, возвращая только совместимый и удобный контент.

Актуальность для SEO

Высокая. Хотя конкретные форматы, упомянутые в патенте (WML, cHTML), устарели, сама методология критически важна для современного поиска. В эпоху Mobile-First Indexing способность Google точно оценивать юзабилити контента с помощью неявных признаков (таких как производительность, верстка, UX, которые лежат в основе Core Web Vitals) является фундаментальной.

Важность для SEO

Патент имеет высокое значение для SEO (8/10). Он описывает основополагающий механизм, позволяющий Google оценивать реальную пригодность страницы для мобильных устройств (Displayability), которая включает юзабилити, а не только техническую валидность. Если система классифицирует страницу как непригодную для использования на мобильных устройствах, основываясь на неявных признаках (сложность, размер, структура), эта страница может быть исключена из мобильной выдачи или понижена в ранжировании.

Детальный разбор

Термины и определения

Confidence Rating (Рейтинг уверенности)

Числовая оценка (например, от 0.0 до 1.0), отражающая уровень уверенности системы в правильности классификации формата документа и его пригодности для отображения. Может использоваться для ранжирования.

Content Classifier (Классификатор контента)

Компонент системы, который анализирует признаки документа для определения его формата и пригодности для отображения на различных устройствах.

Displayability (Пригодность для отображения / Юзабилити)

Оценка того, может ли контент быть отображен на определенном устройстве. Патент подчеркивает, что это не только техническая совместимость, но и практическая юзабилити (usability). Документ может быть технически отображаемым, но классифицирован как непригодный, если он неудобен для использования (например, слишком широкий).

Document Features (Признаки документа)

Любое свойство документа, метаинформация (HTTP-заголовки, URL), содержимое, теги и информация, полученная из связанных документов. Делятся на явные и неявные.

Document Score (Оценка документа)

Составная оценка, рассчитанная на основе множества признаков документа, используемая для определения его пригодности для отображения.

Explicit features (Явные признаки)

Признаки, чья основная цель — идентифицировать тип документа. Примеры: заголовки Content-Type, декларация DOCTYPE, расширения файлов. Отмечается, что они часто ненадежны.

Implicit identifying features (Неявные идентифицирующие признаки)

Признаки документа, которые коррелируют с типом файла, но не предназначены для его явной идентификации. Примеры: функциональные теги (<wml>, <html>), атрибут accesskey, количество изображений, таблиц, размер документа.

Machine learning (Машинное обучение)

Методы (нейронные сети, деревья решений и т.д.), используемые для генерации и улучшения правил классификации на основе обучающего набора предварительно размеченных документов.

Normative Documents (Эталонные документы)

Набор документов, выбранных как представители определенного формата или стиля. Признаки анализируемого документа сравниваются с признаками эталонных документов для классификации.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод классификации контента.

1. Получение электронного документа.
2. Идентификация одного или нескольких признаков документа.
3. Анализ идентифицированных признаков для определения формата контента. Ключевой момент: определяемый формат *подразумевается* (implied) индикаторами, предоставляемыми этими признаками.
4. Определение того, может ли контент быть отображен на идентифицированном типе вычислительного устройства, основываясь на определенном формате.

Ядром изобретения является использование *неявных* признаков для определения реального формата контента и последующая оценка его пригодности для конкретных устройств.

Claim 3 (Зависимый от 1): Уточняет, что анализ признаков может выполняться системой машинного обучения (machine learning system).

Claim 11 (Зависимый от 1): Уточняет процесс определения пригодности.

Определение пригодности включает расчет Confidence Rating, который основан на уровне уверенности в том, что контент может быть отображен на данном типе устройства.

Claim 12 (Зависимый от 11): Описывает использование классификации в поиске.

Создается запись в индексе, указывающая на отображаемость документа. Эта запись ранжируется (ranked) в поисковом индексе (предположительно, с учетом Confidence Rating).

Claim 20 (Независимый пункт): Описывает метод, основанный на скоринге.

1. Получение документа.
2. Идентификация множества признаков документа.
3. Расчет Document Score на основе этого множества признаков.
4. Определение пригодности отображения на устройстве на основе этого Document Score.

Этот метод фокусируется на агрегации различных признаков (например, сложности, размера, наличия определенных элементов) в единую оценку для принятия решения о юзабилити.

Где и как применяется

Изобретение применяется на нескольких ключевых этапах поисковой архитектуры для обеспечения совместимости контента с устройствами пользователя.

CRAWLING – Сканирование и Сбор данных
Crawler получает документы. В патенте упоминается два аспекта:

1. Краулер может отправлять запросы с разными заголовками User-Agent и/или Accept, чтобы получить разные версии документа.
2. Content Classifier может влиять на решение краулера о переходе по ссылкам. Если документ классифицирован как мобильный (даже с низкой уверенностью, но выше определенного порога), краулинг может быть продолжен для поиска дополнительного мобильного контента.

INDEXING – Индексирование и извлечение признаков
Это основной этап применения патента. Content Classifier работает здесь.

• Парсинг: Документ парсится для извлечения Document Features (явных и неявных).
• Классификация: Применяются правила (эвристики или ML) для определения формата и Displayability (включая юзабилити).
• Скоринг: Рассчитываются Document Score и Confidence Rating.
• Сохранение: Аннотации о формате, совместимости с мобильными устройствами (вплоть до конкретных моделей) и рейтинге уверенности сохраняются в Index.

RANKING / RERANKING – Ранжирование и Переранжирование
На этапе формирования выдачи Search Engine использует данные из индекса.

• Фильтрация: Система использует информацию о типе устройства пользователя для фильтрации результатов, исключая контент, классифицированный как непригодный (not displayable) для этого устройства.
• Ранжирование: Confidence Rating может использоваться как сигнал для ранжирования результатов.

Входные данные:

• Сырой электронный документ (HTML, WML и т.д.) и его метаданные (HTTP-заголовки, URL).
• Наборы правил или модели ML для классификации.
• (Во время поиска) Информация об устройстве пользователя.

Выходные данные:

• Аннотированная запись в индексе: определенный формат, индикатор мобильного контента, список совместимых устройств (Compatible Devices), Confidence Rating.

На что влияет

• Конкретные типы контента и устройств: В первую очередь влияет на отображение веб-контента на мобильных устройствах (телефоны, КПК).
• Определенные форматы контента: Влияет на страницы со сложной структурой, большим количеством изображений, таблиц или активного контента (упоминаются Flash, апплеты), которые могут быть классифицированы как непригодные для мобильных устройств из-за низкой юзабилити, даже если формат технически поддерживается.

Когда применяется

• При каких условиях работает алгоритм: Алгоритм классификации применяется к каждому документу в процессе его индексирования.
• Триггеры активации: Анализ неявных признаков активируется для верификации явных идентификаторов или когда они отсутствуют. Фильтрация результатов активируется при получении поискового запроса от устройства с известными ограничениями.
• Пороговые значения: Используются пороги для Confidence Rating. Например, один порог для включения документа в индекс, и другой (более низкий) порог для разрешения краулеру следовать по ссылкам из документа.

Пошаговый алгоритм

Процесс А: Классификация контента при индексировании

1. Получение документа: Система получает электронный документ от краулера.
2. Проверка явных идентификаторов: Система проверяет наличие Explicit features (DOCTYPE, Content-Type).
3. Парсинг и извлечение признаков: Система парсит документ для извлечения Implicit identifying features — тегов, структуры, размера, количества объектов и т.д.
4. Определение формата (Inference): Система применяет набор правил (ruleset), модель машинного обучения или сравнение с эталонными документами (Normative Documents) к признакам. Формат определяется на основе подразумеваемых (implied) индикаторов.
5. Оценка пригодности (Displayability Assessment): Система анализирует определенный формат и другие признаки (сложность, размер), чтобы определить, будет ли контент юзабельным (usable) на целевых устройствах. Это может включать расчет составной оценки Document Score.
6. Расчет уверенности: Система вычисляет Confidence Rating для своей классификации.
7. Обновление индекса: В индекс добавляется запись с указанием формата, совместимых устройств и рейтинга уверенности.
8. (Опционально) Решение о краулинге: На основе классификации и порога уверенности принимается решение о переходе по ссылкам.

Процесс Б: Обработка поискового запроса

1. Получение запроса и типа устройства: Система получает запрос и информацию об устройстве пользователя (модель, браузер).
2. Поиск и Фильтрация: Поисковая система ищет релевантные записи и фильтрует их, проверяя совместимость с устройством пользователя на основе данных классификации в индексе.
3. Ранжирование и возврат результатов: Результаты ранжируются (возможно, с учетом Confidence Rating) и возвращаются пользователю. Система может также принять решение о показе измененной версии контента (Display Altered), если оригинал не отображаем, но может быть адаптирован (alterable).

Какие данные и как использует

Данные на входе

Система использует широкий спектр признаков документа (Document Features):

Явные признаки (Explicit Features):

• Технические факторы: HTTP-заголовки (Content-Type), расширение файла.
• Контентные факторы: Декларация DOCTYPE.

Неявные признаки (Implicit Features):

• Контентные факторы: Наличие функциональных тегов (<html>, <wml>). Атрибуты тегов (например, accesskey для быстрого доступа с клавиатуры). Язык документа, специфические кодировки.
• Мультимедиа факторы: Количество и размер изображений. Наличие активного контента (упоминаются Flash, апплеты).
• Структурные факторы: Количество таблиц и их свойства (сложность). Использование стилей (stylesheets) и скриптов.
• Технические факторы: Общий размер документа (Document size).

Какие метрики используются и как они считаются

• Document Score: Составная метрика, рассчитываемая на основе взвешивания множества признаков. Например, наличие сложных таблиц или больших изображений может уменьшать оценку пригодности для мобильных устройств. Явные признаки могут иметь больший вес, но неявные могут их переопределить.
• Confidence Rating: Метрика (от 0.0 до 1.0), оценивающая вероятность того, что классификация формата и пригодности верна. Используется для фильтрации и ранжирования.
• Методы анализа и расчета:
  • Эвристические правила (Heuristic rules): Применение заранее определенных правил (if/then) к извлеченным признакам.
  • Машинное обучение (Machine Learning): Использование алгоритмов (упоминаются нейронные сети, деревья решений, байесовское обучение) для автоматической генерации правил классификации на основе обучающей выборки.
  • Сопоставление с эталонами (Normative Documents): Сравнение признаков документа с эталонными документами, представляющими определенные форматы.

Выводы

1. Приоритет неявных признаков над явными декларациями: Основная идея патента — не доверять явным декларациям (DOCTYPE) и использовать анализ реального содержимого и структуры (неявные признаки) для определения истинного формата контента. Это позволяет системе справляться с некорректным кодом и неверными настройками серверов.
2. Юзабилити (Usability) является частью совместимости (Displayability): Критически важный вывод. Displayability означает не только техническую возможность отображения, но и практическое удобство использования. Документ может соответствовать стандарту, но быть классифицирован как непригодный, если он слишком сложный, большой или неудобный для навигации (например, слишком широкий).
3. Гранулярная классификация и фильтрация выдачи: Система классифицирует контент на уровне конкретных моделей устройств и версий браузеров и использует эту информацию для жесткой фильтрации поисковой выдачи, гарантируя пользователю совместимый опыт.
4. Использование машинного обучения для оценки качества: Патент предполагает использование ML для анализа сложных комбинаций признаков и генерации правил классификации, что позволяет системе адаптироваться к эволюции веба и автоматически оценивать юзабилити в масштабах веба.
5. Вероятностная оценка (Confidence Rating) в ранжировании: Система не просто классифицирует контент (Да/Нет), но и присваивает рейтинг уверенности. Этот рейтинг (как указано в Claim 12) может использоваться как сигнал ранжирования в мобильной выдаче.

Практика

Best practices (это мы делаем)

Хотя технологии, описанные в патенте (WML), устарели, его принципы лежат в основе современного мобильного SEO и Mobile-First Indexing.

• Фокус на реальном юзабилити (UX) и производительности: Необходимо обеспечить, чтобы сайт был действительно удобен на мобильных устройствах. Патент подтверждает, что Google программно оценивает юзабилити (Displayability) через неявные признаки: простоту структуры, оптимизированный размер ресурсов, отсутствие проблем с шириной контента. Это подчеркивает важность Core Web Vitals и адаптивного дизайна.
• Оптимизация структуры и сложности контента: Уменьшайте сложность верстки и вес ресурсов. Патент явно указывает, что количество таблиц, изображений и общий размер страницы анализируются как неявные признаки. Сложные и тяжелые страницы могут быть классифицированы как not displayable (неюзабельные).
• Чистый, валидный и семантичный код: Используйте стандартный HTML5. Чистая структура помогает классификатору корректно интерпретировать неявные признаки и подтверждает соответствие стандартам, что является одним из факторов анализа.
• Тестирование на реальных устройствах: Учитывая, что система может классифицировать контент на уровне конкретных моделей, важно проводить широкое тестирование, чтобы гарантировать положительные сигналы юзабилити для всех целевых устройств.

Worst practices (это делать не надо)

• Игнорирование производительности и размера страницы: Создание тяжелых страниц с большим количеством неоптимизированных ресурсов. Это прямые неявные признаки, которые система использует для классификации страницы как непригодной для мобильных устройств.
• Чрезмерно сложная верстка и горизонтальная прокрутка: Использование сложных таблиц для верстки или элементов с фиксированной шириной. Патент прямо указывает, что слишком широкий контент приводит к негативной классификации Displayability.
• Полагаться только на техническую валидацию: Считать, что если страница проходит валидатор или имеет тег viewport, то она автоматически считается мобильно-пригодной. Патент доказывает, что Google оценивает реальное удобство использования, которое шире технической валидности.
• Использование несовместимых технологий: Использование плагинов (в патенте упомянуты Flash, апплеты) или других элементов, которые не поддерживаются современными мобильными браузерами.

Стратегическое значение

Этот патент является фундаментальным для понимания подхода Google к мобильному поиску и эволюции к Mobile-First Indexing. Он подтверждает, что оценка пригодности для мобильных устройств — это сложный процесс, основанный на анализе множества неявных сигналов юзабилити, а не просто бинарная проверка. Стратегически это означает, что техническое SEO и UX неразделимы. Долгосрочная стратегия должна фокусироваться на создании быстрого, чистого и удобного интерфейса, так как именно эти характеристики программно оцениваются системой для определения Displayability и, следовательно, видимости в мобильном поиске.

Практические примеры

Сценарий: Классификация страницы интернет-магазина и влияние на мобильную выдачу

1. Ситуация: Страница товара имеет валидный HTML5 код и тег viewport (явные признаки мобильной версии). Однако на странице присутствуют 10 неоптимизированных изображений общим весом 8 МБ и сложная таблица характеристик, вызывающая горизонтальную прокрутку (неявные признаки).
2. Действие системы (Индексирование): Content Classifier анализирует признаки. Из-за большого веса контента и сложности структуры (широкая таблица) Document Score для мобильной юзабилити оказывается низким. Система классифицирует страницу как not displayable (неюзабельную) для мобильных устройств.
3. Действие системы (Поиск): Пользователь ищет товар со смартфона.
4. Результат для SEO: Система фильтрует результаты поиска. Несмотря на релевантность контента, данная страница исключается из мобильной выдачи или сильно понижается, так как она классифицирована как непригодная для устройства пользователя. В топ попадают более легкие и адаптивные страницы конкурентов.

Вопросы и ответы