Как Google консолидирует сигналы ранжирования между мобильными и десктопными версиями страниц, используя десктопный авторитет для мобильного поиска

Термины и определения

Mobile Document (Мобильный документ)

Документ, предназначенный или пригодный для отображения на мобильных устройствах. Может определяться по формату (например, WML), doctype, URL или простоте контента.

Non-mobile Document (Немобильный документ)

Документ, предназначенный для стандартных (десктопных) браузеров, часто более сложный по структуре, чем мобильная версия.

Correlation / Correspondence (Корреляция / Соответствие)

Взаимосвязь между двумя документами (мобильным и немобильным), которые содержат одинаковый основной контент, но могут отличаться форматированием.

Correlating Engine (Механизм корреляции)

Компонент системы, отвечающий за идентификацию соответствий между документами. Может включать парсер URL.

Ranking Indicator / Relevance Indicator / Score (Индикатор ранжирования / Индикатор релевантности / Оценка)

Значение, используемое для определения позиции документа в результатах поиска. Может быть основано на популярности (например, PageRank) и/или релевантности запросу.

Back links (Обратные ссылки)

Ссылки с других документов. Ключевой индикатор релевантности и популярности. Патент описывает механизм наследования обратных ссылок немобильного документа мобильной версией.

Activity / Popularity (Активность / Популярность)

Метрика, отражающая уровень взаимодействия с документом (например, количество обратных ссылок или user selections). Используется как показатель достоверности собственных сигналов документа и как условие для наследования прокси-сигналов.

URL Rewriting (Переписывание URL)

Техника поиска коррелирующего документа путем изменения URL мобильного документа (например, удаление /mobile/, замена wap. на www.) и проверки наличия документа по новому адресу.

Ranking Proxy (Прокси ранжирования)

Механизм использования сигналов ранжирования одного документа (немобильного) для определения ранга другого документа (мобильного).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс ранжирования с использованием корреляции документов в ответ на запрос.

1. Система получает запрос.
2. Идентифицируются релевантные документы, включая "определенный документ" (D1, например, мобильный).
3. Система определяет, что D1 соответствует (matches) "другому документу" (D2, например, десктопному).
4. Идентифицируется информация, отражающая ранжирование D2.
5. Оценка (score) для D1 определяется с использованием информации о ранжировании D2.
6. Все релевантные документы ранжируются на основе их оценок (включая унаследованную оценку для D1).
7. Результаты поиска предоставляются в порядке, определенном ранжированием.

Ядро изобретения — использование сигналов ранжирования одного документа в качестве прокси для ранжирования другого, коррелирующего с ним документа.

Claim 4 (Зависимый от 1): Уточняет типы документов.

Определяется, что D2 создан для немобильного устройства, а D1 является версией D2, созданной для мобильного устройства. Этот пункт прямо связывает изобретение с переносом сигналов с десктопной версии на мобильную.

Claim 7 (Зависимый от 1): Уточняет природу наследуемых сигналов.

Определение оценки для D1 основывается на количестве ссылок (number of links) на D2. Это подтверждает, что ссылочный вес (например, PageRank и релевантность на основе анкоров) является ключевым наследуемым фактором.

Claim 8 (Зависимый от 1): Описывает условие применения и взвешивание наследования.

Использование информации о ранжировании D2 взвешивается на основе количества пользовательских выборов (number of user selections, т.е. популярности) D1. Информация о ранжировании D2 используется меньше по мере увеличения популярности D1. Это ключевой механизм: наследование применяется условно. Если мобильный документ становится достаточно авторитетным сам по себе, система начинает больше полагаться на его собственные сигналы.

Где и как применяется

Изобретение применяется на этапах индексирования и ранжирования для обработки и консолидации сигналов.

CRAWLING – Сканирование и Сбор данных
Краулер (Crawler) обнаруживает мобильные и немобильные документы. Собираются данные для корреляции, такие как HTTP-редиректы и ссылки между документами.

INDEXING – Индексирование и извлечение признаков
Основной этап применения механизма.

1. Классификация: Документы классифицируются как мобильные или немобильные.
2. Корреляция: Correlating Engine анализирует URL, контент, ссылки и редиректы для установления связей между парами документов.
3. Расчет оценок: Вычисляются индикаторы релевантности (например, PageRank) и популярности для всех документов.
4. Консолидация сигналов и присвоение оценок: Система определяет, должен ли мобильный документ унаследовать сигналы (back links, score) от немобильной версии, основываясь на их относительной популярности (popularity/activity).

RANKING – Ранжирование
На этом этапе система использует присвоенные (возможно, унаследованные) оценки для сортировки документов в ответ на запрос пользователя. Решение о наследовании может также корректироваться динамически (согласно Claim 8).

Входные данные:

• Необработанные документы и их URL.
• Содержимое документов (для анализа схожести).
• Данные об обратных ссылках (back links) и анкорах.
• HTTP-перенаправления.
• Метрики популярности/активности (например, пользовательские выборы).
• Данные о структуре сайтов (DNS/IP).

Выходные данные:

• Установленные связи (корреляции) между парами документов.
• Присвоенные индикаторы ранжирования (Ranking Indicators) для мобильных документов, консолидированные с сигналами немобильных версий.

На что влияет

• Структура сайтов: Наибольшее влияние оказывается на сайты, использующие отдельные URL для мобильного и десктопного контента (конфигурация Separate URLs, например, m.example.com). Патент не актуален для сайтов с адаптивным дизайном (Responsive Design), где URL и документ идентичны.
• Качество мобильного поиска: Позволяет авторитетным сайтам занимать высокие позиции в мобильной выдаче, даже если их мобильные URL не имеют большого количества прямых обратных ссылок.

Когда применяется

• Условие корреляции: Алгоритм применяется, когда система идентифицирует документ как мобильный И находит соответствующий ему немобильный документ.
• Триггер наследования сигналов: Перенос сигналов активируется, когда собственные сигналы мобильного документа считаются менее надежными или менее сильными, чем сигналы немобильной версии.
• Пороговые значения: Наследование применяется, если популярность (popularity) мобильного документа ниже определенного порога или значительно ниже популярности немобильного аналога. По мере роста популярности мобильного документа зависимость от унаследованных сигналов снижается (Claim 8).

Пошаговый алгоритм

Фаза Индексирования (Препроцессинг)

1. Обнаружение и Классификация: Краулер обнаруживает документ. Система определяет его тип (мобильный/немобильный) по формату, URL, сложности контента.
2. Первичная оценка: Рассчитывается первичный индикатор ранжирования и популярности на основе собственных сигналов документа.
3. Поиск корреляции: Система пытается найти соответствующий документ противоположного типа. Методы включают:
   • Переписывание URL: Удаление мобильных индикаторов из пути (/mobile/, /imode/) или субдомена (wap., m.).
   • Анализ имен файлов: Поиск документа с тем же корнем, но другим расширением (index.wml vs index.html).
   • Анализ ссылок и редиректов: Поиск ссылок между документами или HTTP-перенаправлений.
   • Анализ DNS/IP: Поиск на аффилированных доменах.
4. Верификация корреляции: Если потенциальная корреляция найдена, система проверяет уровень схожести контента (degree-of-similarity) для подтверждения связи.
5. Принятие решения о наследовании: Сравнивается популярность (popularity/activity) мобильного и немобильного документов. Определяется необходимость использования сигналов немобильного документа в качестве прокси.
6. Присвоение оценки мобильному документу: Мобильному документу присваивается финальная оценка (собственная или унаследованная) или наследуются обратные ссылки (back links).

Фаза Обработки Запроса (Ранжирование)

1. Получение запроса и Идентификация совпадений: Поиск релевантных документов в индексе.
2. Получение оценок: Извлечение присвоенных оценок (включая унаследованные).
3. Динамическая корректировка (Опционально): Пересмотр веса унаследованных сигналов на основе актуальных данных о популярности мобильной версии (Claim 8).
4. Ранжирование и предоставление результатов: Документы сортируются на основе итоговых оценок.

Какие данные и как использует

Данные на входе

Система использует широкий спектр факторов для классификации, корреляции и ранжирования.

• Технические факторы:
  • Структура URL и Пути: Наличие индикаторов типа /mobile/, m., wap. используется для URL rewriting.
  • Расширения файлов и Doctype: (например, .wml, .html) используются для классификации.
  • HTTP-перенаправления (Re-directs): Сильный сигнал корреляции.
  • DNS/IP адреса: Для поиска аффилированных источников.
• Контентные факторы:
  • Текст документа: Используется для сравнения схожести (similarity) контента между потенциально коррелирующими документами.
  • Сложность контента: Наличие сложных элементов используется для классификации документа как немобильного.
• Ссылочные факторы:
  • Входящие ссылки (Back links): Количество и качество ссылок на обе версии. Являются основным объектом наследования (Claim 7).
  • Анкорный текст: Анкоры ссылок немобильной версии могут использоваться для расчета релевантности мобильной версии.
  • Внутренние ссылки: Ссылки между мобильной и немобильной версиями используются для установления корреляции.
• Поведенческие факторы:
  • Количество пользовательских выборов (Number of user selections): Упоминается в Claim 8 как метрика популярности документа для определения необходимости наследования сигналов.

Какие метрики используются и как они считаются

• Ranking Indicator / Score: Оценка релевантности и/или популярности. В патенте упоминается, что она может быть основана на back links (например, PageRank).
• Activity / Popularity Level: Метрика, отражающая достоверность Ranking Score. Может основываться на количестве back links или user selections. Используется для сравнения версий и принятия решения о наследовании сигналов.
• Degree-of-similarity: Метрика схожести контента двух документов. Используется для верификации корреляции.

1. Консолидация сигналов является приоритетом: Патент демонстрирует, что Google активно стремится идентифицировать эквивалентный контент, представленный в разных форматах (мобильный/десктопный), и консолидировать их сигналы ранжирования (в частности, back links и PageRank).
2. Множественные методы корреляции: Система использует комбинацию эвристик для установления связи: анализ шаблонов URL (URL rewriting), сравнение контента, отслеживание редиректов и анализ ссылок между версиями.
3. Немобильный веб как источник авторитетности (исторический контекст): Изначально система была разработана для переноса авторитетности с более зрелого десктопного веба на мобильную версию для решения проблемы «холодного старта».
4. Условное и динамическое наследование сигналов: Наследование сигналов не является безусловным. Оно зависит от относительной популярности (popularity/activity) мобильного документа. Если мобильная версия достаточно авторитетна сама по себе, система предпочитает ее собственные сигналы (Claim 8).
5. Критичность контентного паритета: Сравнение контента (degree-of-similarity) используется для верификации корреляции. Существенные различия в основном содержании могут помешать консолидации сигналов.

Best practices (это мы делаем)

Хотя Mobile-First Indexing изменил приоритеты, принципы корреляции и консолидации сигналов, описанные в патенте, остаются критически важными для технического SEO, особенно для конфигурации Separate URLs.

• Обеспечение четких сигналов корреляции (для раздельных URL): Если используются отдельные URL (m-dot), необходимо гарантировать идеальную настройку связей. Используйте rel="alternate" на десктопной странице, указывающий на мобильную, и rel="canonical" на мобильной, указывающий на десктопную. Это помогает Correlating Engine быстро идентифицировать связь.
• Поддержание паритета контента: Обеспечьте идентичность основного контента между мобильной и десктопной версиями. Патент указывает, что система проверяет схожесть контента для подтверждения корреляции. Отсутствие паритета может помешать консолидации сигналов.
• Корректная настройка редиректов: Убедитесь, что редиректы настроены корректно и последовательно для пользователей и поисковых роботов. Редиректы являются сильным сигналом корреляции, упомянутым в патенте.
• Использование стандартных URL-структур: При использовании раздельных URL применяйте предсказуемые структуры (например, m.example.com). Это облегчает работу эвристик URL rewriting, описанных в патенте.
• Применение принципов консолидации: Используйте описанные механизмы как модель для настройки каноникализации в целом. Везде, где есть эквивалентный контент на разных URL, необходимо обеспечить четкие сигналы для консолидации.

Worst practices (это делать не надо)

• Несоответствие контента (Cloaking): Предоставление разного основного контента на URL, которые заявлены как эквивалентные. Система верификации схожести контента обнаружит это несоответствие и не подтвердит корреляцию.
• Противоречивые сигналы корреляции: Создание сложных и противоречивых связей (например, канонические цепочки, петли редиректов). Это затрудняет идентификацию корреляции и консолидацию сигналов.
• Блокировка сканирования одной из версий: Если одна из версий закрыта от сканирования, система не сможет сравнить контент и корректно установить связь или проиндексировать контент (что критично при MFI).
• Отсутствие каноникализации на мобильных URL (для m-dot): Если на мобильной странице отсутствует rel="canonical", указывающий на десктопную версию, сигналы могут остаться фрагментированными.

Стратегическое значение

Этот патент заложил основу для того, как Google обрабатывает экосистему с несколькими версиями контента. Стратегическое значение заключается в понимании, что для Google важен контент и связанные с ним сигналы, а не конкретный URL или формат. Система стремится найти каноническую версию и консолидировать все сигналы вокруг нее. Хотя MFI изменил, какая версия считается основной, сам механизм идентификации связей и консолидации сигналов, детально описанный в этом патенте, остается ядром технической SEO-стратегии.

Практические примеры

Сценарий: Консолидация PageRank для сайта с раздельными URL (m-dot)

1. Ситуация: У компании есть десктопный сайт (www.example.com/page.html) с высоким PageRank и большим количеством обратных ссылок. Существует также мобильная версия (m.example.com/page.html), на которую почти нет прямых внешних ссылок.
2. Задача: Гарантировать, что сигналы ранжирования консолидируются и мобильная версия корректно ранжируется.
3. Действия (на основе патента):
   • Контент: Убедиться, что основной контент на обеих страницах идентичен (позволяет пройти верификацию схожести).
   • Сигналы корреляции: На десктопной странице разместить rel=alternate, указывающий на мобильную. На мобильной странице разместить rel=canonical, указывающий на десктопную. Это помогает механизму корреляции установить связь.
   • Редиректы: Настроить автоматические редиректы пользователей на соответствующую версию.
4. Результат: Система Google идентифицирует корреляцию. Поскольку собственная популярность (activity) мобильной страницы низкая по сравнению с десктопной, система консолидирует back links и Ranking Score. Мобильная страница ранжируется высоко в мобильной выдаче благодаря унаследованному авторитету.