Как Google алгоритмически определяет и верифицирует языковые версии страниц, анализируя ссылки, контент и частоту обновлений

Термины и определения

Document (Документ)

Любой индексируемый ресурс (веб-страница, файл и т.д.).

Measure of Similarity (Мера сходства)

Метрика, определяющая степень совпадения между двумя документами. Используется для верификации. Может рассчитываться на основе сравнения контента (после машинного перевода) или сравнения частоты обновлений.

Relation Indicator (Индикатор связи)

Сигнал, связанный со ссылкой, который указывает на то, что целевой документ является вариантом исходного. Примеры: название языка/региона в анкоре (anchor text), изображение флага, специфические фразы рядом со ссылкой (например, «Select a language»).

Selection Activity (Активность выбора)

Данные о поведении пользователей при взаимодействии со связанными документами (например, как часто они переключаются между версиями). Используются для верификации связи.

Update Frequency (Частота обновлений)

Частота и время внесения изменений в документ. Схожие паттерны обновлений используются как сигнал для верификации связи между документами.

Verification Score (Оценка верификации)

Мера уверенности (measure of confidence) системы в том, что два документа действительно связаны (например, являются переводами). Генерируется на основе процессов верификации.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации и верификации связанных документов.

1. Система идентифицирует в первом документе ссылку (reference) на второй документ.
2. Идентифицируется, что ссылка связана с Relation Indicator.
3. На основе наличия индикатора система определяет, что контент документов связан. Этот шаг определения включает обязательную верификацию:
   • Выполняется машинный перевод первого документа на язык второго документа.
   • Переведенный документ сравнивается со вторым для получения Measure of Similarity.
   • Связь подтверждается, если мера сходства удовлетворяет пороговому значению (particular similarity threshold).
4. Второй документ обрабатывается на основе установленной связи.

Ядром изобретения является комбинация использования сигналов из ссылок и обязательной верификации этой связи через сравнение машинного перевода.

Claim 4 (Зависимый от 1): Описывает применение механизма в поиске (обработка второго документа).

1. Система получает поисковый запрос от клиентского устройства.
2. Идентифицируется, что первый и второй документы релевантны запросу.
3. Определяется язык или регион клиентского устройства.
4. Идентифицируется, что второй документ соответствует этому языку или региону.
5. Обработка заключается в:
   • Предоставлении второго документа в качестве результата поиска.
   • Отказе от предоставления (forgoing presenting) первого документа, основываясь на том, что второй документ соответствует контексту пользователя и связан с первым.

Это механизм подмены результатов в SERP для обеспечения локальной/языковой релевантности.

Claim 6 (Зависимый от 1): Добавляет проверку обратных ссылок. Определение связи также основывается на идентификации ссылки из второго документа на первый (взаимность).

Claim 7 (Зависимый от 1): Добавляет метод верификации через анализ обновлений. Определение связи включает:

1. Идентификацию Update Frequency первого и второго документов.
2. Сравнение частот обновлений для получения меры сходства.
3. Подтверждение связи, если сходство частот обновлений удовлетворяет порогу.

Claim 8 (Зависимый от 1): Добавляет метод верификации через поведение пользователей. Определение связи также основывается на анализе Selection Activity, связанной с этими документами.

Где и как применяется

Изобретение применяется в основном на этапах индексирования и ранжирования для обеспечения корректной обработки мультиязычного контента.

INDEXING – Индексирование и извлечение признаков
Основной этап работы алгоритма. Система (Document identification system) анализирует просканированные документы:

1. Анализ ссылок и индикаторов: Извлекаются исходящие ссылки, анализируются их анкоры, окружающий текст и связанные изображения на наличие Relation Indicators.
2. Определение языка документа.
3. Верификация (Verification): Для пар документов, связанных ссылками с индикаторами, запускаются процессы верификации:
   • Выполняется машинный перевод и сравнение контента.
   • Анализируется история обновлений (Update Frequency) и поведение пользователей (Selection Activity).
4. Расчет и хранение: Вычисляется Verification Score. Если он выше порога, информация о связи между документами сохраняется в индексе (кластеризация версий).

RANKING / RERANKING – Ранжирование и Переранжирование
На этом этапе используются предварительно рассчитанные связи для формирования выдачи.

1. При отборе кандидатов могут быть найдены несколько связанных документов (например, английская и немецкая версии).
2. Система анализирует контекст пользователя (язык запроса, настройки браузера, местоположение).
3. Система приоритезирует ту версию документа из кластера, которая лучше всего соответствует контексту пользователя.
4. Система может активно подавлять (forgo presenting) показ неподходящих версий, даже если они релевантны запросу (Claim 4).

Входные данные:

• Содержимое документов (текст, ссылки, изображения).
• Анкорные тексты и околоссылочный контент.
• История обновлений документов (таймстампы, частота).
• Данные о поведении пользователей (Selection Activity).

Выходные данные:

• Verification Score для пар документов.
• Сохраненные данные о связях между документами (кластеры эквивалентного контента).

На что влияет

• Конкретные типы контента: Влияет на любой контент, существующий в нескольких языковых или региональных версиях (статьи, товары, документация).
• Конкретные ниши или тематики: Наибольшее влияние на международные сайты: e-commerce, сайты глобальных брендов, новостные порталы, информационные ресурсы.
• Языковые и географические ограничения: Напрямую влияет на то, как контент ранжируется в разных странах и на разных языках.

Когда применяется

• Триггеры активации (Индексирование): Обнаружение ссылки, сопровождаемой Relation Indicator.
• Условия применения (Ранжирование): Когда несколько связанных (кластеризованных) документов являются кандидатами на показ по одному запросу и необходимо выбрать лучшую версию для пользователя.
• Пороговые значения: Система использует particular similarity threshold (порог сходства) при сравнении контента или частоты обновлений для подтверждения связи.

Пошаговый алгоритм

Процесс А: Идентификация и верификация связи (Индексирование)

1. Идентификация ссылки: В Документе А обнаруживается ссылка на Документ Б.
2. Обнаружение индикаторов: Система анализирует ссылку на наличие Relation Indicators (анкор, текст рядом, изображение флага). Если индикаторов нет, процесс останавливается для этой пары.
3. (Опционально) Проверка обратной ссылки: Система проверяет, ссылается ли Документ Б на Документ А (Claim 6).
4. Инициация верификации: Запускается расчет Verification Score.
5. Верификация через перевод (Claim 1):
   • Определяются языки Документа А и Документа Б.
   • Документ А переводится на язык Документа Б с помощью машинного перевода.
   • Перевод сравнивается с Документом Б для расчета Measure of Similarity.
6. (Опционально) Верификация через обновления (Claim 7):
   • Анализируется история обновлений Документов А и Б.
   • Сравнивается частота и время обновлений для расчета меры сходства.
7. (Опционально) Верификация через поведение (Claim 8): Анализируется Selection Activity пользователей.
8. Принятие решения: Система агрегирует результаты верификации. Если итоговая мера сходства превышает similarity threshold, связь подтверждается.
9. Сохранение: Информация о связи между А и Б сохраняется в индексе.

Процесс Б: Применение связи (Ранжирование)

1. Получение запроса: Пользователь вводит запрос.
2. Определение контекста: Идентифицируется язык и/или регион пользователя.
3. Отбор кандидатов: Система находит релевантные документы, включая Документы А и Б.
4. Проверка связей: Система идентифицирует, что А и Б связаны (на основе данных из Процесса А).
5. Выбор версии: Система определяет, какая версия лучше соответствует контексту пользователя (например, Документ Б).
6. Формирование выдачи: Документ Б включается в результаты поиска. Система принимает решение об отказе от показа (forgoing presenting) Документа А (Claim 4).

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документа используется для определения языка, машинного перевода и сравнения. Околоссылочный текст используется для поиска Relation Indicators.
• Ссылочные факторы: Исходящие и обратные ссылки между документами. Анкорные тексты анализируются как ключевые Relation Indicators.
• Временные факторы: История обновлений страницы (Update Frequency, таймстампы изменений). Используется для верификации эквивалентности контента.
• Мультимедиа факторы: Изображения (например, флаги), связанные со ссылкой или расположенные рядом. Могут анализироваться имена файлов изображений (например, «GermanyFlag.gif»).
• Поведенческие факторы: Selection Activity – данные о том, как пользователи реагируют на предложенные переводы или переключаются между версиями.
• Географические и Пользовательские факторы: Язык и регион пользователя (используются на этапе ранжирования для выбора подходящей версии).

Какие метрики используются и как они считаются

• Relation Indicator (Наличие): Детектирование ключевых слов (названия языков/стран), фраз или изображений вблизи ссылки или в ее анкоре.
• Measure of Similarity (Content): Метрика сходства между машинным переводом первого документа и вторым документом. Рассчитывается путем сравнения текста или сущностей (entities).
• Measure of Similarity (Updates): Метрика сходства паттернов обновления двух документов (например, насколько близки по времени происходят изменения).
• Verification Score: Агрегированная оценка уверенности в связи, основанная на мерах сходства и других сигналах (наличие обратных ссылок, поведенческие данные).
• Similarity threshold: Пороговое значение, которое должна превысить Measure of Similarity или Verification Score для подтверждения связи.

1. Алгоритмическое обнаружение локализованного контента: Google активно ищет и идентифицирует мультиязычные и мультирегиональные версии контента, анализируя естественные ссылки на странице (переключатели языков). Система не полагается только на явную разметку (типа hreflang).
2. Критичность индикаторов связи: Способ представления ссылки (анкор, изображение флага, окружающий текст) имеет решающее значение для запуска процесса идентификации. Неоднозначные ссылки могут быть проигнорированы.
3. Обязательная валидация эквивалентности: Google не доверяет индикаторам слепо. Патент подчеркивает обязательный этап верификации (Verification Score). Ключевой метод валидации (Claim 1) — машинный перевод и сравнение контента. Если контент не эквивалентен, связь не будет установлена.
4. Синхронность обновлений как сигнал связи: Документы, которые обновляются одновременно или с минимальной задержкой (Update Frequency), с большей вероятностью будут признаны связанными версиями одного контента (Claim 7).
5. Цель – дедупликация выдачи: Основное применение механизма в поиске — гарантировать, что пользователь увидит только наиболее подходящую версию контента. Система готова активно подавлять (forgo presenting) другие версии, чтобы избежать дублирования и каннибализации (Claim 4).

Best practices (это мы делаем)

• Явные и сканируемые переключатели языков: Используйте прямые HTML-ссылки (<a href>) для связи между языковыми версиями. Это необходимо для того, чтобы система могла обнаружить ссылку (Claim 1).
• Оптимизация индикаторов связи (Relation Indicators):
  • Используйте четкие анкорные тексты. Рекомендуется указывать название целевого языка на самом этом языке (например, «Deutsch», а не «German»).
  • Если используются изображения (флаги), убедитесь, что они явно связаны со ссылкой и имеют понятные ALT-атрибуты или имена файлов. Патент явно упоминает флаги как индикаторы (Claim 2).
• Обеспечение эквивалентности контента: Убедитесь, что связанные страницы действительно являются переводами друг друга. Поскольку система использует машинный перевод для верификации (Claim 1), значительные расхождения в содержании приведут к низкому Verification Score, и связь не будет установлена.
• Поддержание актуальности всех версий: Старайтесь обновлять контент на разных языках синхронно. Патент указывает (Claim 7), что схожая частота и время обновлений используются для подтверждения связи.
• Реализация обратных ссылок: Убедитесь, что все языковые версии ссылаются друг на друга. Наличие обратной ссылки является дополнительным фактором верификации (Claim 6).

Worst practices (это делать не надо)

• Использование неявных переключателей: Реализация переключения языка только через JavaScript, cookies или выпадающие списки без прямых сканируемых ссылок помешает работе описанного механизма.
• Неоднозначные анкоры: Использование анкоров типа «Другой язык» или «Click here» без явного контекста снижает эффективность обнаружения Relation Indicators.
• Ссылки на неэквивалентный контент: Ссылка с конкретной статьи на одном языке на главную страницу другого языка (вместо перевода этой же статьи). Такая связь не пройдет верификацию через сравнение контента.
• Значительное расхождение версий: Наличие устаревшего контента на одной из языковых версий при актуальном контенте на другой. Это негативно повлияет на верификацию через анализ обновлений (Claim 7).

Стратегическое значение

Патент подтверждает стратегию Google по кластеризации эквивалентного контента для улучшения качества глобального поиска. Для SEO это означает, что корректная техническая реализация мультиязычности критична для предотвращения каннибализации трафика между разными версиями сайта и обеспечения ранжирования нужной версии в соответствующем регионе. Хотя hreflang остается стандартом, этот патент показывает, что Google имеет надежные механизмы для самостоятельного определения и верификации связей, основываясь на анализе контента, ссылок и паттернов обновлений.

Практические примеры

Сценарий: Оптимизация переключателя языков для алгоритмического обнаружения

Сайт имеет английскую и немецкую версии. Необходимо убедиться, что Google корректно идентифицирует связь между ними, используя механизмы из патента.

Плохая реализация: Переключатель реализован выпадающим списком через JavaScript, прямые ссылки отсутствуют. Анкоры не используются.

Оптимизированная реализация (соответствует патенту):

<div class="language-selector"> <p>Read this page in:</p> <ul> <li><a href="/de/page.html">Deutsch</a></li> <li><a href="/fr/page.html">Français</a></li> </ul> </div> 

Преимущества:

1. Фраза «Read this page in:» выступает как сильный околоссылочный Relation Indicator.
2. Анкоры «Deutsch» и «Français» являются явными названиями языков (сильные Relation Indicators).
3. Наличие прямых HTML-ссылок обеспечивает сканируемость.

Такая реализация облегчает Google обнаружение и верификацию связей между версиями, что обеспечивает корректный показ в международной выдаче.