Как Google статистически определяет сайты, которые «ломают» фреймы (Frame Busting), и использует это в ранжировании

Описание

Какую задачу решает

Патент решает задачу автоматической и масштабируемой идентификации веб-сайтов или страниц, использующих технику Frame Busting (или Breaking Frames). Эта техника применяется для предотвращения отображения контента сайта внутри фрейма (например, iframe) на чужом домене. Проблема для поисковой системы (например, Поиска по картинкам) заключается в том, что она может использовать промежуточную страницу (Container Webpage), отображающую целевой сайт во фрейме (Child Webpage) и предоставляющую дополнительные опции. Если целевой сайт «ломает» фрейм, он занимает все окно браузера, скрывая интерфейс поисковой системы и нарушая пользовательский опыт (UX).

Что запатентовано

Запатентован метод автоматического обнаружения сайтов, ломающих фреймы, основанный на статистическом анализе поведения пользователей, а не на анализе кода страниц. Система изучает логи взаимодействий: сравнивает количество показов сайта во фрейме с количеством последующих взаимодействий пользователя с обрамляющей страницей-контейнером. На основе этого соотношения вычисляется Frame Break Score.

Как это работает

Механизм основан на предположении, что если сайт ломает фрейм, у пользователя не остается времени или возможности взаимодействовать с элементами страницы-контейнера.

• Сбор данных: Система логирует два показателя: (1) сколько раз сайт был показан во фрейме (First Value) и (2) сколько раз пользователи взаимодействовали с контейнером после этого показа (Second Value).
• Анализ: Вычисляется Frame Break Score, обычно как отношение (2) к (1).
• Классификация: Если Frame Break Score аномально низкий (ниже порога или статистически является выбросом), система классифицирует сайт как ломающий фреймы.
• Применение: Эта классификация может использоваться для изменения ранжирования контента (например, изображений) или для изменения способа его отображения (например, отказ от фрейма).

Актуальность для SEO

Средняя. Хотя использование фреймов для отображения целевых сайтов в интерфейсе Google Images изменилось с момента подачи патента, сама методология использования статистического анализа поведения пользователей для выявления технических особенностей или враждебного поведения сайтов остается крайне актуальной для Google. Механизм применим в любых вертикалях, где используется встраивание контента.

Важность для SEO

Влияние на SEO является специфичным (4/10), в основном затрагивая Поиск по картинкам. Патент прямо указывает (в частности, в Claim 4), что идентификация сайта как ломающего фреймы может использоваться для определения оценки изображения (Image Score) в ответ на поисковый запрос. Это означает, что использование Frame Busting может служить негативным сигналом ранжирования в Google Images. Кроме того, Google может изменить способ отображения результатов для таких сайтов.

Детальный разбор

Термины и определения

Child Webpage (Дочерняя веб-страница)

Страница стороннего веб-сайта, которая отображается внутри фрейма на странице-контейнере. Например, страница с изображением.

Container Webpage (Страница-контейнер)

Промежуточная страница (landing page), предоставляемая поисковой системой. Содержит фрейм для отображения Child Webpage, а также собственные элементы интерфейса и ссылки.

Frame Busting / Breaking Frames (Разрушение фреймов)

Техника (обычно JavaScript на Child Webpage), которая определяет загрузку внутри фрейма и принудительно устанавливает страницу как верхний уровень в окне браузера, «вырываясь» из Container Webpage.

Frame Break Score (Оценка разрушения фреймов)

Метрика, рассчитываемая для Child Webpage или сайта. Обычно это отношение количества взаимодействий с Container Webpage к количеству показов Container Webpage. Низкий показатель указывает на вероятность Frame Busting.

Image Score (Оценка изображения)

Внутренняя оценка изображения для ранжирования. Согласно патенту, идентификация Frame Busting может влиять на эту оценку.

Logger (Логгер)

Компонент (например, скрипт на Container Webpage или функциональность браузера), который фиксирует и передает данные о взаимодействиях пользователя с Container Webpage.

User Interaction Data (Данные о взаимодействии пользователя)

Информация о действиях пользователя (клики, выбор опций) с элементами Container Webpage (не с контентом внутри фрейма).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод идентификации.

1. Система определяет первое значение (First Value): количество показов, когда Child Webpage была представлена внутри фрейма на Container Webpage.
2. Система определяет второе значение (Second Value): количество взаимодействий пользователя с самой Container Webpage.
3. Вычисляется Frame Break Score для Child Webpage на основе первого и второго значений.
4. Frame Break Score сравнивается с пороговым значением.
5. На основе сравнения Child Webpage идентифицируется как страница, которая ломает фреймы.

Claim 3 (Зависимый от 1): Детализирует масштаб применения.

Если Child Webpage идентифицирована как ломающая фреймы, то весь веб-сайт, связанный с этой Child Webpage, определяется как сайт, который ломает фреймы. Это указывает на применение оценки на уровне хоста (site-level).

Claim 4 (Зависимый от 1): Описывает применение изобретения в ранжировании (Критически важно для SEO).

Система определяет оценку (score) для изображения в ответ на поисковый запрос, основываясь на том, что Child Webpage (где размещено изображение) была идентифицирована как ломающая фреймы. Это прямое указание на использование Frame Busting как сигнала ранжирования в Поиске по картинкам.

Claim 5 (Зависимый от 1): Определяет метод расчета оценки.

Frame Break Score рассчитывается как отношение второго значения (взаимодействия) к первому значению (показы).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, в основном связанных с вертикалью Поиска по картинкам.

INDEXING – Индексирование и извлечение признаков
После анализа логов результат классификации (ломает фреймы или нет) может быть сохранен в индексе и ассоциирован с конкретными страницами или сайтом как статический признак ресурса.

RANKING – Ранжирование
На этапе ранжирования изображений система может использовать сохраненную информацию о Frame Busting как один из сигналов для расчета Image Score (Claim 4). Если сайт помечен как ломающий фреймы, его изображения могут получить скорректированный (пониженный) рейтинг.

METASEARCH и RERANKING (Отображение результатов и Сбор данных)
Этот этап критичен для работы механизма.

1. Отображение: Когда пользователь кликает на результат, система решает, как его отобразить. Если сайт не помечен, пользователю показывается Container Webpage с фреймом. Если помечен, система может направить пользователя напрямую на Child Webpage.
2. Сбор данных: Когда Container Webpage загружается, активируется Logger для сбора User Interaction Data. Эти данные передаются на сервер для последующего анализа.

Входные данные:

• Количество показов (First Value) конкретной Child Webpage внутри Container Webpage.
• Данные о взаимодействиях пользователя (Second Value) с элементами Container Webpage.

Выходные данные:

• Frame Break Score для страницы или сайта.
• Классификация (Yes/No): ломает ли страница/сайт фреймы.
• Скорректированный Image Score (использующий классификацию как сигнал).

На что влияет

• Конкретные типы контента и Вертикали: В первую очередь влияет на изображения и страницы, которые открываются через сервисы, использующие промежуточные страницы с фреймами. В патенте явно упоминается Image Search Engine.
• Конкретные ниши или тематики: Ниши, где владельцы сайтов активно препятствуют встраиванию их контента (например, фотобанки, новостные порталы).

Когда применяется

• Условия работы алгоритма (Сбор данных): Алгоритм сбора данных активируется, когда контент сайта отображается пользователю внутри фрейма на промежуточной странице Google.
• Частота применения (Анализ): Анализ логов и пересчет Frame Break Score происходит периодически (офлайн) на основе накопленных статистических данных. Применение результатов в ранжировании происходит в реальном времени.

Пошаговый алгоритм

Процесс А: Сбор данных (Real-time)

1. Предоставление контента: Поисковая система передает клиенту Container Webpage, содержащую фрейм с Child Webpage и собственные элементы управления.
2. Логирование показа: Система фиксирует факт передачи (увеличивается First Value).
3. Мониторинг взаимодействий: Logger на стороне клиента отслеживает действия пользователя с элементами Container Webpage.
4. Логирование взаимодействий: Если пользователь взаимодействует с Container Webpage, Logger передает эту информацию (увеличивается Second Value). Если Child Webpage немедленно ломает фрейм, взаимодействие не происходит.

Процесс Б: Анализ и Классификация (Офлайн)

1. Агрегация данных: Система (Log Analysis Component) агрегирует данные из логов (First Value и Second Value) по отдельным страницам или сайтам.
2. Расчет Frame Break Score: Вычисляется оценка, например, как отношение Second Value к First Value.
3. Классификация: Система определяет, ломает ли страница/сайт фреймы. Патент упоминает два подхода:
   1. Метод порогов: Frame Break Score сравнивается с порогом. Если оценка ниже порога, страница/сайт помечается.
   2. Статистический метод: Используются методы статистической классификации для выявления выбросов (outliers) с аномально низким уровнем взаимодействия.
4. Сохранение результата: Результат классификации сохраняется и ассоциируется с сайтом или страницей.

Процесс В: Применение (Real-time)

1. Ранжирование: При расчете Image Score система учитывает сохраненную классификацию Frame Busting как один из сигналов.
2. Отображение результатов: При клике пользователя система проверяет классификацию и принимает решение о способе отображения (использовать Container Webpage или перенаправить напрямую).

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на анализе логов и поведенческих данных для выявления технической особенности сайта.

• Поведенческие факторы: Ключевые данные — это взаимодействия пользователей (клики, выбор опций) исключительно с элементами Container Webpage. Отсутствие этих взаимодействий является основным сигналом.
• Технические факторы (косвенно): Система косвенно определяет наличие функционала Frame Busting (например, JavaScript кода, проверяющего if (top != self)) на Child Webpage через анализ поведения, но не анализирует исходный код сайта напрямую.

Какие метрики используются и как они считаются

• First Value (Количество показов): Счетчик того, сколько раз Container Webpage с определенной Child Webpage была предоставлена пользователям.
• Second Value (Количество взаимодействий): Счетчик того, сколько раз пользователи взаимодействовали с элементами Container Webpage.
• Frame Break Score: Основная вычисляемая метрика. Рассчитывается как отношение: Frame Break Score = Second Value / First Value.
• Threshold (Порог): Значение, с которым сравнивается Frame Break Score для классификации. Может быть задан вручную или определен автоматически.
• Статистические методы и Классификация: Патент упоминает возможность использования различных методов статистической классификации помимо простого сравнения с порогом. К ним относятся кластеризация (clustering techniques), деревья решений (decision trees), байесовские сети (Bayesian networks), машины опорных векторов (support vector machines) и нейронные сети (neural networks).

Выводы

1. Поведенческий анализ для технических задач: Google использует статистический анализ поведения пользователей как эффективный и масштабируемый метод для выявления конкретных технических реализаций (Frame Busting) на сторонних сайтах без необходимости анализа их кода.
2. Frame Busting как негативный сигнал ранжирования: Патент явно подтверждает (Claim 4), что идентификация сайта как «ломающего фреймы» используется при расчете Image Score. Это подразумевает, что действия сайта, направленные на нарушение UX в интерфейсе Google, могут вести к пессимизации в соответствующих вертикалях.
3. Масштаб оценки (Страница vs Сайт): Анализ проводится на уровне страниц (Child Webpage), но результат может быть применен ко всему сайту (Claim 3). Если страница ломает фрейм, весь сайт может быть классифицирован соответствующим образом.
4. Гибкость реагирования: Система может реагировать как корректировкой ранжирования, так и изменением способа отображения результата (отказом от использования фрейма для данного сайта).

Практика

Best practices (это мы делаем)

• Отказ от JavaScript Frame Busting: Основная рекомендация – не использовать агрессивные JavaScript-методы для принудительного выхода из фреймов (например, скрипты, проверяющие if (top != self)). Позволяя Google отображать ваш контент в своих сервисах (например, Google Images), вы избегаете потенциального негативного влияния на ранжирование ваших изображений.
• Использование HTTP-заголовков для безопасности: Если необходимо запретить встраивание страниц во фреймы для защиты от Clickjacking, следует использовать стандартные HTTP-заголовки безопасности: X-Frame-Options (например, SAMEORIGIN) или Content-Security-Policy: frame-ancestors. Это более предпочтительный метод обеспечения безопасности, чем JavaScript Frame Busting.
• Технический аудит: Проводить аудит исходного кода сайта и сторонних библиотек на наличие логики, отвечающей за Frame Busting.

Worst practices (это делать не надо)

• Активное внедрение Frame Busting: Использование JavaScript для предотвращения показа контента во фреймах. Согласно патенту, это поведение будет автоматически обнаружено и может привести к понижению рейтинга изображений (Image Score).
• Игнорирование UX поисковой системы: Создание пользовательского опыта, который вступает в конфликт с тем, как поисковая система пытается предоставить контент пользователю. Это особенно критично, если сайт получает значительный трафик из Google Images.

Стратегическое значение

Патент подтверждает стратегию Google по защите собственного пользовательского интерфейса и опыта. Он демонстрирует, что технические решения на стороне вебмастера, которые вмешиваются в этот опыт, могут иметь негативные SEO-последствия в соответствующих вертикалях. Это подчеркивает важность понимания того, как Google взаимодействует с вашим сайтом не только при сканировании, но и при отображении контента пользователям.

Практические примеры

Сценарий: Пессимизация в Google Images из-за Frame Busting

1. Ситуация: Владелец фотостока добавил на сайт JavaScript-код для Frame Busting, чтобы предотвратить встраивание его контента.
2. Взаимодействие с Google: Когда пользователи кликают на фото в Google Images, Google пытается показать их на своей промежуточной странице (Container Webpage).
3. Frame Busting: Код на сайте немедленно ломает фрейм и перезагружает страницу фотостока на весь экран. Пользователи не успевают воспользоваться опциями Google.
4. Сбор данных Google: Система логирует 100,000 показов (First Value) и только 10 взаимодействий с контейнером (Second Value).
5. Анализ: Frame Break Score составляет 0.0001. Система классифицирует сайт как ломающий фреймы.
6. Последствия (SEO): Google использует эту классификацию как негативный сигнал при расчете Image Score (Claim 4). Изображения сайта понижаются в ранжировании в Google Images, что приводит к потере трафика.

Вопросы и ответы