Как Google управляет доступом к настройкам сайта (GSC), позволяет выбирать канонический домен и регулировать скорость сканирования

Термины и определения

Crawl Rate Limit (Лимит скорости сканирования)

Максимальная скорость, с которой поисковый робот может сканировать сайт. Может быть установлен системой автоматически или скорректирован верифицированным владельцем.

Currently Verified Owner (Текущий верифицированный владелец)

Пользователь, который успешно подтвердил свои права владения сайтом и чей статус верификации остается активным.

Owners-information (Информация о владельцах)

Данные, хранящиеся в системе о верифицированных владельцах сайта, включая их идентификаторы и используемые ими токены верификации (файлы/теги).

Past Utilization Value (Значение прошлого использования)

Метрика, отражающая максимальную фактическую скорость сканирования сайта за определенный период (например, за последние несколько сессий сканирования). Используется для определения того, является ли текущий Crawl Rate Limit ограничивающим фактором.

Preferred Domain Name (Предпочитаемое доменное имя)

Каноническая версия домена (например, с www или без), выбранная верифицированным владельцем сайта для использования в индексе поисковой системы.

Re-verification (Повторная верификация)

Процесс, инициируемый текущим владельцем сайта (или автоматически системой), для проверки актуальности прав всех ранее верифицированных владельцев и отзыва неактуальных прав.

Site Owner Verification Database (База данных верификации владельцев сайтов)

Хранилище, содержащее записи о верифицированных пользователях, сайтах, которыми они владеют, метках времени и методах верификации (токенах).

Verification File / Verification Meta Tag (Верификационный файл / Мета-тег)

Уникальный токен (файл с определенным именем или мета-тег на странице), предоставляемый поисковой системой владельцу сайта для подтверждения прав доступа. Они являются специфичными для владельца (owner-specific).

Ключевые утверждения (Анализ Claims)

Патент фокусируется на процессе управления правами доступа.

Claim 1 (Независимый пункт): Описывает основной процесс управления правами собственности и индексацией.

1. Система хранит информацию (owners-information), связанную с несколькими текущими верифицированными владельцами сайта.
2. Система индексирует документы сайта, используя информацию (indexing information), полученную от этих верифицированных владельцев (создавая инвертированный индекс).
3. Система предоставляет часть owners-information одному из текущих владельцев.
4. В ответ на запрос от этого владельца система выполняет повторную верификацию (re-verifying) всех текущих владельцев.

Ядро изобретения — возможность для одного владельца инициировать проверку прав всех остальных.

Claim 2 (Зависимый от 1): Уточняет механизм повторной верификации.

Повторная верификация включает попытку доступа к верификационным данным (verification data), связанным с каждым из владельцев, на веб-сайте.

Claim 4 (Зависимый от 2): Уточняет тип верификационных данных.

Верификационные данные являются специфичными для каждого владельца (owner-specific verification file или owner-specific meta-tag).

Claim 5 (Зависимый от 2): Описывает результат повторной верификации.

Процесс включает аннулирование (invalidating) учетных записей владельцев, для которых верификационные данные отсутствуют на сайте.

Claim 9 (Зависимый от 1): Уточняет действия владельца перед повторной верификацией.

Система позволяет текущему владельцу удалить устаревшие верификационные данные (remove outdated verification data) из предоставленной ему информации о владельцах (что на практике означает удаление токенов с сайта или из списка перед проверкой).

Claim 11 и 12 (Зависимые от 1): Связывают верификацию с настройками индексации.

Информация об индексации (indexing information), которую предоставляют верифицированные владельцы, включает предпочитаемое доменное имя (preferred domain name) (Claim 11) и лимит скорости сканирования (crawl rate limit) (Claim 12).

Где и как применяется

Изобретение описывает инфраструктуру (Google Search Console), которая обеспечивает интерфейс для владельцев сайтов и влияет на основные поисковые процессы.

CRAWLING – Сканирование и Сбор данных

• Управление скоростью: Система использует Crawl Rate Limit, установленный верифицированным владельцем (или автоматически), для регулирования интенсивности запросов роботов к сайту. Эта информация используется планировщиком сканирования.
• Верификация: Роботы используются для проверки наличия Verification File или Meta Tag на сайте во время первичной и повторной верификации.

INDEXING – Индексирование и извлечение признаков

• Каноникализация (URL Rewriting): На этом этапе система применяет Preferred Domain Name, указанный владельцем. Если ссылка обнаружена с неканоническим доменом (например, без www), система перезаписывает URL перед индексацией и расчетом метаданных (таких как PageRank). Это обеспечивает консолидацию сигналов на одном домене.

Входные данные:

• Данные с сайта: наличие/отсутствие Verification Files/Tags.
• Запросы владельца сайта: запрос на верификацию/ре-верификацию, выбор Preferred Domain Name, установка Crawl Rate Limit.
• Данные краулера: Статистика сканирования (Crawl Data), Past Utilization Value.

Выходные данные:

• Статус верификации владельцев (Verified/Invalidated).
• Сохраненные настройки сайта (Preferred Domain Name, Crawl Rate Limit), используемые системами сканирования и индексирования.
• Перезаписанные (каноникализированные) URL в индексе.

На что влияет

• Конкретные типы контента: Влияет на все типы сайтов и контента, так как касается фундаментальных настроек сканирования и индексации.
• Специфические запросы: Не влияет на конкретные типы запросов, но влияет на то, какая версия домена будет показана в выдаче по любым запросам.
• Особое значение: Критически важно для сайтов с несколькими администраторами/подрядчиками (управление доступом), сайтов, доступных по нескольким доменам (например, www/без www, разные TLD), и крупных сайтов, чувствительных к нагрузке на сервер (управление Crawl Rate).

Когда применяется

• Триггеры активации (Верификация): При регистрации сайта в системе, при добавлении нового владельца или по запросу текущего владельца на повторную верификацию. Также упоминается возможность периодической автоматической проверки (Claim 6).
• Триггеры активации (Настройки): Когда верифицированный владелец изменяет Preferred Domain Name или Crawl Rate Limit.
• Применение настроек: Preferred Domain Name применяется постоянно во время индексации. Crawl Rate Limit применяется постоянно во время сканирования.

Пошаговый алгоритм

Процесс А: Верификация и отзыв прав собственности

1. Хранение данных: Система хранит список текущих верифицированных владельцев и связанных с ними уникальных токенов (Verification File/Tag) в Site Owner Verification Database.
2. Запрос на управление: Один из верифицированных владельцев (Ре-верификатор) запрашивает доступ к управлению собственностью.
3. Отображение информации: Система предоставляет Ре-верификатору список всех активных токенов для данного сайта, а также напоминает ему о его собственном токене (чтобы избежать случайного удаления).
4. Подготовка к отзыву (Действия на сайте/в списке): Ре-верификатор идентифицирует устаревшие токены. Он должен удалить их физически с сервера сайта. В некоторых вариантах реализации он также может отредактировать список токенов в интерфейсе.
5. Запрос на повторную верификацию: Ре-верификатор отправляет запрос на проверку токенов.
6. Проверка токенов: Система пытается получить доступ к каждому токену (файлу или мета-тегу) на веб-сайте.
7. Отзыв прав: Если токен не найден на сайте, система аннулирует права соответствующего владельца (статус меняется на Unverified).
8. Подтверждение прав: Если токен найден, права владельца подтверждаются.
9. Уведомление: Система информирует Ре-верификатора о результатах проверки.

Процесс Б: Выбор предпочитаемого домена

1. Предоставление списка: Система предоставляет верифицированному владельцу список известных эквивалентных доменных имен для сайта.
2. Выбор владельца: Владелец выбирает один домен в качестве Preferred Domain Name.
3. Валидация выбора: Система проверяет, что выбранный домен есть в списке верифицированных или что пользователь действительно владеет этим доменом.
4. Сохранение настройки: Выбор сохраняется в Domain Name Database.
5. Применение при индексации: Во время обработки документов и ссылок система перезаписывает неканонические URL-адресов на новые, используя Preferred Domain Name.
6. Генерация метаданных: Метаданные (например, PageRank) рассчитываются для перезаписанного (канонического) URL.
7. Индексирование: Документ индексируется с использованием перезаписанного URL.

Процесс В: Контроль скорости сканирования

1. Сбор данных: Система сканирует сайт в соответствии с текущим Crawl Rate Limit и собирает статистику (количество страниц, время доступа, байты). Рассчитывается Past Utilization Value.
2. Отображение интерфейса: Верифицированному владельцу предоставляется интерфейс управления скоростью и статистика сканирования.
3. Проверка условия: Система определяет, является ли текущий Crawl Rate Limit ограничивающим фактором (например, сравнивая лимит с Past Utilization Value).
4. Уведомление владельца:
   • Если лимит НЕ является фактором: Система сообщает владельцу, что увеличение лимита не приведет к ускорению сканирования. Запрос на ускорение может быть отклонен или проигнорирован.
   • Если лимит является фактором: Система сообщает владельцу, что скорость ограничена, и предлагает выбрать более высокую скорость.
5. Выбор владельца: Владелец выбирает новую скорость (Медленнее, Нормально, Быстрее).
6. Применение лимита: Если условия позволяют (например, выбран более медленный темп или более быстрый и лимит был фактором), система обновляет Crawl Rate Limit для сайта.

Какие данные и как использует

Данные на входе

• Технические факторы:
  • Наличие и содержание Verification Meta Tag на странице.
  • Наличие Verification File на сервере сайта.
  • Структура URL и доменные имена (используются для определения эквивалентных доменов и применения Preferred Domain Name).
• Системные данные (Статистика сканирования):
  • Количество страниц, посещенных за сессию сканирования (Number of Pages Accessed).
  • Время, затраченное на доступ (Time Expended on Access).
  • Количество загруженных байтов (Bytes Downloaded).
• Пользовательские факторы:
  • Идентификаторы пользователей (User ID), связанные с сайтами в Site Owner Verification Database.

Какие метрики используются и как они считаются

• Verification Status (Статус верификации): Статус владельца (Verified/Unverified). Определяется наличием соответствующего токена на сайте во время проверки.
• Crawl Rate Limit (Лимит скорости сканирования): Заданное значение максимальной интенсивности сканирования.
• Past Utilization Value (Значение прошлого использования): Максимальная фактическая скорость сканирования, зафиксированная за предыдущий период.
• Is crawl rate limit a factor? (Является ли лимит фактором?): Логическое значение. Определяется путем сравнения Crawl Rate Limit и Past Utilization Value. Если фактическая скорость близка к лимиту (например, разница менее определенного процента, упомянуто 10%), считается, что лимит является фактором, и его увеличение может ускорить сканирование. Если фактическая скорость значительно ниже лимита, лимит не является фактором.

1. Верификация — основа доверия и контроля: Патент подчеркивает, что Google предоставляет контроль над критическими настройками индексации (каноникализация, скорость сканирования) только верифицированным владельцам. Верификация является необходимым условием для использования этих инструментов.
2. Механизм отзыва прав (Re-verification): Система предусматривает четкий механизм управления доступом в средах с несколькими владельцами. Отзыв прав требует активных действий: удаления токена с сайта и последующего запуска повторной верификации.
3. Консолидация сигналов через Preferred Domain: Google признает проблему размытия сигналов ранжирования из-за эквивалентных доменов и предлагает решение: позволить владельцу указать каноническую версию. Система активно использует эту настройку для перезаписи URL (URL Rewriting) на этапе индексации.
4. Условный контроль скорости сканирования: Владельцы могут влиять на Crawl Rate Limit, но Google оставляет за собой право финального решения. Запрос на увеличение скорости будет удовлетворен, только если система определит, что текущий лимит действительно сдерживает сканирование (limit is a factor), основываясь на Past Utilization Value.
5. Инфраструктура GSC: Патент детально описывает базовую архитектуру и логику работы ключевых функций Google Search Console.

Best practices (это мы делаем)

• Обеспечение и поддержание верификации: Необходимо верифицировать право собственности на сайт в Google Search Console (GSC), используя надежный метод (например, DNS-запись). Это открывает доступ ко всем настройкам, описанным в патенте.
• Регулярный аудит доступов и токенов: Регулярно проверяйте список верифицированных владельцев в GSC и список активных токенов верификации (файлов/тегов) на сайте. При смене команды или подрядчиков немедленно отзывайте доступ и удаляйте их токены с сервера.
• Использование уникальных токенов: Убедитесь, что каждый владелец использует свой собственный уникальный метод верификации (owner-specific), чтобы можно было отозвать доступ индивидуально.
• Обеспечение каноникализации домена: Убедитесь, что сайт использует единый предпочитаемый домен. Хотя патент описывает настройку Preferred Domain Name в интерфейсе, на практике это надежнее всего реализуется через 301 редиректы. Это обеспечивает корректную консолидацию сигналов.
• Мониторинг статистики сканирования: Анализируйте данные в отчете «Статистика сканирования» GSC (аналог Crawl Data в патенте). Это позволяет понять фактическую нагрузку и скорость сканирования.
• Обоснованное управление Crawl Rate: Если сервер перегружен, используйте настройку Crawl Rate Limit для снижения скорости. Запрашивайте увеличение скорости только тогда, когда это действительно необходимо для ускорения индексации и вы уверены, что сервер справится с нагрузкой.

Worst practices (это делать не надо)

• Игнорирование управления доступом: Предоставление доступа к GSC без контроля и аудита. Это создает риск того, что бывшие сотрудники или подрядчики сохранят контроль над настройками индексации.
• Оставлять устаревшие токены на сервере: Хранение HTML-файлов или мета-тегов верификации от бывших владельцев позволяет им сохранять или восстанавливать доступ к GSC.
• Допущение канонической неопределенности: Не указывать предпочитаемую версию домена (через редиректы). Это приводит к размытию сигналов ранжирования между эквивалентными доменами.
• Бездумное увеличение Crawl Rate: Попытка установить максимальную скорость сканирования без учета возможностей сервера может привести к его перегрузке. Также бесполезно запрашивать ускорение, если Google и так сканирует сайт медленно из-за его низкой авторитетности (limit is not a factor).

Стратегическое значение

Патент подтверждает стратегическую важность Google Search Console как официального центра управления сканированием и индексированием. Он демонстрирует, что Google стремится получать явные сигналы от верифицированных источников для решения фундаментальных технических проблем. Для SEO-стратегии это означает, что мониторинг, настройка и обеспечение безопасности GSC являются не опциональными, а обязательными элементами технической гигиены и управления сайтом.

Практические примеры

Сценарий 1: Смена SEO-агентства и отзыв прав

1. Ситуация: Компания прекращает работу с Агентством А и нанимает Агентство Б. Сотрудники Агентства А имели доступ к GSC, подтвержденный через HTML-файл agencyA_verify.html.
2. Действия (по патенту):
   • Агентство Б получает доступ, загрузив свой файл agencyB_verify.html.
   • Сотрудник Агентства Б (теперь верифицированный владелец) заходит в раздел управления пользователями GSC (интерфейс Site Owner Verification).
   • Он видит список всех активных токенов, включая agencyA_verify.html.
   • Он удаляет файл agencyA_verify.html с сервера сайта.
   • Он инициирует повторную проверку (нажимает "Отменить подтверждение" для Агентства А в GSC).
3. Результат: Система Google выполняет Re-verification, не находит файл agencyA_verify.html и отзывает права Агентства А.

Сценарий 2: Оптимизация скорости сканирования крупного портала

1. Ситуация: Владелец портала хочет ускорить индексацию новостей и запрашивает максимальную скорость сканирования в GSC.
2. Действия системы (по патенту):
   • Система анализирует Past Utilization Value и сравнивает его с текущим Crawl Rate Limit.
   • Система определяет, что фактическая скорость сканирования составляет только 40% от текущего лимита (например, из-за медленных ответов сервера или низкой авторитетности).
   • Система определяет, что Crawl Rate Limit не является фактором.
3. Результат: Система сообщает владельцу, что скорость сканирования не увеличится, даже если он выберет опцию "Быстрее", так как проблема не в лимите, а в других факторах.