Как Google извлекает, обрабатывает и индексирует анкорный текст, контекст и атрибуты входящих ссылок для ранжирования целевых страниц

Термины и определения

Anchor Map (Карта анкоров), Sorted Anchor Map

Структура данных, содержащая записи (Anchor Records), отсортированные по идентификатору целевого документа (Target Document Identifier). Агрегирует список исходных документов, ссылающихся на цель, и соответствующие аннотации. Представляет собой инвертированный граф ссылок.

Annotation (Аннотация)

Информация, связанная со ссылкой на странице-источнике. Включает Text Passage (текстовый фрагмент) и Attributes (атрибуты текста).

Attributes (Атрибуты текста)

Свойства текста в аннотации. Включают HTML-форматирование (например, <STRONG>, <EM>, <CITE>), позицию текста, количество слов/символов.

Delete Entry (Запись об удалении)

Специальная запись в картах, указывающая на удаление ссылки (Delete Link) или документа (Delete Node). Используется при слиянии карт для актуализации данных.

Global State Manager (GSM, Менеджер глобального состояния)

Системный компонент, отвечающий за обработку Link Logs, генерацию и слияние Sorted Anchor Maps и Sorted Link Maps.

Layered Set (Многослойный набор)

Коллекция Sorted Maps, сгенерированных в разное время. Используется для эффективной обработки потока обновлений.

Link Log (Журнал ссылок)

Необработанные данные, генерируемые краулером/фильтрами контента. Содержат записи (Link Records) о найденных ссылках, организованные по исходным документам.

Link Map (Карта ссылок), Sorted Link Map

Структура данных, отсортированная по идентификатору исходного документа. Содержит список целевых документов (без аннотаций). Представляет прямой граф ссылок и используется для расчета PageRank.

Text Passage (Текстовый фрагмент)

Блок текста из исходного документа, включенный в аннотацию. Включает анкорный текст и/или текст в пределах "заданного расстояния" (predetermined distance) от анкорного тега.

URL Fingerprint (FP) (Отпечаток URL)

Уникальный идентификатор (например, 64-битное число), полученный путем хеширования нормализованного URL. Используется для эффективной идентификации и сортировки.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод инверсии ссылочных данных.

1. Система получает доступ к Link Log (данные сканирования, организованные по источникам).
2. Система генерирует Sorted Anchor Map.
3. Sorted Anchor Map содержит записи, идентифицирующие целевой документ и список входящих ссылок (исходных документов).
4. Ключевое требование: Записи упорядочены на основе идентификаторов целевых документов.

Ядром изобретения является масштабируемый процесс инвертирования журнала ссылок в карту анкоров, отсортированную по цели, что обеспечивает эффективный доступ к данным во время индексации.

Claim 2, 4 и 5 (Зависимые): Детализируют состав данных.

1. Каждая запись в Sorted Anchor Map также содержит список Annotations (Claim 2).
2. Аннотация включает текстовый фрагмент (text passage) и список его атрибутов (list of attributes) (Claim 4).
3. Текстовый фрагмент может включать текст в пределах заданного расстояния (predetermined distance) от анкорного тега в исходном документе (Claim 5).

Это критически важно для SEO, так как подтверждает, что система фиксирует не только точный анкорный текст, но и окружающий его текст (околоссылочный контекст) и его HTML-атрибуты.

Claim 6 и 7 (Зависимые): Описывают механизм масштабирования и обновления.

1. Процесс генерации карт повторяется, создавая Layered Set of Sorted Anchor Maps.
2. При выполнении условия слияния (merge condition), подмножество карт объединяется в Merged Anchor Map.

Это описывает инфраструктуру для непрерывной обработки потока новых данных о ссылках без полной перестройки всей структуры.

Claim 19 (Независимый пункт): Описывает полный процесс индексирования аннотаций.

1. Сканирование и извлечение ссылок.
2. Генерация Link Log и затем Anchor Map (с аннотациями).
3. Добавление в индекс терминов из аннотаций, причем эти термины ассоциируются с целевым документом.

Этот пункт защищает конечную цель системы: использование текста внешних ссылок для индексации и поиска целевой страницы.

Где и как применяется

Изобретение является ключевой частью инфраструктуры обработки данных и затрагивает несколько этапов поиска.

CRAWLING – Сканирование и Сбор данных
На этом этапе Robots (краулеры) и Content Filters собирают сырые данные. Они извлекают исходящие ссылки и связанные с ними Annotations. Эти данные записываются в Link Log.

INDEXING – Индексирование и извлечение признаков
Основной этап применения патента. Global State Manager (GSM) читает Link Log и выполняет трансформацию данных:

1. Инверсия и Сортировка: Данные преобразуются из формата, ориентированного на источник (Link Log), в формат, ориентированный на цель (Sorted Anchor Map).
2. Структурирование графа: Также создается Sorted Link Map (ориентированный на источник).
3. Индексирование контента: Индексаторы (Indexers) читают Sorted Anchor Map и добавляют аннотации в основной индекс, связывая их с целевыми документами.
4. Извлечение признаков (Авторитетность): Page Rankers используют Sorted Link Maps для расчета метрик авторитетности (например, PageRank).

RANKING – Ранжирование
Проиндексированный анкорный текст (полученный на этапе INDEXING) используется алгоритмами ранжирования как сигнал релевантности целевой страницы запросу.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, который сложно проанализировать напрямую: изображения, видео, мультимедиа, файлы. Патент прямо указывает, что для таких страниц текст входящих ссылок может быть единственным источником текстовой информации для индексации.
• Все типы контента: Влияет на все индексируемые документы, так как анкорный текст и его контекст предоставляют сильные сигналы релевантности.
• Обнаружение контента: Позволяет индексировать страницу по входящим ссылкам еще до того, как она будет просканирована.

Когда применяется

Процесс применяется непрерывно, но в несколько этапов с разными триггерами:

• Генерация Link Log: Происходит постоянно во время краулинга.
• Генерация Карт (Flush Condition): Global State Manager активируется для обработки Link Log и создания новых Sorted Maps, когда выполняется условие сброса (например, по времени, объему данных в логе или доступности памяти).
• Слияние Карт (Merge Condition): Операция слияния активируется, когда выполняется условие слияния (например, по расписанию, при превышении количества слоев в Layered Set или во время простоя системы).

Пошаговый алгоритм

Процесс А: Сбор данных (Выполняется Краулером и Фильтрами)

1. Сканирование документа: Краулер загружает исходный документ.
2. Извлечение ссылок и аннотаций: Фильтры контента анализируют документ, идентифицируют анкорные теги.
3. Определение аннотации: Извлекается анкорный текст, текст в пределах заданного расстояния от тега и HTML-атрибуты текста (Attributes).
4. Запись в Link Log: Создается запись, содержащая идентификатор источника, идентификатор цели и извлеченную аннотацию.

Процесс Б: Обработка Логов и Генерация Карт (Выполняется Global State Manager)

1. Активация (Flush Condition): Система определяет необходимость обработки накопившегося Link Log.
2. Чтение Link Log: Загрузка порции Link Log в память.
3. Генерация Sorted Link Map (Прямой Граф): Записи сортируются по идентификатору источника.
4. Генерация Anchor Log и Обработка изменений: Данные записываются в промежуточный Anchor Log. При обнаружении противоречий или исчезновении ссылок/документов генерируются записи об удалении (Delete Link Entry или Delete Node Entry).
5. Генерация Sorted Anchor Map (Обратный Граф): Anchor Sorter читает Anchor Log, консолидирует информацию для каждого целевого документа и сортирует записи по идентификатору цели. Новые карты добавляются в Layered Set.

Процесс В: Слияние Карт (Выполняется Global State Manager)

1. Активация (Merge Condition): Система определяет необходимость слияния существующих слоев.
2. Выбор подмножества карт: Выбираются несколько карт из Layered Set (предпочтительно схожего размера для эффективности).
3. Итеративное слияние и Разрешение конфликтов: Система проходит по записям. Приоритет отдается более свежим данным (на основе времени создания карты).
4. Обработка удалений: Если в более новой карте присутствует Delete Entry для ссылки, которая есть в более старой карте, эта ссылка исключается из результата.
5. Генерация Merged Map: Создается новая объединенная карта, которая заменяет исходное подмножество.

Какие данные и как использует

Данные на входе

Система использует данные, извлеченные краулером и записанные в Link Log:

• Технические факторы:
  • Идентификаторы исходных и целевых документов (используются URL Fingerprints для эффективности).
• Контентные и Структурные факторы (в составе Annotation):
  • Анкорный текст (Anchor Text): Текст внутри анкорного тега (<a>...</a>).
  • Окружающий текст (Surrounding Text): Текст, находящийся в пределах заданного расстояния (predetermined distance) от анкорного тега на странице-источнике.
  • Атрибуты текста (Attributes): HTML-атрибуты и структурные свойства текста. Патент явно упоминает:
    • Форматирование: Emphasized (<EM>), Strongly Emphasized (<STRONG>).
    • Семантические теги: Citation (<CITE>), Variable name (<VAR>), Source Code (<CODE>).
    • Метрики: Позиция текста (text position), количество символов, количество слов.

Какие метрики используются и как они считаются

Патент фокусируется на инфраструктуре обработки данных, а не на вычислении метрик ранжирования. Он оперирует следующими методами:

• Сортировка и Инверсия: Основные операции для преобразования данных из формата (Источник -> Цели) в формат (Цель <- Источники + Аннотации) и сортировки для быстрого доступа.
• Слияние (Merging): Консолидация данных из нескольких слоев с учетом временных меток (свежести данных) и обработки записей Delete Entry.

Хотя патент не описывает детали расчета PageRank, он указывает, что Sorted Link Maps создаются для его вычисления, и приводит базовую формулу PageRank: $PR(A) = (1-d) + d * \sum (PR(Ti)/C(Ti))$.

1. Индексирование экстринсивной (внешней) информации: Патент описывает фундаментальный механизм, позволяющий Google ранжировать страницу на основе информации (анкорный текст и контекст), которая физически на этой странице отсутствует.
2. Анкорный текст как контент целевой страницы: Система обрабатывает анкорный текст со страниц-источников как контент, ассоциированный с целевой страницей (Claim 19). Это делает оптимизацию анкоров критически важной для SEO.
3. Аннотации шире, чем просто анкорный текст: Система фиксирует Annotations, которые включают не только текст ссылки, но и текст в пределах «заданного расстояния» (околоссылочный текст) (Claim 5).
4. Учет атрибутов текста (Форматирование и Структура): В аннотацию включаются HTML-атрибуты (например, выделение <strong>) и структурные свойства (например, позиция текста). Это предполагает, что оформление и расположение ссылки могут влиять на ее интерпретацию.
5. Разделение обработки для Релевантности и Авторитетности: Система генерирует две разные структуры: Sorted Anchor Maps (для индексации текста/релевантности) и Sorted Link Maps (для расчета авторитетности/PageRank).
6. Масштабируемая обработка обновлений: Механизм Layered Sets и Merge Operations с использованием Delete Entry позволяет эффективно обновлять ссылочный граф, учитывая появление и удаление ссылок.

Best practices (это мы делаем)

• Оптимизация анкорного текста (Внутреннего и Внешнего): Необходимо использовать релевантный, описательный анкорный текст. Патент подтверждает, что этот текст напрямую попадает в Anchor Map и используется при индексации целевой страницы.
• Оптимизация околоссылочного контекста: Поскольку Annotations включают текст в пределах «заданного расстояния» от ссылки, крайне важно, чтобы контент, окружающий ссылку на странице-доноре, тематически соответствовал целевой странице. Контекст должен усиливать сигнал анкора.
• Использование семантической разметки и атрибутов: Система фиксирует HTML-атрибуты (STRONG, EM, CITE и т.д.) как часть Annotation. Использование логического выделения ключевых терминов в анкорном тексте или рядом с ним может влиять на интерпретацию аннотации.
• Продвижение нетекстового контента: Для изображений, видео и файлов необходимо обеспечить наличие входящих ссылок с описательным анкорным текстом и контекстом, так как это основной способ для Google понять их содержание.
• Мониторинг ссылочного профиля: Понимание механизма Delete Entry подчеркивает, что Google имеет эффективную систему для учета удаленных ссылок. Необходимо регулярно отслеживать и восполнять потерю важных ссылок.

Worst practices (это делать не надо)

• Игнорирование контекста ссылки: Получение ссылки с релевантным анкором из нерелевантного или противоречащего контекста. Система фиксирует этот окружающий текст как часть Annotation, что может снизить ценность ссылки.
• Манипуляции с анкорным текстом (Переоптимизация): Чрезмерное использование коммерческих ключей делает профиль уязвимым для алгоритмов, которые анализируют данные из Anchor Maps на предмет неестественности.
• Использование только безанкорных или общих ссылок: Использование исключительно анкоров типа «здесь», «сайт», «подробнее» лишает страницу важного источника релевантности, который Google специально разработал для использования.
• Размещение ссылок вне основного контента без контекста: Размещение ссылок в футерах, сайдбарах или списках, где отсутствует релевантный окружающий текст, снижает объем полезной информации в Annotation.

Стратегическое значение

Этот патент является фундаментальным для SEO. Он подтверждает, что релевантность страницы определяется не только ее собственным контентом, но и тем, как ее описывает остальной веб. Стратегически это означает, что линкбилдинг и внутренняя перелинковка должны фокусироваться не только на количестве или авторитетности ссылок, но и в равной степени на качестве, контексте и атрибутах самих анкоров. Долгосрочная стратегия должна быть направлена на формирование естественного и тематически релевантного анкорного профиля.

Практические примеры

Сценарий 1: Оптимизация околоссылочного текста и атрибутов при аутриче

1. Ситуация: Вы договариваетесь о размещении ссылки на ваше руководство по «миграции на HTTPS».
2. Действие (Плохое): В статье о веб-дизайне вставлен абзац: «Существует много технических аспектов. Вы можете почитать руководство по миграции на HTTPS тут. Вернемся к дизайну...»
3. Действие (Хорошее): В статье о веб-безопасности вставлен абзац: «Ключевым шагом является корректный переезд сайта на защищенный протокол. Мы рекомендуем это детальное руководство по миграции на HTTPS, которое охватывает настройку редиректов и проверку сертификатов.»
4. Обработка по патенту: В хорошем варианте Annotation будет включать анкор, атрибут <strong> и релевантный окружающий текст («защищенный протокол», «настройка редиректов»), так как он находится в пределах predetermined distance.
5. Результат: Ссылка из хорошего варианта передает значительно больше релевантной информации для индексации целевой страницы.

Сценарий 2: Индексирование PDF-документа

1. Задача: Обеспечить ранжирование PDF-файла "Исследование рынка электромобилей 2025.pdf".
2. Действие: Разместить ссылки на этот файл на сайте и внешних ресурсах с описательными анкорами и контекстом. Например: "Скачайте наш подробный отчет о рынке электромобилей за 2025 год, чтобы узнать о последних трендах."
3. Результат: Google использует эту Annotation для заполнения Anchor Map для PDF-файла, позволяя ему ранжироваться по запросу [отчет о рынке электромобилей 2025], даже если сам PDF плохо индексируется.