Как Google определяет связанность документов с использованием Co-citation, анализа текста вокруг ссылок и паттернов пользовательского доступа

Термины и определения

Access-based Similarity (Схожесть на основе доступа)

Метод определения связанности двух ссылок, если анализ паттернов доступа пользователей показывает высокую корреляцию между посещениями документов по этим ссылкам.

Browser Assistant (Браузерный помощник)

Клиентское ПО (плагин, тулбар), которое расширяет функциональность браузера. Используется для определения контекста и фильтрации результатов поиска на стороне клиента.

Classification-based Similarity (Схожесть на основе классификации)

Метод определения связанности двух ссылок, если они относятся к одной и той же теме согласно классификаторам тем (topic classifiers).

Context Information / Context URLs (Контекстная информация / Контекстные URL)

Заранее определенный набор информации (набор URL-адресов, категория, список избранного), используемый в качестве основы для фильтрации результатов поиска.

Enhanced Search Engine (Улучшенная поисковая система)

Поисковая система, способная принимать на вход не только запрос, но и контекстную информацию, и выполнять фильтрацию на стороне сервера.

Link-based Similarity (Схожесть на основе ссылок)

Метод определения связанности двух ссылок, если анализ ссылочного окружения показывает доказательства их связанности. В патенте это в первую очередь определяется через co-citation (если один или несколько документов содержат обе ссылки).

Preferences List (Список предпочтений)

Список URL-адресов или категорий, созданный пользователем для конкретной информационной потребности. Может включать позитивные (on-topic) и негативные (off-topic) примеры.

Relatedness (Связанность)

Метрика, определяющая, насколько тесно связаны два документа или ссылки. Рассчитывается с использованием различных методов схожести (Similarity).

Text-based Similarity (Текстовая схожесть)

Метод определения связанности двух ссылок путем сравнения полного текста соответствующих документов (например, с использованием векторов терминов и весов).

Ключевые утверждения (Анализ Claims)

Патент содержит несколько независимых пунктов, которые описывают общий процесс контекстного поиска, но защищают разные методы определения связанности.

Claim 1 (Независимый пункт): Описывает метод ограничения результатов поиска и защищает использование поведенческих данных.

1. Система получает контекстную информацию и поисковый запрос.
2. Система получает набор ссылок на документы в ответ на запрос.
3. Система фильтрует набор ссылок, идентифицируя связанные с контекстом. Ключевой момент: связанность определяется на основе корреляции паттернов доступа пользователей (correlation of user access patterns) к документам результатов и документам контекста (Access-based Similarity).
4. Связанные ссылки включаются в отфильтрованный набор и представляются пользователю.

Этот пункт защищает использование данных о поведении пользователей (трафике) для определения связанности между документами.

Claim 15 (Независимый пункт): Защищает метод агрегации различных сигналов связанности.

1. Система получает контекст, запрос и результаты.
2. Система фильтрует результаты путем вычисления четырех оценок для каждой ссылки:
   • Оценка 1: Classification-based similarity.
   • Оценка 2: Access-based similarity.
   • Оценка 3: Text-based similarity.
   • Оценка 4: Link-based similarity.
3. Эти четыре оценки комбинируются для получения результирующей оценки (resultant score).
4. Ссылки с итоговой оценкой выше предопределенного уровня включаются в отфильтрованный набор.

Этот пункт защищает метод объединения ссылочных, текстовых, поведенческих и тематических сигналов в единую метрику связанности.

Claim 16 (Независимый пункт): Защищает усовершенствованный метод ко-цитирования, учитывающий контекст вокруг ссылок.

1. Система получает контекст, запрос и результаты.
2. Система фильтрует результаты путем:
   • Определения существования документов (co-citing documents), содержащих цитаты (ссылки) как на документ результата, так и на документ контекста.
   • Анализа текста рядом с этими цитатами (text near the citations) для определения схожести между контекстом ссылок.
3. Ссылки включаются в отфильтрованный набор, если анализ показывает степень схожести текста рядом с цитатами выше предопределенного уровня.

Этот пункт защищает метод использования анализа околоссылочного текста в цитирующем документе для более точного определения семантической связанности между цитируемыми документами.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, но его основная ценность заключается в механизмах, рассчитываемых на этапе индексирования и применяемых во время ранжирования.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходят ключевые вычисления, необходимые для работы системы:

• Анализ ссылок: Построение ссылочного графа и вычисление Link-based similarity (co-citation).
• Анализ текста: Обработка текста документов для вычисления Text-based similarity и анализа текста вокруг исходящих ссылок.
• Классификация: Применение topic classifiers для определения тематики документов и вычисления Classification-based similarity.
• Обработка логов доступа: Анализ паттернов доступа пользователей для вычисления Access-based similarity.

QUNDERSTANDING – Понимание Запросов
На этом этапе система должна распознать намерение пользователя выполнить контекстный поиск, обработав ввод из интерфейса расширенного поиска или получив данные от Browser Assistant.

RANKING – Ранжирование (Отбор кандидатов) / RERANKING – Переранжирование
Описанная система фильтрации применяется для сокращения набора результатов. Если активирован контекстный поиск, система отбирает или переранжирует только те документы, которые не только соответствуют запросу, но и имеют достаточный уровень relatedness к заданному контексту.

Входные данные:

• Поисковый запрос.
• Контекстная информация (Context URLs или Категория).
• Индекс документов с предварительно рассчитанными данными для оценки схожести (ссылочный граф, текстовые векторы, классификации, данные о доступе).

Выходные данные:

• Отфильтрованный набор результатов поиска, связанных с заданным контекстом.

На что влияет

• Специфические запросы: Влияет на запросы, где пользователь явно или неявно задает контекст для уточнения результатов. Особенно полезно для многозначных запросов (например, "Java"), где контекст (URL сайта о программировании или URL сайта о путешествиях) позволяет устранить неоднозначность.
• Ниши и тематики: Механизмы определения связанности (relatedness) влияют на все ниши, так как они являются фундаментальными методами оценки тематической связи между сайтами и страницами.

Когда применяется

Алгоритм контекстного поиска применяется при выполнении следующих условий:

• Триггер активации: Пользователь явно инициирует контекстный поиск через Browser Assistant или интерфейс Advanced Search, ИЛИ поиск инициируется со страницы, автор которой предопределил набор Context URLs.
• Наличие контекста: Должна быть доступна Context Information (URL, список избранного, категория и т.д.).

Механизмы расчета схожести (Similarity) применяются постоянно на этапе индексирования для всех документов в базе.

Пошаговый алгоритм

Патент описывает два основных варианта реализации: на стороне клиента и на стороне сервера.

Вариант А: Реализация на стороне клиента (Browser Assistant)

1. Получение контекста: Browser Assistant определяет набор Context URLs (текущий URL, список избранного, список предпочтений или категории директории).
2. Отправка запроса: Пользователь вводит запрос. Browser Assistant отправляет его стандартной поисковой системе.
3. Генерация и получение результатов: Поисковая система генерирует стандартный список результатов, который получает Browser Assistant.
4. Фильтрация результатов: Browser Assistant фильтрует список, отбрасывая ссылки, не связанные с набором Context URLs. Для определения связанности используется один или несколько методов (Link-based, Text-based, Access-based, Classification-based Similarity). Фильтрация может происходить локально или с помощью запроса к серверу.
5. Представление результатов: Browser Assistant представляет отфильтрованный список пользователю.

Вариант Б: Реализация на стороне сервера (Enhanced Search Engine)

1. Подготовка данных (Офлайн): Поисковая система сканирует сеть, сохраняет документы и создает индекс, включающий данные для расчета схожести.
2. Получение запроса и контекста: Поисковая система получает запрос и Context URLs (через интерфейс Advanced Search или автоматически от стороннего сервера).
3. Генерация результатов: Поисковая система генерирует список результатов по запросу.
4. Фильтрация результатов: Поисковая система фильтрует результаты, используя один или несколько методов определения схожести (Similarity) для сравнения результатов с контекстом.
5. Отправка результатов: Поисковая система отправляет отфильтрованный список пользователю.

Какие данные и как использует

Данные на входе

Система использует несколько типов данных для вычисления различных метрик схожести:

• Ссылочные факторы (Linkage Data):
  Используются для Link-based similarity. Требуется информация о том, какие документы ссылаются на какие (ссылочный граф), чтобы определить co-citation (совместное цитирование).
• Контентные факторы (Textual Content):
  Используются для Text-based similarity. Требуется полный текст документов. Также используется текст, окружающий ссылки (text near the citations), для уточнения Link-based similarity.
• Поведенческие факторы (User Access Patterns):
  Используются для Access-based similarity. Требуются данные о доступе пользователей к документам (логи доступа), чтобы определить корреляцию посещений между разными документами.
• Структурные/Системные данные (Classification Data):
  Используются для Classification-based similarity. Требуются результаты работы классификаторов тем (topic classifiers), которые относят документы к определенным темам или категориям.

Какие метрики используются и как они считаются

Патент определяет четыре основные метрики схожести и методы их комбинирования:

• Link-based Similarity Score: Рассчитывается на основе анализа ссылок. Основной метод – co-citation. Две ссылки связаны, если на них ссылается один и тот же документ.
• Text-based Similarity Score: Рассчитывается с использованием стандартных методов IR для определения текстовой схожести между двумя документами.
• Access-based Similarity Score: Рассчитывается путем анализа корреляции паттернов доступа пользователей к двум документам.
• Classification-based Similarity Score: Рассчитывается путем сравнения тем, к которым классификаторы отнесли два документа.
• Комбинированные методы:
  • Link + Text (Claim 16): Оценка Link-based similarity (co-citation) взвешивается (повышается или понижается) на основе анализа ключевых слов вокруг ссылок (околоссылочного текста) в совместно цитирующем документе. Это позволяет системе различать контекст цитирования.
  • Link + Classification: Оценка Link-based similarity взвешивается на основе схожести классификаций текста цитат в совместно цитирующем документе.
• Resultant Score (Результирующая оценка): Агрегированная оценка, полученная путем комбинирования оценок от различных методов схожести (Claim 15).
• Пороговые значения: Система использует предопределенные уровни схожести для принятия решения о включении результата в отфильтрованный список.

1. Фундаментальные методы определения связанности: Основная ценность патента для SEO заключается в описании четырех фундаментальных способов, которыми Google измеряет связь (Relatedness) между документами: ссылки (co-citation), текст, поведение пользователей (паттерны доступа) и тематическая классификация.
2. Важность Co-citation: Патент подчеркивает роль совместного цитирования (Link-based similarity) как ключевого индикатора связанности. Документы, на которые часто ссылаются вместе, считаются связанными.
3. Критичность околоссылочного текста: Патент вводит критически важное уточнение для co-citation (Claim 16): не только факт совместного цитирования имеет значение, но и текст, окружающий эти ссылки (text near the citations). Связанность подтверждается, только если околоссылочный текст семантически схож. Это механизм для борьбы с нерелевантным совместным цитированием.
4. Поведенческие факторы как мера связанности: Access-based similarity (Claim 1) явно указывает на использование корреляции пользовательского трафика для определения связанности. Если пользователи часто посещают два документа в рамках схожих информационных потребностей, эти документы считаются связанными.
5. Агрегация сигналов связанности: Google не полагается на один метод. Claim 15 описывает механизм объединения всех четырех типов сигналов в единую результирующую оценку (Resultant Score) для надежного определения связанности.

Best practices (это мы делаем)

• Оптимизация исходящих ссылок и околоссылочного текста: При размещении исходящих ссылок убедитесь, что окружающий текст четко определяет контекст ссылки. Согласно Claim 16, это напрямую влияет на то, как Google интерпретирует связь между вашим контентом и контентом, на который вы ссылаетесь, а также на связь между несколькими исходящими ссылками на вашей странице.
• Построение релевантного профиля Co-citation: Работайте над тем, чтобы ваш сайт упоминался (цитировался) на авторитетных ресурсах рядом со ссылками на другие релевантные сайты вашей ниши. Это укрепляет Link-based similarity и тематический авторитет. Анализируйте, кто ссылается на ваших конкурентов, и стремитесь получить ссылки с тех же страниц.
• Оптимизация пользовательских путей (User Journeys): Учитывайте Access-based similarity. Создавайте контент и структуру сайта (включая внутреннюю перелинковку), которые способствуют естественным паттернам навигации между связанными страницами. Это усиливает корреляцию доступа и сигнализирует о связанности страниц.
• Комплексное развитие тематического авторитета: Фокусируйтесь на всех аспектах связанности: создавайте текстово релевантный контент (Text-based), добивайтесь четкой тематической классификации (Classification-based), привлекайте релевантный трафик (Access-based) и стройте качественный ссылочный профиль (Link-based).

Worst practices (это делать не надо)

• Нерелевантные исходящие ссылки и «Линкопомойки»: Размещение исходящих ссылок на не связанные по тематике ресурсы или использование неинформативного околоссылочного текста может размывать тематику вашей страницы.
• Участие в нетематических ссылочных сетях (Link Farms/PBN): Если ваш сайт цитируется на страницах рядом с большим количеством нерелевантных сайтов, механизм уточненного co-citation (Link + Text) может определить эти связи как неестественные или низкокачественные, что нивелирует пользу от Link-based similarity.
• Игнорирование поведения пользователей: Создание контента, который привлекает нецелевой трафик или демонстрирует паттерны доступа, не коррелирующие с тематикой сайта, может негативно сказаться на Access-based similarity.

Стратегическое значение

Этот патент подтверждает, что связанность между документами и сайтами является многофакторной концепцией. Стратегическое SEO должно выходить за рамки простого анализа текста и обратных ссылок. Оно должно учитывать, как сайт встроен в тематическую экосистему интернета через паттерны совместного цитирования, контекст этих цитирований и поведение пользователей. Понимание этих механизмов критически важно для построения долгосрочного тематического авторитета.

Практические примеры

Сценарий 1: Усиление тематического авторитета через оптимизацию исходящих ссылок и Co-citation (Claim 16)

Задача: Повысить авторитет обзорной статьи о лучших моделях кофемашин.

1. Анализ (Link-based Similarity): Идентифицировать авторитетные источники в нише (например, сайты производителей, профильные исследования).
2. Действие (Co-citation и Link + Text Optimization): В статье разместить ссылки на эти источники с оптимизированным околоссылочным текстом. Вместо: «Согласно этому отчету, модель X потребляет много энергии», написать: «Согласно отчету Министерства Энергетики о потреблении кофемашин за 2025 год, модель X потребляет...»
3. Ожидаемый результат: Google видит, что ваша статья цитирует авторитетные источники (Co-citation). Анализируя околоссылочный текст (Link+Text), он подтверждает, что цитирование происходит в релевантном контексте. Это усиливает связь вашей статьи с авторитетными узлами в тематике.

Сценарий 2: Использование Access-based Similarity для внутренней оптимизации

1. Анализ данных: Определить страницы, между которыми наблюдается слабый переход пользователей, несмотря на их тематическую близость (например, статья о симптомах болезни и статья о ее лечении).
2. Действие: Усилить внутреннюю перелинковку между этими страницами, сделать призывы к действию более заметными.
3. Ожидаемый результат: Увеличение переходов между страницами приведет к усилению корреляции доступа (Access-based similarity). Это сигнализирует поисковой системе о сильной связанности этих страниц.