Как Google использует данные о совместном посещении сайтов (Co-Visitation) для персонализации и повышения релевантности выдачи

Термины и определения

Search Boost Vector (Вектор повышения поисковой выдачи)

Структура данных, содержащая набор идентификаторов контента (например, URL) и соответствующие им веса (weights). Используется для модификации стандартных оценок ранжирования с целью персонализации или контекстуализации выдачи.

Co-Visitation (Совместное посещение)

Событие, когда пользователь посещает два разных URL в течение определенного временного интервала (time interval или time window).

First Set / Seed Set (Первый/Исходный набор)

Начальный набор URL, который служит основой для генерации Boost Vector. Может быть основан на истории пользователя, его профиле, избранном или профиле текущего сайта.

Second Set (Второй набор)

Набор URL, идентифицированных как связанные с первым набором на основе данных о совместных посещениях сообществом пользователей.

Community of Users (Сообщество пользователей)

Группа пользователей, чьи данные о посещениях (логи сессий) анализируются для выявления паттернов совместных посещений.

Consistency Factor (Фактор постоянства)

Метрика, используемая для обеспечения статистической значимости данных о совместных посещениях. Часто определяется как абсолютное количество совместных посещений двух URL. Должен превышать определенный порог.

Uniqueness Factor (Фактор уникальности)

Метрика, используемая для измерения силы связи между двумя URL и фильтрации шума (например, общепопулярных сайтов). Часто определяется как условная вероятность посещения одного URL при условии посещения другого. Например, отношение частоты совместных посещений URL A и URL B к общей частоте посещений URL B.

Inverse Document Frequency (Обратная частота документа, IDF)

Метрика, которая может использоваться для нормализации весов в Boost Vector, чтобы снизить влияние URL, которые посещаются очень большим количеством пользователей.

Temporal Window Function (Временная оконная функция)

Функция, применяемая для взвешивания совместных посещений в зависимости от разницы во времени между ними. Чем меньше времени прошло между посещениями, тем выше может быть вес.

Personalized Search (Персонализированный поиск)

Повышение результатов поиска с использованием Boost Vector, определенного на основе профиля или предпочтений пользователя.

Content Site Flavored Search (Поиск с учетом характеристик сайта)

Повышение результатов поиска с использованием Boost Vector, определенного на основе профиля контентного сайта (например, сайта, с которого пользователь отправляет запрос).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации Search Boost Vector.

1. Предоставляется первый набор идентификаторов контента (URL).
2. Используя первый набор, идентифицируется второй набор URL. Связь основана на совместных посещениях (co-visits) отдельными пользователями в сообществе пользователей в течение определенного временного интервала.
3. Генерируется Search Boost Vector с весами для URL из второго набора. Веса основаны, по крайней мере частично, на частоте посещений пользователями соответствующих URL во втором наборе.
4. Вектор предоставляется поисковому серверу для повышения (boost) результатов при обслуживании поисковой выдачи.

Claim 3 (Зависимый от 1): Уточняет механизм взвешивания, связанный с популярностью.

URL во втором наборе, посещаемые большим количеством пользователей (первый диапазон), в среднем имеют более низкие веса в Boost Vector, чем URL, посещаемые меньшим количеством пользователей (второй диапазон). Это механизм, схожий с IDF или Uniqueness Factor, который направлен на понижение веса общепопулярных ресурсов и выделение нишевых, но сильно связанных ресурсов.

Claim 7 (Зависимый от 1): Введение временного фактора.

При генерации вектора применяется Temporal Window Function. Весовые коэффициенты этой функции зависят от временного интервала между совместными посещениями. Это означает, что близость посещений по времени влияет на итоговый вес в векторе.

Claim 9 и 10 (Зависимые от 1): Введение фактора постоянства.

Генерация вектора включает определение Consistency Factor. Он определяется как абсолютное количество совместных посещений URL из первого и второго наборов. Это обеспечивает статистическую надежность связи.

Claim 11 (Зависимый от 1): Определение фактора уникальности.

Генерация вектора включает определение Uniqueness Factor. Для конкретного URL из второго набора (URL2) и URL из первого набора (URL1) он рассчитывается путем деления частоты совместных посещений URL1 и URL2 на частоту посещений URL2.

Формула Фактора Уникальности: $\frac{Freq(Co-visit(URL1, URL2))}{Freq(Visit(URL2))}$

Claim 37 (Независимый пункт): Описывает метод применения Search Boost Vector.

1. Получение запроса от пользователя.
2. Идентификация результатов поиска, включающих часть второго набора URL (который был ранее определен на основе первого набора).
3. Повышение (boosting) подмножества результатов с использованием Search Boost Vector. Вес из вектора используется для повышения соответствующего URL в результатах. Вес основан на совместных посещениях и частоте посещений.
4. Предоставление повышенных результатов пользователю.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, используя данные, собираемые системой непрерывно, и влияя на финальные этапы ранжирования.

CRAWLING & Data Acquisition (Сбор данных)
Система должна непрерывно собирать и хранить данные о поведении пользователей (User URL Log), включая идентификаторы пользователей (например, через cookies), посещенные URL и временные метки (Time Stamp). Эти данные являются основой для анализа совместных посещений.

INDEXING & Feature Extraction (Индексирование и извлечение признаков)
На этом этапе (или в рамках отдельного офлайн-процесса) происходит обработка логов для вычисления связей между URL. Система анализирует данные сообщества, вычисляет Consistency Factor и Uniqueness Factor для пар URL и генерирует Boost Vectors для различных профилей пользователей или сайтов.

RANKING (Ранжирование)
Основная система ранжирования генерирует первоначальный набор результатов поиска с базовыми оценками релевантности (query scores).

RERANKING (Переранжирование)
Основное применение патента. На этом этапе система выбирает соответствующий Boost Vector (на основе профиля пользователя или сайта) и применяет его к результатам этапа RANKING. Оценки релевантности документов, присутствующих в Boost Vector, умножаются на соответствующие веса, что приводит к их повышению в финальной выдаче.

Входные данные:

• Логи посещений пользователей (User ID, URL, Timestamp).
• Исходный набор URL (Seed Set), основанный на профиле пользователя или сайта.
• Стандартные результаты поиска с оценками релевантности.

Выходные данные:

• Search Boost Vector (список URL и весов).
• Переранжированный список результатов поиска с модифицированными оценками.

На что влияет

• Персонализация выдачи: Основное влияние. Выдача адаптируется под интересы пользователя, выявленные через его историю посещений и поведение схожих пользователей.
• Тематическая релевантность: Позволяет системе выявлять тематически связанные ресурсы, даже если между ними нет прямых ссылок или текстового сходства, основываясь исключительно на поведении пользователей.
• Нишевые запросы: Может значительно улучшить выдачу в нишах, где пользователи часто изучают несколько источников перед принятием решения (например, путешествия, сложные покупки, исследования).

Когда применяется

• Триггеры активации: Механизм активируется, когда для текущего пользователя или сайта доступен релевантный Boost Vector.
• Условия для включения URL в вектор: URL включается в вектор, только если его Consistency Factor и Uniqueness Factor (если используются) превышают установленные пороги. Например, порог уникальности может быть 0.90, а порог постоянства – 10,000 совместных посещений.
• Временные рамки: Совместное посещение засчитывается, только если оно произошло в рамках заданного временного окна (например, 30 или 60 минут).

Пошаговый алгоритм

Процесс А: Генерация Boost Vector (Офлайн или по требованию)

1. Идентификация исходного набора URL (First Set). Источником могут быть: история браузера пользователя, избранное, явно указанные предпочтения или профиль контентного сайта.
2. Сбор данных о совместных посещениях. Анализ логов сообщества пользователей. Для каждого URL W из исходного набора определяются пользователи, посетившие W. Затем находятся другие URL (набор S), которые эти же пользователи посетили в рамках заданного временного интервала до или после посещения W.
3. (Опционально) Применение временной оконной функции. Вес совместного посещения может быть скорректирован в зависимости от разницы во времени между посещением W и S. Функция может быть асимметричной (посещение после W важнее, чем до W).
4. (Опционально) Расчет Постоянства и Уникальности. Для каждой пары (W, S) рассчитываются:
   • Consistency Factor: Общее количество совместных посещений.
   • Uniqueness Factor: Отношение совместных посещений к общему числу посещений S.
5. Фильтрация и идентификация второго набора (Second Set). URL из набора S, которые удовлетворяют порогам Постоянства и Уникальности, формируют второй набор связанных URL.
6. Генерация Boost Vector. Формируется вектор, где каждому URL из второго (и, возможно, первого) набора присваивается вес. Вес может быть основан на Uniqueness Factor (например, 1 + Uniqueness Factor) и/или нормализован с помощью IDF.
7. (Опционально) Усечение вектора. Вектор может быть сокращен до Топ-N результатов или по пороговому значению веса.

Процесс Б: Применение Boost Vector (Во время поиска)

1. Получение запроса. Пользователь вводит поисковый запрос.
2. Генерация стандартных результатов. Поисковая система генерирует результаты и их базовые оценки релевантности (query scores).
3. Выбор Boost Vector. Система выбирает подходящий Boost Vector, связанный с профилем пользователя или текущим сайтом.
4. Повышение/Переранжирование. Система проверяет, присутствуют ли URL из результатов поиска в Boost Vector. Если да, базовая оценка релевантности умножается на соответствующий вес из вектора.
5. Предоставление результатов. Результаты сортируются по новым оценкам и предоставляются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании поведенческих данных, собранных от сообщества пользователей.

• Поведенческие факторы: Критически важные данные. Используются логи сессий (session data), включающие:
  • Source Identification / User Identification: Идентификаторы пользователей (например, через cookies или логины).
  • URL: Посещенные ресурсы.
  • Time Stamp: Временные метки посещений.
• Пользовательские факторы: Данные из профиля пользователя (User Profile), предпочтения, история посещений (history log), избранное (favorites) – используются для формирования исходного набора (First Set).
• Контекстные факторы: Профиль текущего сайта (content site profile), с которого выполняется поиск, также может использоваться для формирования исходного набора.

Какие метрики используются и как они считаются

• Co-Visit Frequency (Частота совместных посещений): Количество раз, когда два URL были посещены одним и тем же пользователем в рамках заданного временного окна.
• Visit Frequency (Частота посещений): Общее количество посещений определенного URL за период анализа логов.
• Consistency Factor (Фактор постоянства): Обычно равен Co-Visit Frequency. Используется с пороговым значением для обеспечения статистической значимости (например, минимум 10,000 совместных посещений).
• Uniqueness Factor (Фактор уникальности): Рассчитывается для измерения направленной связи. Например, Уникальность URL B по отношению к URL A: $\frac{\text{Co-Visit Frequency}(A, B)}{\text{Visit Frequency}(B)}$. Используется с пороговым значением (например, > 0.50 или > 0.90).
• Weight (Вес в Boost Vector): Итоговое значение, используемое для повышения оценки ранжирования. Может быть функцией от Uniqueness Factor (например, 1 + Uniqueness Factor). Может быть дополнительно нормализован с помощью IDF (например, умножен на IDF для снижения веса общепопулярных сайтов).

1. Поведение пользователей как сигнал связи: Патент подтверждает, что Google использует паттерны навигации пользователей (co-visitation) для установления тематических связей между ресурсами, аналогично тому, как используются гиперссылки. Это альтернативный граф веба, построенный на поведении.
2. Коллективные данные для индивидуальной персонализации: Система использует данные сообщества (Community of Users) для выявления общих паттернов интересов, которые затем применяются для персонализации выдачи отдельного пользователя. Это позволяет рекомендовать пользователю контент, который он никогда не посещал, но который популярен среди людей с похожими интересами.
3. Важность Уникальности (Uniqueness) над Популярностью: Ключевым элементом является Uniqueness Factor. Система специально разработана для фильтрации общепопулярных сайтов. Связь считается сильной, только если значительная часть посетителей второго сайта также посещает первый сайт. Просто высокая частота совместных посещений недостаточна, если она обусловлена огромной популярностью второго сайта.
4. Статистическая значимость (Consistency): Consistency Factor гарантирует, что выводы делаются на основе достаточного объема данных, отсекая случайные совпадения или индивидуальные аномалии.
5. Временной контекст критичен: Совместное посещение имеет значение только в рамках ограниченного временного окна (time window). Посещения, разделенные большим интервалом времени, не считаются связанными. Temporal Window Function может дополнительно усиливать вес близких по времени посещений.
6. Два типа применения: Механизм может использоваться как для Personalized Search (на основе истории пользователя), так и для Content Site Flavored Search (на основе характеристик сайта, на котором находится пользователь).

Best practices (это мы делаем)

• Анализ смежных интересов аудитории: Необходимо понимать, какие еще сайты и темы интересуют вашу целевую аудиторию. Используйте аналитику, опросы и анализ конкурентов, чтобы определить ресурсы, которые пользователи часто посещают вместе с вашим. Цель – стать частью естественного информационного потока пользователя.
• Стимулирование совместных посещений (User Journey Optimization): Оптимизируйте контент и навигацию так, чтобы ваш сайт становился хабом или важной точкой в исследовании темы пользователем. Если пользователи регулярно приходят к вам после посещения авторитетного ресурса А или уходят от вас на авторитетный ресурс Б, это может усилить вашу связь с этими ресурсами в глазах Google.
• Создание контента, отвечающего на следующие шаги пользователя: Предлагайте контент, который логически продолжает изучение темы. Если пользователь ищет "симптомы Х", а следующим шагом логично ищет "методы лечения Х", наличие обоих типов контента или сильная связь с сайтами, покрывающими следующий шаг, будет преимуществом.
• Фокус на вовлеченности и удержании сессии: Поскольку временное окно критично, важно вовлекать пользователя и предоставлять ценность быстро. Сайты, которые пользователи быстро покидают в поисках лучшей информации, могут терять в силе связей, основанных на co-visitation.
• Построение нишевой авторитетности: Механизм Uniqueness Factor дает преимущество сайтам, которые имеют сильную и уникальную связь с определенной темой, а не общепопулярным порталам. Концентрация на своей нише и становление ключевым ресурсом в ней усиливает эти сигналы.

Worst practices (это делать не надо)

• Искусственная накрутка совместных посещений: Попытки манипулировать логами посещений с помощью ботов или заданий на буксах, вероятно, будут неэффективны. Система использует Consistency Factor для обеспечения статистической значимости и анализирует поведение реального сообщества пользователей, что сложно и дорого подделать в нужном масштабе.
• Использование кликбейта для привлечения нецелевого трафика: Привлечение пользователей, которые не заинтересованы в вашей основной тематике, размывает паттерны совместных посещений и может привести к нерелевантным или слабым связям в Boost Vector.
• Игнорирование пути пользователя за пределами сайта: Фокусироваться только на внутренних метриках (время на сайте, глубина просмотра) без понимания того, откуда пришел пользователь и куда он пойдет дальше, является упущением стратегической возможности усилить тематические связи.

Стратегическое значение

Патент подчеркивает стратегическую важность поведенческих факторов в ранжировании. Он демонстрирует переход от анализа статических сигналов (ссылки, текст) к анализу динамических паттернов взаимодействия пользователей с контентом в масштабах всего веба. Для SEO это означает, что релевантность определяется не только тем, что написано на странице, но и тем, как эта страница вписывается в информационное потребление реальных пользователей. Долгосрочная стратегия должна учитывать не только оптимизацию под запросы, но и оптимизацию под интересы и поведение аудитории.

Практические примеры

Сценарий: Усиление позиций нишевого блога о кофе

1. Анализ (Имитация Google): Google анализирует логи и видит, что пользователи, которые посещают авторитетный сайт обжарщика (Сайт А), часто в течение следующих 30 минут посещают нишевый блог с обзорами кофемолок (Сайт Б).
2. Расчет метрик:
   • Сайт А и Сайт Б совместно посетили 15,000 раз (Consistency выше порога).
   • Сайт Б всего посетили 20,000 раз.
   • Uniqueness Factor = 15,000 / 20,000 = 0.75 (Высокая уникальность).
3. Генерация Boost Vector: Для пользователей, интересующихся Сайтом А (или для профиля "любители кофе"), создается Boost Vector, в котором Сайт Б имеет высокий вес (например, 1.75).
4. Применение: Пользователь с таким профилем ищет "лучшая кофемолка". Сайт Б присутствует в стандартной выдаче на 8 позиции.
5. Результат: Система применяет вес 1.75 к оценке Сайта Б, что поднимает его с 8 на 2 позицию в персонализированной выдаче этого пользователя.