Как Google классифицирует веб-страницы и персонализирует выдачу, используя историю запросов и поведенческие данные

Термины и определения

Classification Data (Классификационные данные)

Данные, описывающие тематику или категорию информационного элемента (документа, запроса, пользователя). Представляются в виде разреженного вектора (sparse vector) или списка категорий (Category list), состоящего из пар "Идентификатор Категории" и "Вес" (Category ID, Weight).

Historical Query Information (Историческая информация о запросах)

Логи поисковых запросов. Включают User ID, термины запроса, список результатов (URL IDs), данные о показе (Impression Data) и данные о кликах (Click Data).

Impression Data (Данные о показе)

Данные, связанные с отображением результата поиска. Включают IR Score (оценку релевантности) и Position Data (позицию результата в выдаче).

Information Item (Информационный элемент)

Любая единица информации, доступная по идентификатору (например, URL), такая как веб-страница или веб-сайт.

Information Classification Seed Database (База данных исходной классификации)

Хранилище предварительно сгенерированных классификационных данных для начального набора документов. Используется как отправная точка для процесса распространения классификации.

Navigation Rate (Частота переходов)

Метрика популярности URL. Определяется как отношение количества выборов данного URL к общему количеству выборов всех URL в результатах поиска по одному и тому же запросу за определенный период.

Query Profile (Профиль запроса)

Классификационные данные, присвоенные конкретному запросу. Генерируется путем агрегации профилей документов, показанных в результатах этого запроса.

Spreading (Распространение)

Процесс переноса классификационных данных от классифицированных элементов к неклассифицированным через промежуточные звенья (запросы).

User Profile (Профиль пользователя)

Классификационные данные, описывающие поисковые интересы пользователя. Генерируется путем агрегации профилей документов, которые пользователь выбирал в результатах поиска.

Ключевые утверждения (Анализ Claims)

Патент описывает итеративный процесс распространения классификации. Ключевые независимые пункты (Claims 1 и 11) описывают два этапа этого процесса.

Claim 1 (Независимый пункт): Этап 1 - От документов к запросам.

Описывает метод генерации классификационных данных для неклассифицированных элементов (вторые элементы) на основе классифицированных (первые элементы) и исторических логов запросов, с фокусом на генерацию классификации запросов:

1. Система получает доступ к логам запросов и к исходной классификации (seed data).
2. Процесс генерации включает:
   • Идентификацию набора запросов.
   • Генерацию классификации для этого набора запросов (Ядро Claim 1).
   • Генерацию классификации для документа путем комбинирования классификаций этих запросов.
3. Детализация генерации классификации запросов:
   • Для запроса идентифицируются классифицированные документы в его результатах.
   • Классификация этих документов взвешивается на основе: IR scores, позиций в выдаче (search results' positions) и взаимодействия с пользователем (user interaction).
   • Взвешенные данные агрегируются для получения классификации запроса (Query Profile).

Claim 11 (Независимый пункт): Этап 2 - От запросов к документам.

Описывает тот же общий процесс, что и Claim 1, но фокусируется на деталях генерации классификации документов на основе классификации запросов:

1. (Шаги аналогичны Claim 1).
2. Детализация генерации классификации документа путем комбинирования классификаций запросов (Ядро Claim 11):
   • Для каждого запроса, где документ был результатом:
   • Классификация запроса (Query Profile) взвешивается на основе релевантности документа этому запросу: IR score документа, его позиция в выдаче и взаимодействие пользователя с этим документом.
   • Взвешенные классификации запросов агрегируются для получения классификации документа.

Claim 12 (Зависимый от 11): Уточняет, что при взвешивании классификации запроса может учитываться количество слов в запросе. (Длинные, более специфичные запросы могут получать больший вес).

Где и как применяется

Изобретение затрагивает несколько этапов поиска, работая преимущественно в офлайн-режиме для генерации данных и в онлайн-режиме для их применения.

INDEXING – Индексирование и извлечение признаков
Основное применение патента. Это процесс, происходящий офлайн (batch processing), который анализирует исторические данные для генерации новых признаков (тегов классификации) для документов и запросов.

• Система использует Information Classification Seed Database как отправную точку и обрабатывает Query Log Database.
• Результаты сохраняются в Information Classification Database (профили документов) и, опционально, в Query Profile Database. Эти данные становятся частью индекса.
• Также на этом этапе генерируются User Profiles на основе классифицированных документов, которые пользователи посещали.

RANKING / RERANKING – Ранжирование и Переранжирование
Сгенерированные данные используются на этапе ранжирования или переранжирования для персонализации выдачи (customized services).

• При запросе система извлекает User Profile пользователя.
• Стандартные результаты поиска оцениваются путем сравнения их классификационных данных с User Profile пользователя.
• Результаты переупорядочиваются (re-ordered) для повышения позиций тех документов, чья классификация наиболее близка интересам пользователя.

Входные данные:

• Historical Query Information (Логи запросов).
• Information Classification Seed Database (Исходные данные классификации).

Выходные данные:

• Information Classification Database (Расширенные профили документов).
• Query Profile Database (Профили запросов).
• User Profile Database (Профили пользователей).

На что влияет

• Типы контента: Влияет на все типы контента (information items), которые появляются в результатах поиска, включая веб-страницы и целые веб-сайты.
• Специфические запросы: Механизм генерации профилей запросов особенно важен для понимания неоднозначных запросов. Патент отмечает, что специфичность запроса (измеряемая длиной запроса или сходством результатов) может влиять на вес его профиля при классификации документов.

Когда применяется

• Генерация классификации (Офлайн): Происходит как периодический процесс обработки данных (batch job) для обновления баз данных классификации и профилей пользователей. Используются исторические данные за определенный период (например, последние шесть месяцев).
• Персонализация (Онлайн): Происходит в реальном времени при обработке запроса пользователя, если для него существует User Profile.

Пошаговый алгоритм

Процесс генерации классификационных данных является итеративным и состоит из двух фаз распространения.

Фаза 1: Распространение классификации от Документов к Запросам (URL → Query)

1. Сбор данных: Получение исторических логов запросов и исходных данных классификации (Seed Data).
2. Инициализация обработки запросов: Для каждой записи в логе запросов (или для каждого уникального запроса):
3. Идентификация релевантных документов: Определение списка URL в результатах поиска, имеющих исходную классификацию.
4. Взвешивание классификации документов: Применяются критерии взвешивания. Вес определяется релевантностью URL запросу, используя IR score, позицию в выдаче, Navigation Rate и Click Data. Высокорелевантные и кликабельные URL получают больший вес.
5. Агрегация: Взвешенные классификационные данные документов агрегируются для формирования Профиля Запроса (Query Profile).

Фаза 2: Распространение классификации от Запросов к Документам (Query → URL)

1. Инициализация обработки документов: Для каждого URL (особенно неклассифицированного):
2. Идентификация связанных запросов: Определение всех запросов, в результатах которых появлялся данный URL.
3. Взвешивание профилей запросов: Для каждого связанного запроса его Query Profile взвешивается. Вес определяется:
   1. Насколько релевантен был данный URL этому конкретному запросу (используя IR score, позицию, клики).
   2. Специфичностью самого запроса (например, длина запроса или средняя попарная косинусная близость (average pairwise cosine similarities) результатов).
4. Агрегация: Взвешенные Профили Запросов агрегируются для формирования Профиля Документа.
5. Нормализация и Фильтрация: Агрегированные данные нормализуются (например, делением на сумму весов запросов). Если количество запросов, связанных с URL, ниже порога, профиль может не генерироваться.
6. Хранение: Сгенерированные Профили Документов сохраняются.

Итерация: Фазы 1 и 2 могут повторяться, при этом результаты предыдущей итерации используются в качестве исходных данных для следующей.

(Дополнительно) Фаза 3: Генерация Профилей Пользователей

1. Идентификация активности пользователя: Определяются все URL, на которые пользователь кликал.
2. Агрегация профилей: Профили кликнутых URL агрегируются для создания User Profile. При агрегации может учитываться частота и давность кликов.

Какие данные и как использует

Данные на входе

Система полагается в первую очередь на поведенческие и системные данные, а не на анализ контента.

• Поведенческие факторы: Критически важны для взвешивания.
  • Click Data: Информация о том, был ли выбран результат пользователем.
  • Navigation Rate: Относительная частота выбора URL по сравнению с другими результатами по тому же запросу.
  • Логи запросов (Historical Query Information): Используются для определения совместного появления документов и запросов.
• Системные данные (Факторы релевантности):
  • IR Score (Information Retrieval Score): Предварительно рассчитанная оценка релевантности документа запросу.
  • Position Data: Позиция документа в результатах поиска.
• Исходные данные классификации (Seed Data):
  • Information Classification Seed Database: Предварительная классификация начального набора документов.

Какие метрики используются и как они считаются

• Вес релевантности документа запросу: Ключевая метрика для обоих этапов распространения. Рассчитывается как функция от IR Score, Position Data, Click Data и Navigation Rate. Документы на верхних позициях с высокими показателями кликабельности получают больший вес.
• Вес специфичности запроса (Query Weight): Метрика, используемая на Этапе 2. Рассчитывается на основе количества терминов в запросе или на основе сходства (например, average cosine similarity) классификационных векторов результатов поиска. Более специфичные запросы получают больший вес.
• Профиль (Query Profile, URL Profile, User Profile): Представляет собой разреженный вектор категорий и их весов. Генерируется путем взвешенной агрегации.
• Оценка персонализации: При использовании данных для персонализации рассчитывается сходство между User Profile и URL Profile. Патент упоминает использование косинусного расстояния (cosine) или скалярного произведения (dot product) векторов.

1. Классификация без анализа контента: Ключевой вывод заключается в том, что Google может генерировать точную тематическую классификацию документов (Classification Data), не анализируя их содержимое напрямую. Система опирается на структуру связей между документами и запросами в исторических логах поиска.
2. Поведенческие факторы как основа классификации: Релевантность (IR Score, позиция) и поведение пользователей (Click Data, Navigation Rate) являются определяющими факторами (весами) в процессе классификации. То, на что кликают пользователи, определяет тематику контента в глазах системы.
3. Принцип совместного появления (Co-occurrence): Классификация распространяется через совместное появление в SERP. Если неклассифицированная страница постоянно появляется в результатах поиска по запросам, которые система классифицировала в определенной теме, и получает клики, эта страница наследует эту классификацию.
4. Итеративное улучшение и масштабируемость: Процесс является итеративным. Начав с небольшого набора исходных данных (Seed Data), система может быстро классифицировать огромный массив документов и запросов, улучшая точность с каждой итерацией и по мере поступления новых данных поиска.
5. Фундамент для персонализации: Конечной целью генерации этой классификации является предоставление персонализированных сервисов. Точная классификация документов позволяет системе строить детальные профили интересов пользователей (User Profiles) и адаптировать выдачу под них.

Best practices (это мы делаем)

• Фокус на Topical Authority и четкое тематическое позиционирование: Необходимо убедиться, что страницы сайта четко отвечают на запросы определенной тематики. Это увеличивает вероятность того, что система корректно классифицирует ваши страницы на основе Query Profiles запросов, по которым они ранжируются.
• Оптимизация под релевантные и специфичные запросы: Для корректной классификации критически важно ранжироваться высоко (высокий IR Score и Position Data) по релевантным запросам. Кроме того, так как специфичные запросы (long-tail) могут иметь больший вес, фокус на них помогает укрепить тематическую классификацию.
• Стимулирование положительных поведенческих сигналов (CTR): Так как Click Data и Navigation Rate напрямую используются для взвешивания при распространении классификации, критически важно оптимизировать сниппеты (Title, Description) для повышения CTR по целевым запросам. Получение кликов подтверждает и усиливает связь между запросом и документом.
• Анализ совместного появления в выдаче (Co-occurrence): Изучайте, с какими сайтами ваш ресурс появляется в выдаче. Если ваш ресурс появляется рядом с авторитетными сайтами той же тематики, это способствует корректной классификации через механизм, описанный в патенте.

Worst practices (это делать не надо)

• Размытие тематики страницы (Mixed Topics): Создание страниц, пытающихся охватить слишком много разных тем. Это может привести к тому, что страница будет ассоциироваться с разнообразными, слабо связанными профилями запросов, что затруднит формирование четкого классификационного профиля документа.
• Использование кликбейта или привлечение нецелевого трафика: Если страница получает клики по запросам, не соответствующим ее основной теме, система может ассоциировать ее с неправильными категориями, что приведет к неверной классификации и ухудшению ранжирования по целевым запросам.
• Игнорирование оптимизации сниппетов и UX: Низкий CTR или плохой пользовательский опыт (влияющий на Navigation Rate) при высоких позициях может снизить вес связи между запросом и документом. Это означает, что профиль запроса будет слабее влиять на профиль документа, замедляя или искажая его классификацию.

Стратегическое значение

Этот патент подтверждает, что тематическая классификация в Google не ограничивается анализом текста на странице. Поисковая система активно использует данные о том, как пользователи ищут и что они выбирают, чтобы понять, о чем контент на самом деле. Это подчеркивает переход от чисто текстовой релевантности к поведенческой и тематической релевантности. Долгосрочная SEO-стратегия должна быть направлена на создание устойчивой ассоциации между сайтом и его целевой тематикой в экосистеме поиска, что достигается через стабильное ранжирование и вовлечение пользователей по профильным запросам.

Практические примеры

Сценарий: Классификация новой страницы о породе собак "Сиба-ину".

1. Исходное состояние: У Google уже есть классифицированные страницы о Сиба-ину (например, Википедия, сайты клубов собаководства) с профилем: "Домашние животные", "Собаки".
2. Этап 1 (Документы → Запросы): Пользователи ищут "уход за сиба-ину". В результатах появляются классифицированные страницы. Система генерирует Query Profile для запроса "уход за сиба-ину", наследуя категории "Домашние животные", "Собаки".
3. Появление новой страницы: Ваша новая страница начинает ранжироваться по запросу "уход за сиба-ину", допустим, на 8 позиции.
4. Взаимодействие: Пользователи начинают кликать на вашу страницу (положительный Click Data).
5. Этап 2 (Запросы → Документы): Система генерирует профиль для вашей новой страницы. Она агрегирует Query Profile запроса "уход за сиба-ину". Вес этого профиля при переносе зависит от позиции (8) и CTR вашей страницы.
6. Результат: Ваша новая страница получает классификацию "Домашние животные", "Собаки", основываясь на контексте поиска и поведении пользователей. Чем выше страница ранжируется и чем чаще на неё кликают, тем быстрее и точнее будет классификация.