Как Google использует модель D-Q-D и поведение пользователей для предложения разнообразных запросов, связанных с конкретными результатами поиска

Термины и определения

Candidate Queries (CQ) (Кандидаты в запросы)

Временный набор потенциальных предлагаемых запросов, которые система оценивает в реальном времени.

Click Data (Данные о кликах)

Тип user behavior data, включающий информацию о том, как долго пользователь просматривает документ после клика (dwell time).

Document-to-Query-to-Document (D-Q-D) Model (Модель Документ-Запрос-Документ)

Ключевая структура данных, которая связывает индексирующий документ с набором запросов, а каждый из этих запросов, в свою очередь, связан с набором релевантных документов. Используется для поиска связанных, но разнообразных результатов.

D-Q Model (Модель Документ-Запрос)

Промежуточная модель, полученная путем инвертирования Q-D Model. Связывает документы с релевантными для них запросами.

Indexing Document (Индексирующий документ)

Документ, который служит отправной точкой в D-Q-D Model (первая D). При обслуживании запроса это документ из текущей поисковой выдачи.

Long Click / Short Click (Длинный клик / Короткий клик)

Длительное время просмотра документа (long click) интерпретируется как признак релевантности. Короткое время (short click) — как признак отсутствия релевантности.

Q-D Model (Модель Запрос-Документ)

Промежуточная модель, созданная на основе user behavior data. Связывает запрос с набором релевантных документов и их оценками.

Quality of Result Statistic (Статистика качества результата)

Метрика, производная от user behavior data, используемая для оценки релевантности документа конкретному запросу (например, взвешенное среднее длинных кликов).

Result Diversity (Разнообразие результатов)

Критерий, требующий, чтобы документы, релевантные предлагаемому запросу, отличались от документов в исходной поисковой выдаче.

Term Diversity (Разнообразие терминов) / Query Diversity

Критерий, требующий, чтобы предлагаемый запрос содержал термины, отличные от терминов исходного запроса и других уже предложенных запросов.

Used Documents (UD) (Использованные документы)

Набор документов, уже присутствующих в исходной выдаче или являющихся целью уже выбранных предлагаемых запросов. Используется для обеспечения Result Diversity.

Used Terms (UT) (Использованные термины)

Набор терминов из исходного запроса и уже выбранных предлагаемых запросов. Используется для обеспечения Term Diversity.

User Behavior Data (Данные о поведении пользователей)

Анонимизированные данные о реакции пользователей на результаты поиска (клики, время просмотра). Основа для построения D-Q-D Model.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод предоставления предлагаемых запросов на основе разнообразия результатов.

1. Для первого документа из результатов поиска по первому запросу система выбирает набор ранее отправленных запросов (ПЗ), для которых этот документ был релевантен. Выборка происходит с использованием document-to-query-to-document model.
2. Для каждого выбранного ПЗ система определяет, имеют ли вторые документы (релевантные этому ПЗ на основе user behavior data) пороговый уровень diversity (разнообразия) по сравнению с первыми результатами поиска.
3. На основе этой оценки разнообразия система идентифицирует один или несколько ПЗ в качестве предлагаемых запросов.
4. Система предоставляет эти идентифицированные запросы вместе с первыми результатами поиска.

Ядро изобретения — использование D-Q-D model для нахождения связанных запросов и обязательная проверка того, что эти запросы ведут к новым результатам (threshold level of diversity), причем релевантность определяется через user behavior data.

Claim 3 (Зависимый от 1): Уточняет, что связи в D-Q-D model (между первым документом, ПЗ и вторыми документами) основаны на данных, указывающих на поведение пользователей относительно этих документов как результатов поиска.

Claim 4 (Зависимый от 1): Описывает офлайн-процесс создания D-Q-D model.

1. Создание query-to-document models (Q-D) для ПЗ, связывающих запросы с релевантными документами.
2. Ассоциация документов с соответствующими Q-D моделями (фактически, инверсия и объединение) для создания D-Q-D model.

Claim 12 (Зависимый от 1): Добавляет критерий разнообразия терминов.

1. Система также определяет уровень term diversity (разнообразия терминов) для ПЗ по сравнению с первым запросом.
2. Идентификация предлагаемых запросов дополнительно основывается на этом уровне term diversity.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, разделяясь на офлайн-процессы построения модели и онлайн-процессы обслуживания запросов.

CRAWLING / INDEXING (Сбор и обработка данных)
На этом этапе происходит сбор User Behavior Data (клики, dwell time) из журналов выбора результатов (Result Selection Logs). Эти данные обрабатываются для вычисления Quality of Result Statistics.

QUNDERSTANDING / INDEXING (Построение модели - Офлайн)
Это основной этап для офлайн-компонентов. D-Q-D Model Creation Engine использует обработанные данные о поведении пользователей для построения и обновления D-Q-D Model. Это включает фильтрацию запросов и документов, расчет оценок релевантности и структурирование связей (D-Q-D).

RANKING – Ранжирование
На этом этапе генерируется стандартный набор результатов для исходного запроса.

RERANKING / METASEARCH (Онлайн)
Основное применение патента в реальном времени. После того как этап RANKING сгенерировал список результатов, активируется Query Suggestion Engine.

1. Анализ результатов: Система итерирует по полученным результатам поиска.
2. Поиск кандидатов: Для каждого документа система обращается к D-Q-D Model для поиска кандидатов в предлагаемые запросы.
3. Фильтрация и Ранжирование кандидатов: Система применяет фильтры разнообразия (Term Diversity, Result Diversity) и ранжирует оставшихся кандидатов по оценке (score).
4. Внедрение подсказок: Лучшие предлагаемые запросы добавляются к соответствующим документам в выдаче перед показом пользователю.

Входные данные (Онлайн):

• Результаты поиска для исходного запроса.
• D-Q-D Model.

Выходные данные (Онлайн):

• Результаты поиска, аннотированные предлагаемыми запросами.

На что влияет

• Типы контента и запросы: Влияет на все типы контента и запросы, где доступно достаточно данных о поведении пользователей для построения надежной D-Q-D Model. Наиболее заметно влияние на информационные и исследовательские запросы, где пользователи стремятся изучить тему глубже.
• Разнообразие выдачи: Напрямую влияет на разнообразие путей исследования, предлагаемых пользователю, активно продвигая контент, который связан с текущими результатами, но не дублирует их.

Когда применяется

• Условия применения: Алгоритм применяется при обслуживании поискового запроса в реальном времени.
• Триггеры активации: Для конкретного документа в выдаче механизм активируется, если: 1) Документ существует как Indexing Document в D-Q-D Model; 2) Существуют связанные запросы и документы, удовлетворяющие критериям Term Diversity и Result Diversity.

Пошаговый алгоритм

Процесс А: Онлайн обслуживание запроса (Online Serving)

1. Получение результатов: Система получает результаты для входного запроса.
2. Инициализация переменных разнообразия: Инициализируются наборы Used Terms (UT) терминами входного запроса и Used Documents (UD) документами из результатов.
3. Итерация по документам: Система начинает итерацию по документам в результатах (начиная с верхнего).
4. Получение данных из D-Q-D: Для текущего документа (Indexing Document) извлекаются соответствующие разделы Q-D из D-Q-D Model.
5. Фильтрация по разнообразию терминов (Term Diversity): Каждый извлеченный запрос проверяется. Если все термины запроса уже содержатся в UT, он фильтруется.
6. Оценка и фильтрация по разнообразию результатов (Result Diversity): Для оставшихся запросов система оценивает связанные с ними документы (из Q-D раздела).
   • Вычисляется оценка (score) для документа (например, функция от оценки индексирующего документа и оценки целевого документа).
   • Если документ НЕ содержится в UD, он добавляется в набор Candidate Queries (CQ) в формате <Запрос, Документ, Оценка>.
7. Сортировка кандидатов: Записи в CQ сортируются по оценке.
8. Выбор предлагаемого запроса: Система итерирует по отсортированному CQ. Первая запись, удовлетворяющая всем критериям (запрос не использован, термины разнообразны, документ не использован, ограничения по длине соблюдены), выбирается как предлагаемый запрос.
9. Обновление переменных разнообразия: Термины выбранного запроса добавляются в UT. Целевой документ добавляется в UD. Запрос помечается как использованный.
10. Повторение выбора: Шаги 8-9 повторяются до тех пор, пока не будет найдено достаточное количество предлагаемых запросов для текущего документа или пока CQ не будет исчерпан.
11. Переход к следующему документу: Повторение шагов 4-10 для следующего документа в выдаче.
12. Предоставление результатов: Выдача с аннотированными предлагаемыми запросами предоставляется пользователю.

Процесс Б: Офлайн построение D-Q-D Model (Offline Model Creation)

1. Сбор и фильтрация запросов: Извлечение запросов из логов и удаление нежелательных (слишком длинных, URL-подобных, с нежелательными терминами).
2. Создание Q-D Моделей: Для каждого запроса определяются релевантные документы на основе User Behavior Data. Документы оцениваются (Quality of Result Statistic) и фильтруются по порогу оценки. Запросы с недостаточным количеством документов также фильтруются. Документы сортируются по оценке.
3. Создание D-Q Моделей: Инвертирование Q-D моделей для ассоциации запросов с документами.
4. Построение D-Q-D Модели: Объединение D-Q и Q-D моделей. К каждому запросу в D-Q модели присоединяется соответствующая Q-D модель.
5. Аннотирование: В каждом Q-D разделе помечается индексирующий документ.
6. Обеспечение разнообразия в модели: Фильтрация запросов для каждого индексирующего документа на основе коллизий терминов (query term collisions) для обеспечения разнообразия внутри модели.
7. Сокращение модели (Capping): Ограничение количества документов для каждого запроса и ограничение количества запросов для каждого документа для оптимизации размера модели.
8. Хранение: Сохранение финальной D-Q-D Model.

Какие данные и как использует

Данные на входе

Ключевыми данными для этого патента являются поведенческие факторы.

• Поведенческие факторы (User Behavior Data): Это основа для построения D-Q-D Model. Используются данные о реакции пользователей на документы в результатах поиска. Конкретно упоминаются:
  • Click Data (Данные о кликах): Частота выбора документа пользователями.
  • Dwell Time (Время просмотра): Продолжительность просмотра документа пользователем после клика (Long Click vs Short Click).
  • Result Selection Logs (Журналы выбора результатов): Записи, содержащие запрос, документ, время просмотра, язык и страну пользователя.
• Контентные факторы: Текст запросов используется для оценки Term Diversity и для фильтрации коллизий терминов при построении модели.
• Системные данные: Патент упоминает, что для определения релевантности могут использоваться и другие источники, например, стандартные оценки информационного поиска (IR score), хотя фокус сделан на поведении пользователей.

Какие метрики используются и как они считаются

• Quality of Result Statistic (Оценка релевантности документа запросу): Вычисляется офлайн. Основана на User Behavior Data. Пример расчета: взвешенное среднее количества длинных кликов (weighted average of the count of long clicks) для данного документа и запроса. Эта оценка используется для ранжирования документов внутри Q-D моделей.
• Оценка Кандидата (Serving Score): Вычисляется онлайн при выборе предлагаемого запроса. Это функция от оценки индексирующего документа и оценки целевого документа (оба значения берутся из D-Q-D Model). Возможные функции:
  • Минимум из двух оценок.
  • Максимум из двух оценок.
  • Комбинация (сумма, среднее, произведение) двух оценок.
• Term Diversity (Разнообразие терминов): Метрика (часто булева), определяющая, содержит ли кандидатский запрос хотя бы один термин, не входящий в набор Used Terms (UT). Могут использоваться алгоритмы нечеткого сравнения (edit distance, синонимы, морфология).
• Result Diversity (Разнообразие результатов): Булева метрика, определяющая, отсутствует ли целевой документ в наборе Used Documents (UD).
• Пороги фильтрации (Thresholds): Используются при построении модели для удаления запросов и документов с недостаточным количеством данных или низкими оценками релевантности.

1. Поведение пользователей определяет связи между документами: D-Q-D Model строится на основе того, как пользователи взаимодействуют с результатами (User Behavior Data, Click Data). Релевантность в этой системе — это не текстовое совпадение, а подтвержденная пользователями полезность документа для запроса.
2. Приоритет разнообразия (Diversity): Система активно ищет новизну. Предлагаемый запрос должен удовлетворять двум строгим критериям: Term Diversity (новые термины по сравнению с исходным запросом) и Result Diversity (вести к документам, отсутствующим в текущей выдаче).
3. Подсказки привязаны к документам, а не к запросу: В отличие от стандартных механизмов расширения запроса, этот патент предлагает подсказки для конкретного результата в SERP. Это позволяет генерировать более специфичные и контекстуальные предложения.
4. Двухэтапная архитектура (Офлайн/Онлайн): Сложные вычисления по анализу поведения и построению D-Q-D Model выполняются офлайн. Это позволяет системе быстро генерировать подсказки в реальном времени, используя предварительно рассчитанную модель.
5. Самоочищающаяся модель: Процесс построения модели включает агрессивную фильтрацию и сокращение (capping) для удаления шума, обеспечения качества и оптимизации размера модели, что затрудняет манипуляции.

Best practices (это мы делаем)

• Оптимизация под удовлетворенность пользователя (User Satisfaction): Поскольку D-Q-D Model основана на User Behavior Data (особенно Long Clicks), критически важно создавать контент, который полностью отвечает интенту пользователя и удерживает его на странице. Это повышает Quality of Result Statistic, что необходимо для включения в модель и получения высоких оценок.
• Построение Topical Authority через связанные интенты: Необходимо добиваться высокой релевантности документа не только для одного основного запроса, но и для кластера связанных запросов. Чем больше качественных связей (D-Q) имеет документ в модели, тем выше вероятность, что он будет участвовать в генерации подсказок (как источник или как цель).
• Анализ путей пользователя (User Journey): Изучайте, какие запросы приводят пользователей на страницу и куда они уходят дальше. Понимание этих связей помогает оптимизировать контент так, чтобы он соответствовал логике D-Q-D Model. Если ваш сайт является авторитетным источником в нише, этот механизм может направлять к вам трафик из смежных тематик.
• Создание уникальной ценности (Diversity): Разрабатывайте контент, который предлагает уникальную перспективу или информацию, отсутствующую у конкурентов в ТОПе. Система ищет разнообразие (Result Diversity), поэтому уникальный и полезный контент имеет больше шансов стать целью предлагаемого запроса.

Worst practices (это делать не надо)

• Игнорирование поведенческих факторов (Bounce Rate, Dwell Time): Фокус исключительно на текстовой релевантности или ссылках при игнорировании удовлетворенности пользователей приведет к низким оценкам в D-Q-D Model. Short Clicks сигнализируют о низкой релевантности.
• Создание узконаправленного тонкого контента: Контент, оптимизированный под один узкий запрос и не отвечающий на смежные интенты, будет иметь мало связей в D-Q-D Model и не сможет эффективно участвовать в этом механизме перелинковки трафика.
• Дублирование контента конкурентов: Создание контента, который полностью повторяет информацию, уже присутствующую в ТОПе выдачи. Система активно фильтрует такие результаты через механизм Result Diversity (проверка Used Documents).

Стратегическое значение

Патент подтверждает критическую важность данных о поведении пользователей в экосистеме Google. Он описывает конкретный механизм, где Google использует эти данные не просто для ранжирования, а для активного построения карты связей между документами через призму пользовательских запросов. Стратегически это означает, что SEO должно быть сосредоточено на реальной полезности контента и покрытии всего спектра интентов в рамках темы. Успех в этой системе измеряется не только позициями, но и тем, насколько центральным узлом в тематической карте (D-Q-D Model) является ваш документ.

Практические примеры

Сценарий 1: Генерация подсказок для статьи о контроле версий

1. Исходный запрос: "version control".
2. Результат в выдаче (Документ А): Страница Википедии "Revision control".
3. Офлайн данные (D-Q-D Model): Модель показывает, что пользователи, которые находят Документ А полезным (long clicks), также часто ищут "versioning", "source control" и "control system" и находят по ним другие полезные документы (Документы Б, В, Г).
4. Проверка разнообразия (Онлайн):
   • Term Diversity: Запросы "source control" и "versioning" содержат новые термины по сравнению с "version control".
   • Result Diversity: Документы Б, В, Г отсутствуют в текущей выдаче по запросу "version control".
5. Результат: К результату Документ А добавляются подсказки: [See results for versioning, source control, control system].

Сценарий 2: Использование контента как тематического моста (SEO)

1. Задача: Продвинуть статью об уходе за кожаной обувью (Документ Н).
2. Действия: Создать максимально полезную статью, которая удовлетворяет пользователей по запросам "чистка кожаной обуви" (Запрос 1) и "как убрать соль с ботинок" (Запрос 2). Добиться высоких показателей Long Clicks по обоим запросам.
3. Результат в D-Q-D: В модели формируется связь: Документ Н ↔ Запрос 1 и Документ Н ↔ Запрос 2.
4. Эффект: Когда пользователь ищет "чистка кожаной обуви", он видит Документ Н. Система может предложить подсказку [See results for как убрать соль с ботинок], используя связь в модели. И наоборот. Это увеличивает точки входа на Документ Н, связывая смежные темы.