Как Google использует обработку естественного языка для поиска информации в личной истории пользователя (браузер, почта)

Термины и определения

Aggressive synonyms (Агрессивные синонимы)

Использование более широкого набора синонимов при обработке запроса по сравнению со стандартным поиском. Применяется для расширения области поиска в ограниченном корпусе истории пользователя.

Browser History Collection (Коллекция истории браузера)

Набор данных, включающий список веб-страниц и документов, ранее просмотренных пользователем.

Cached Result (Кэшированный результат)

Версия документа, сохраненная в том виде, в каком она отображалась, когда пользователь получал к ней доступ ранее. Система может предоставлять ссылку на эту версию.

Email Collection (Коллекция электронной почты)

Набор данных, включающий электронные письма, к которым обращался пользователь.

Filters (Фильтры)

Критерии поиска, извлеченные из запроса. В патенте упоминаются: тема (topic), дата/время (date/time), источник (source), устройство пользователя (device), отправитель (sender), местоположение доступа (location).

Fuzzy time ranges (Нечеткие временные рамки)

Расширенная интерпретация временных фильтров (например, «на прошлой неделе» может включать последние 14 дней) для компенсации неточности человеческой памяти.

History Query Classification Module (Модуль классификации исторических запросов)

Компонент NLP Engine, который определяет, направлен ли запрос на поиск информации, ранее просмотренной пользователем.

History-Seeking Query (Запрос, ищущий в истории)

Классификация запроса, указывающая на то, что пользователь ищет ранее просмотренный контент.

Natural Language Query (NLQ) (Запрос на естественном языке)

Запрос, сформулированный в разговорной форме (текстом или голосом).

NLP Engine (Natural Language Processing Engine)

Система обработки естественного языка, которая анализирует запрос, классифицирует его и извлекает фильтры.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод идентификации и предоставления информации в ответ на запрос пользователя.

1. Система получает голосовой ввод (voice input) от пользователя, содержащий NLQ.
2. Запрос включает термины, указывающие на (i) конкретную тему и (ii) то, что пользователь просматривал ресурс по этой теме до ввода запроса.
3. Система определяет (классифицирует), что запрос ищет ранее доступную информацию, основываясь именно на терминах, указывающих на прошлый просмотр.
4. Определяется набор ресурсов (resource set), удовлетворяющих запросу.
5. На основе классификации запроса определяется подмножество ресурсов (resource subset) – ресурсы из resource set, к которым пользователь уже обращался ранее.
6. Система предоставляет результат из этого resource subset.

Ключевой момент Claim 1 — это спецификация голосового ввода и необходимость наличия в запросе как темы, так и индикатора прошлого действия.

Claim 3 (Зависимый): Детализирует использование фильтров.

1. Система определяет из терминов запроса, что он ищет ресурсы, удовлетворяющие одному или нескольким критериям: времени (time criterion), темы (topical criterion) или устройства (device criterion).
2. Определяется второе подмножество ресурсов (second resource subset), которое удовлетворяет этим критериям.
3. Результат предоставляется из этого второго подмножества.

Claim 5 (Зависимый): Описывает расширение запроса.

Перед предоставлением результата система модифицирует запрос, заменяя один или несколько терминов их синонимами. Это соответствует использованию aggressive synonyms, упомянутому в описании.

Claim 7 (Зависимый от 6): Детализирует процесс классификации запроса.

1. Система сравнивает термины запроса с терминами, идентифицированными как соответствующие запросам, ищущим ранее просмотренную информацию (например, «я видел», «я читал»).
2. Определяется уровень сходства (level of similarity).
3. Система проверяет, превышает ли уровень сходства пороговое значение (similarity threshold).
4. Если порог превышен, система классифицирует запрос как ищущий информацию в истории пользователя.

Где и как применяется

Изобретение применяется в системах персонализированного поиска и голосовых ассистентах.

CRAWLING и INDEXING (Персональные данные)
Для работы системы необходим доступ к персональным данным пользователя. Система должна сканировать и индексировать историю браузера (Browser History Collection) и электронную почту (Email Collection). Эти данные формируют персональный индекс.

QUNDERSTANDING – Понимание Запросов
Это основной этап применения патента. Query Processing Engine получает NLQ. NLP Engine и его History Query Classification Module анализируют текст запроса, чтобы определить намерение пользователя (поиск в истории) и извлечь фильтры (время, устройство, местоположение и т.д.). Запрос преобразуется из естественного языка в структурированный формат.

RANKING (Персональный поиск)
Search Engine получает структурированный запрос и выполняет поиск исключительно по персональному индексу пользователя. Поиск ограничивается документами, которые пользователь уже видел, и дополнительно фильтруется по извлеченным критериям. Scoring Engine ранжирует найденные персональные результаты.

METASEARCH – Метапоиск и Смешивание
Результаты из истории могут быть смешаны с результатами из публичного веба (как показано на FIG. 4). Механизм патента отвечает за генерацию блока персональных результатов.

Входные данные:

• Запрос на естественном языке (специфично голосовой ввод в Claim 1).
• Персональный индекс пользователя (история браузера, email).
• Список фраз, ассоциированных с поиском в истории.

Выходные данные:

• Набор результатов поиска, состоящий из документов, которые пользователь ранее просматривал.

На что влияет

• Конкретные типы контента: Влияет на доступ к ранее просмотренным веб-страницам, электронным письмам, видео и изображениям, если они проиндексированы в истории.
• Специфические запросы: Влияет только на персонализированные запросы, классифицированные как History-Seeking Query. Не влияет на обработку общих запросов в публичном поиске.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда History Query Classification Module определяет, что NLQ содержит фразы, указывающие на поиск в прошлом (например, «I'm looking for», «I read», «I saw»).
• Пороговые значения: Классификация происходит, если сходство (level of similarity) между фразами запроса и предопределенным списком исторических фраз превышает установленный порог (similarity threshold).
• Условия: Пользователь должен быть авторизован, и система должна иметь доступ к его истории (пользователь должен дать разрешение на сбор и использование этих данных).

Пошаговый алгоритм

1. Получение запроса: Сервер получает NLQ (например, аудиоданные голосового ввода) от клиентского устройства.
2. Классификация запроса (History Query Classification):
   • Система сравнивает части запроса с предопределенным списком фраз, указывающих на поиск в истории.
   • Вычисляется уровень сходства.
   • Если сходство превышает similarity threshold, запрос классифицируется как History-Seeking Query.
3. Токенизация (Tokenizer Module): Запрос разбивается на n-граммы. Стоп-слова и фразы, использованные для классификации, могут быть исключены.
4. Идентификация фильтров (Filter Identification Module):
   • Оставшиеся n-граммы сравниваются с репозиторием фильтров (Filter Repository).
   • Идентифицируются фильтры: тема («рецепт индейки»), устройство («на телефоне»), время («на прошлой неделе»), местоположение («на работе»).
5. Генерация запроса (Query Generation Module): Создается структурированный запрос, указывающий на поиск в истории пользователя с применением идентифицированных фильтров.
6. Выполнение поиска (Search Engine):
   • Поиск выполняется по персональному индексу пользователя.
   • Система может применять aggressive synonyms и fuzzy time ranges для расширения поиска в пределах истории пользователя, чтобы компенсировать неточности памяти.
7. Получение ответа: Извлекается набор документов (resource subset), которые пользователь ранее просматривал и которые соответствуют фильтрам.
8. Генерация результатов (Scoring Engine): Документы ранжируются, формируется страница результатов. Могут быть предоставлены ссылки на кэшированные версии документов (Cached Result), какими они были на момент просмотра.
9. Коммуникация: Результаты отправляются на клиентское устройство.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании персональных данных пользователя и контекста, извлеченного из запроса.

• Пользовательские факторы: Критически важные данные. Используется история браузера (Browser History) и электронная почта (Email account) пользователя. Запрос часто поступает в виде голосового ввода (voice input).
• Контентные факторы (из запроса и истории): Темы, извлеченные из запроса, используются для сопоставления с контентом ранее просмотренных документов в истории пользователя.
• Временные факторы (из запроса и истории): Указания времени в запросе («вчера») используются для фильтрации истории по дате доступа (timestamp).
• Географические факторы (из запроса и истории): Указания местоположения («на работе») используются для фильтрации истории по месту доступа.
• Технические факторы (из запроса и истории): Указания устройства («на телефоне») используются для фильтрации истории по устройству доступа.

Какие метрики используются и как они считаются

• Level of Similarity (Уровень сходства): Метрика, используемая для сравнения фраз в запросе с предопределенным списком фраз, указывающих на поиск в истории. Может использовать edit distance, hamming distance или семантическое сходство.
• Similarity Threshold (Порог сходства): Пороговое значение для Level of Similarity, при превышении которого запрос классифицируется как History-Seeking Query.
• Fuzzy Time Ranges (Нечеткие временные рамки): Система может расширять временные фильтры (например, интерпретировать «на прошлой неделе» как «за последние две недели»).
• Aggressive Synonyms (Агрессивные синонимы): Использование широкого набора синонимов для терминов запроса. Это допустимо, так как поиск ограничен безопасным корпусом личных данных пользователя.

1. Фокус на персональном поиске, а не на публичном SEO: Патент описывает инфраструктуру для улучшения пользовательского опыта при поиске по личным данным (история, почта). Он не содержит информации об алгоритмах ранжирования публичного веба.
2. Глубокое понимание естественного языка (NLP): Система демонстрирует сложные возможности NLP для классификации намерений пользователя (Re-finding) и извлечения структурированных данных (фильтров времени, устройства, местоположения) из неструктурированного разговорного запроса.
3. Голосовой ввод как основной сценарий: Claim 1 явно указывает на получение запроса через voice input, что подчеркивает ориентацию изобретения на голосовых ассистентов и разговорный поиск.
4. Компенсация неточности памяти: Система использует методы, такие как aggressive synonyms и fuzzy time ranges, признавая, что пользователи могут неточно помнить детали. Это возможно благодаря ограничению поиска персональным корпусом данных.
5. Доступ к кэшированным версиям: Система может предоставлять доступ к Cached Result – версии страницы в том виде, в каком ее видел пользователь ранее.
6. Зависимость от приватных данных: Функционирование системы полностью зависит от доступа к истории просмотров и почте пользователя, что подчеркивает важность авторизации и разрешений.

ВАЖНО: Патент является инфраструктурным и описывает механизмы персонализированного поиска в личной истории пользователя. Он не дает прямых практических выводов для традиционного SEO, направленного на улучшение позиций в публичном веб-индексе.

Best practices (это мы делаем)

Единственные косвенные выводы для владельцев сайтов и SEO-специалистов:

• Использование ясных и запоминающихся заголовков (Titles): Поскольку система помогает пользователям находить ранее просмотренный контент, использование точных, описательных и запоминающихся заголовков страниц может облегчить пользователю повторное нахождение вашего контента через этот механизм. Если пользователь ищет «ту статью о шахматах», система будет сопоставлять этот запрос с заголовками в его истории.
• Создание запоминающегося контента: Стратегически важно создавать качественный контент, к которому пользователи захотят вернуться. Этот механизм облегчает возвращение, минуя стандартный поиск.

Worst practices (это делать не надо)

Не применимо. Патент не направлен на борьбу с SEO-манипуляциями в публичном поиске.

Стратегическое значение

Патент имеет минимальное стратегическое значение для SEO. Он подтверждает технические возможности Google в области обработки естественного языка (NLP) и стремление компании интегрировать персональные данные в поисковый опыт. Для SEO-специалистов важно понимать разницу между подобными патентами, ориентированными на UX и персонализацию, и патентами, описывающими алгоритмы ранжирования публичного веба.

Практические примеры

Практических примеров для применения в SEO нет. Однако можно рассмотреть сценарий работы механизма.

Сценарий: Поиск ранее просмотренного рецепта через голосовой ассистент

1. Действие пользователя: Пользователь 3 дня назад просматривал рецепт «Turkey Chili Recipe» на своем телефоне (Device 1).
2. Голосовой запрос (NLQ): Пользователь говорит ассистенту: «Я ищу рецепт индейки, который я читал на телефоне».
3. Обработка запроса:
   • Система классифицирует запрос как History-Seeking по фразе «Я ищу... который я читал».
   • Извлекаются фильтры: Тема = «рецепт индейки», Устройство = «на телефоне» (Device 1).
4. Персональный поиск: Система ищет в истории браузера пользователя документы, соответствующие теме «turkey recipe» и просмотренные с Device 1.
5. Результат: Система находит запись о просмотре «Turkey Chili Recipe» и выводит ее на первое место в результатах поиска или озвучивает ответ.