Как Google извлекает сущности из активности пользователя для запуска проактивных (имплицитных) поисковых запросов

Термины и определения

Article (Статья/Документ)

Любой элемент контента, с которым взаимодействует пользователь: документ word processor, email, веб-страница, файл PDF, аудио/видео файл и т.д.

Event (Событие)

Действие пользователя или системное событие, фиксируемое системой. События используются для определения текущего контекста пользователя. Делятся на Contextual Events (краткосрочные, например, последние набранные слова) и Real-time Events (более значимые, например, открытие файла).

Implicit Search Query (Имплицитный поисковый запрос)

Поисковый запрос, сгенерированный системой автоматически на основе контекста пользователя, без явного ввода запроса пользователем.

Named Entity (Именованная сущность)

Термин, фраза или идентификатор, который система определила как релевантный или значимый. Примеры: имена людей, email-адреса, названия организаций, конкретные темы или часто используемые фразы.

Named Entity List (Список именованных сущностей)

Коллекция идентифицированных именованных сущностей, часто хранимая в оперативной памяти (например, в виде хэш-таблицы) для быстрого доступа.

Part of Speech (PoS) Tagging (Разметка частей речи)

Процесс анализа текста и определения грамматической роли каждого слова (существительное, глагол, прилагательное и т.д.). Используется для более точного извлечения сущностей.

TF-IDF (Term Frequency-Inverse Document Frequency)

Метрики, используемые для оценки важности слова. TF (частота термина в документе) и IDF (обратная частота документа – насколько редко слово встречается в корпусе документов). Слова с низким IDF (частые слова) часто игнорируются, а слова с высоким IDF могут быть идентифицированы как сущности.

Weight Attribute (Атрибут веса)

Числовое значение, присваиваемое именованной сущности, указывающее на вероятность того, что данный термин действительно является значимой сущностью. Используется для приоритизации при генерации запросов.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод генерации имплицитного запроса на основе взвешенных сущностей.

1. Система определяет коллекцию именованных сущностей (named entity terms) в хранилище данных, связанных с пользователем. Каждой сущности присвоен вес (associated weight), указывающий на вероятность того, что это значимая сущность.
2. Идентифицируется событие (event), представляющее собой взаимодействие пользователя с документом (article).
3. В рамках этого события идентифицируется набор именованных сущностей.
4. Для каждой идентифицированной сущности извлекается ее вес из коллекции.
5. Автоматически создается имплицитный поисковый запрос (implicit search query) на основе сущностей и их весов. Запрос формируется так, что он в большей степени зависит от сущностей с высоким весом (более высокая вероятность значимости), чем от сущностей с низким весом.
6. Генерируются результаты поиска, релевантные этому запросу.
7. Результаты предоставляются для отображения.

Claim 15 (Независимый пункт): Описывает схожий процесс с фокусом на пороговые значения для отображения результатов.

1. Система определяет коллекцию взвешенных именованных сущностей.
2. Получается событие, связанное с взаимодействием пользователя с документом.
3. Идентифицируются сущности в событии и их веса.
4. Автоматически создается имплицитный запрос, приоритизирующий сущности с более высоким весом.
5. Запрос передается поисковой системе.
6. Получается набор результатов (result set).
7. Результаты выводятся пользователю только в том случае, если связанная с ними оценка (associated score, например, релевантность) превышает определенный порог.

Где и как применяется

Важно понимать, что этот патент описывает систему для имплицитного (контекстного) поиска, которая часто работает на стороне клиента (например, в браузере или как отдельное приложение) и использует персонализированные данные. Однако описанные технологии (NER) применяются и в основном веб-поиске Google.

INDEXING – Индексирование и извлечение признаков

• Персонализированное индексирование: Система индексирует локальные данные пользователя (письма, документы, историю IM) для построения персонализированного Named Entity List. Используются методы NLP, такие как PoS Tagging и расчет IDF, для идентификации значимых сущностей.
• Веб-индексирование (Технология): Методы NER, описанные в патенте (идентификация имен, организаций, редких терминов), используются Google при индексировании веб-контента для извлечения сущностей и их связи с Knowledge Graph.

QUNDERSTANDING – Понимание Запросов

• Имплицитные запросы: Основное применение патента. Система анализирует текущий контекст (Event), извлекает из него Named Entities, используя Named Entity List, и формирует имплицитный запрос.

RANKING и RERANKING

• Ранжирование имплицитных результатов: Система выполняет сгенерированный запрос и ранжирует результаты. Ранжирование может учитывать персонализированные сигналы и вес сущностей, инициировавших запрос. Результаты фильтруются по порогу релевантности (Claim 15).

Входные данные:

• Текущие события пользователя (Events): набранный текст, открытый документ, полученное сообщение.
• Named Entity List с весами (Weight Attribute).
• Корпус документов пользователя (для расчета IDF и построения списка сущностей).

Выходные данные:

• Имплицитный поисковый запрос.
• Набор результатов поиска, отфильтрованный по релевантности.

На что влияет

• Типы контента: Влияет на все типы контента, с которыми взаимодействует пользователь (emails, документы, веб-страницы). Особенно эффективно для контента с четко выраженными сущностями (имена, адреса, специфические темы).
• Персонализация: Патент напрямую связан с персонализацией поиска, так как Named Entity List часто строится на основе личных данных пользователя.

Когда применяется

• Триггеры активации: Система активируется при возникновении событий (Events). Это может быть набор определенного количества слов, завершение предложения (ввод знака препинания), открытие нового документа, получение email или сообщения в мессенджере.
• Условия: Применяется, когда система может идентифицировать в текущем контексте одну или несколько значимых именованных сущностей из своего списка.

Пошаговый алгоритм

Процесс А: Построение и поддержка Списка Именованных Сущностей (Офлайн/Фоновый режим)

1. Сбор данных: Анализ корпуса данных пользователя (логи мессенджеров, почтовые ящики, документы, история браузера, списки контактов).
2. Извлечение кандидатов: Идентификация потенциальных сущностей. Методы включают:
   • Извлечение адресатов/отправителей из полей To/From/Cc/Bcc.
   • Извлечение имен из списков контактов/IM.
   • Использование PoS Tagging для идентификации существительных и имен собственных.
   • Идентификация часто используемых фраз или терминов из явных запросов пользователя.
3. Фильтрация и Оценка:
   • Расчет частотности (DF или IDF). Фильтрация слишком частых слов (например, общих имен или стоп-слов).
   • Присвоение веса (Weight Attribute) каждой сущности на основе ее типа и значимости для пользователя.
4. Хранение: Сохранение Named Entity List. Приоритетные сущности хранятся в оперативной памяти (RAM) для быстрого доступа.

Процесс Б: Генерация Имплицитного Запроса (Реальное время)

1. Получение события: Система фиксирует событие (например, пользователь набирает текст).
2. Извлечение текста: Извлечение текста, связанного с событием (например, последнее предложение).
3. Идентификация сущностей: Поиск терминов из текста в Named Entity List.
4. Формирование запроса: Создание имплицитного поискового запроса на основе найденных сущностей. Запрос взвешивается так, чтобы сущности с большим Weight Attribute имели большее влияние.
5. Выполнение запроса: Передача запроса поисковой системе (локальной или глобальной).
6. Обработка результатов: Получение и ранжирование результатов.
7. Фильтрация и отображение: Применение порога релевантности. Если результаты превышают порог, они отображаются пользователю.

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных, связанных с пользователем и его активностью:

• Контентные факторы: Текст активных документов, электронных писем (включая тему и тело), сообщений мессенджеров, просматриваемых веб-страниц (включая заголовки и текст), имена файлов и директорий, анкорный текст ссылок на просмотренные страницы.
• Поведенческие факторы: Термины, которые пользователь часто использует в явных поисковых запросах; частота использования определенных терминов в документах; паттерны коммуникации (с кем пользователь часто общается).
• Пользовательские данные: Списки контактов (Contact lists), списки задач (To-do lists), данные из календаря.
• Внешние данные: Упоминается возможность загрузки списка сущностей из новостей.

Какие метрики используются и как они считаются

• Weight Attribute (Вес сущности): Метрика, определяющая значимость сущности. Рассчитывается на основе типа сущности (например, email адрес может иметь больший вес, чем обычное существительное) и ее релевантности пользователю.
• TF (Term Frequency): Частота термина в конкретном документе или потоке данных.
• IDF (Inverse Document Frequency): Обратная частота документа. Используется для идентификации редких, а значит, потенциально важных терминов. Патент указывает, что существительные с высоким IDF (т.е. редко встречающиеся в репозитории пользователя) добавляются в список сущностей.
• DF (Document Frequency): Частота документа. Используется для фильтрации слишком общих слов (высокий DF).
• Part of Speech (PoS) Tagging: Используется для определения грамматической роли слов. Система может приоритизировать существительные (Nouns) и имена собственные (Proper Nouns).
• Relevance Score (Оценка релевантности): Используется для фильтрации результатов имплицитного поиска перед показом пользователю (порог).

1. Фокус на распознавании сущностей (NER): Патент демонстрирует ранние, но фундаментальные методы Google для идентификации именованных сущностей. Это подтверждает, что идентификация конкретных объектов (людей, мест, тем) является ключевой задачей поисковой системы.
2. Приоритет специфичности (IDF): Система активно использует метрику IDF для определения важности термина. Предпочтение отдается более редким и специфичным терминам, а не общим словам. Это подчеркивает важность использования точной терминологии в контенте.
3. Использование грамматического анализа (PoS Tagging): Google использует разметку частей речи для улучшения качества извлечения сущностей. Система может отличать существительные от глаголов и идентифицировать имена собственные, что требует грамматически правильного и структурированного контента.
4. Взвешивание сущностей: Не все идентифицированные сущности считаются одинаково важными. Система присваивает им веса (Weight Attribute) и при генерации запросов отдает приоритет более значимым сущностям.
5. Персонализация как источник сущностей: Патент явно указывает на использование личных данных пользователя (email, контакты, документы) для формирования списка релевантных сущностей. Это подчеркивает важность персонализированного контекста в понимании интента.

Best practices (это мы делаем)

Хотя патент фокусируется на имплицитном поиске, описанные методы NER имеют прямое отношение к тому, как Google анализирует веб-контент.

• Четкая идентификация сущностей: Убедитесь, что ключевые сущности вашего контента (названия продуктов, имена людей, организации, локации) представлены ясно и недвусмысленно. Используйте имена собственные и последовательную терминологию.
• Фокус на специфичных терминах (Высокий IDF): При создании контента используйте точную и специфичную для ниши терминологию. Патент показывает, что термины с высоким IDF (более редкие) с большей вероятностью будут идентифицированы как значимые сущности.
• Использование правильной грамматической структуры: Пишите ясно и грамматически корректно. Использование PoS Tagging означает, что система анализирует структуру предложений для идентификации сущностей (например, определяя существительные и имена собственные по контексту и капитализации).
• Оптимизация под Knowledge Graph: Применяйте микроразметку Schema.org для явного указания сущностей и их связей. Это помогает системам NER, подобным описанной, корректно интерпретировать контент.

Worst practices (это делать не надо)

• Использование неоднозначных терминов: Использование терминов, которые могут быть интерпретированы по-разному или имеют множество значений, затрудняет идентификацию конкретной Named Entity.
• Фокус только на общих запросах (Низкий IDF): Оптимизация исключительно под высокочастотные общие запросы может привести к тому, что контент не будет ассоциирован с конкретными значимыми сущностями.
• Неструктурированный и грамматически некорректный текст: Текст, написанный с ошибками или в виде сплошного потока без четкой структуры, усложняет работу алгоритмов PoS Tagging и снижает эффективность извлечения сущностей.

Стратегическое значение

Этот патент подтверждает стратегическую важность Named Entity Recognition (NER) в экосистеме Google. Успех в современном SEO напрямую зависит от способности структурировать информацию таким образом, чтобы поисковые системы могли легко идентифицировать ключевые сущности и их атрибуты. Стратегия должна быть направлена на построение семантического кокона и четкое определение тематики сайта через связанные сущности, а не просто набор ключевых слов.

Практические примеры

Сценарий: Оптимизация страницы биографии эксперта

Цель – обеспечить точное извлечение сущностей, связанных с экспертом.

1. Действие: Убедиться, что полное имя эксперта (Имя Собственное) используется последовательно и выделено (например, в H1).
2. Обоснование (Патент): Система использует капитализацию и PoS Tagging для идентификации имен собственных как Named Entities.
3. Действие: Четко указать названия организаций, с которыми связан эксперт (места работы, университеты).
4. Обоснование (Патент): Названия организаций являются ключевыми Named Entities.
5. Действие: Использовать специфическую профессиональную терминологию для описания области экспертизы (например, "Специалист по Information Retrieval" вместо "Эксперт по поиску").
6. Обоснование (Патент): Специфичные термины имеют более высокий IDF и с большей вероятностью будут идентифицированы как значимые сущности, определяющие тематику.
7. Ожидаемый результат: Поисковая система более точно идентифицирует ключевые сущности на странице, что способствует улучшению позиций по запросам, связанным с этими сущностями, и повышает вероятность попадания в Knowledge Graph.