Как Яндекс обучает голосовых помощников (чат-ботов) поддерживать логичный диалог и соответствовать стилю общения пользователя

Описание

Какую задачу решает

Патент решает задачу повышения качества взаимодействия пользователя с интеллектуальными персональными ассистентами (Intelligent Personal Assistant (IPA) systems) или чат-ботами. Основная проблема существующих систем заключается в том, что они фокусируются преимущественно на предоставлении логически корректных ответов, игнорируя лингвистический стиль общения пользователя (например, формальный или неформальный). Это приводит к неестественности диалога. Изобретение направлено на выбор ответа, который не только логически связан с запросом, но и лингвистически соответствует контексту текущего разговора.

Что запатентовано

Запатентован метод выбора контекстно-зависимого ответа (context-specific response) для систем IPA. Суть изобретения заключается в использовании специально обученной нейронной сети для генерации векторных представлений диалогов и применении комбинированной оценки релевантности. Эта оценка учитывает как логическое сходство (logical similarity), так и лингвистическое сходство (linguistic similarity) между текущим контекстом разговора и потенциальными ответами из базы данных.

Как это работает

Система использует нейронную сеть, состоящую из двух частей: контекстной подсети и ответной подсети. Сеть обучается на исторических диалогах так, чтобы векторы контекста и последовавшего за ним реального ответа были максимально близки, а векторы контекста и случайного ответа — далеки друг от друга. При получении нового запроса система генерирует вектор текущего контекста. Затем она сравнивает этот вектор с базой исторических диалогов, вычисляя Ranking Score для каждого кандидата. Этот score является суммой двух показателей: (1) сходства между текущим контекстом и историческим контекстом (оценивает лингвистический стиль) и (2) сходства между текущим контекстом и историческим ответом (оценивает логику и лингвистику). Выбирается ответ с наивысшим Ranking Score.

Актуальность для SEO

Высокая (в контексте Conversational AI). Развитие голосовых помощников (таких как Яндекс Алиса) и чат-ботов является приоритетным направлением. Обеспечение естественности и контекстуальной релевантности диалога — ключевая задача в этой области. Описанные методы использования нейронных сетей и векторных представлений для анализа логики и лингвистики диалога полностью соответствуют современным трендам в NLP.

Важность для SEO

Влияние на SEO минимальное (1/10). Патент описывает внутренние механизмы работы интеллектуальных персональных ассистентов (чат-ботов/IPA), а не алгоритмы ранжирования веб-поиска. Он не дает понимания того, как Яндекс индексирует сайты, оценивает качество контента или определяет релевантность веб-страниц поисковым запросам. Технология направлена исключительно на генерацию следующей реплики в диалоге с учетом стиля общения пользователя.

Детальный разбор

Термины и определения

Context Snippet (Контекстный сниппет)

Часть диалога, предшествующая ответу. Включает предыдущие запросы и ответы в рамках текущей сессии. Определяет контекст разговора.

Context Sub-network (Контекстная подсеть)

Часть нейронной сети, отвечающая за обработку Context Snippet и генерацию Context Vector.

Context Vector (Контекстный вектор)

Векторное представление (эмбеддинг) контекстного сниппета, сгенерированное нейронной сетью. Отражает лингвистические и логические особенности контекста.

Conversation Snippet (Сниппет диалога)

Фрагмент диалога, используемый для обучения или индексации. Состоит из Context Snippet и соответствующего ему Response Snippet.

IPA (Intelligent Personal Assistant)

Интеллектуальный персональный ассистент (голосовой помощник или чат-бот), предназначенный для ведения диалога с пользователем.

Linguistic Similarity (Лингвистическое сходство)

Метрика, отражающая сходство стиля речи, используемой лексики и тональности (например, формальный или неформальный стиль).

Logical Similarity (Логическое сходство)

Метрика, отражающая смысловую и логическую связь между запросом и ответом.

Ranking Score (Оценка ранжирования)

Итоговая оценка кандидата на ответ. Рассчитывается как сумма (или взвешенная сумма) First Vector Similarity Value и Second Vector Similarity Value.

Response Snippet (Ответный сниппет)

Реплика (ответ), следующая за определенным контекстным сниппетом в диалоге.

Response Sub-network (Ответная подсеть)

Часть нейронной сети, отвечающая за обработку Response Snippet и генерацию Response Vector.

Response Vector (Ответный вектор)

Векторное представление (эмбеддинг) ответного сниппета.

Vector Similarity Value (Значение векторного сходства)

Метрика схожести между двумя векторами (например, скалярное произведение или векторное расстояние).

Ключевые утверждения (Анализ Claims)

Патент описывает систему выбора ответа для чат-бота, которая стремится обеспечить как логическую релевантность, так и соответствие стилю общения.

Claim 1 (Независимый пункт): Описывает основной метод выбора ответа.

Предварительные условия:

1. Существует база данных векторов. Каждый вектор соответствует историческому диалогу и состоит из Context Vector (вектор контекста) и Response Vector (вектор ответа).
2. Эти векторы сгенерированы нейронной сетью.
3. Нейронная сеть обучена таким образом, что схожесть между вектором контекста (C) и вектором реального ответа (R+) выше, чем схожесть между тем же контекстом (C) и вектором случайного/неправильного ответа (R-). (Обучение на триплетах).

Процесс выполнения:

1. Система получает текущий контекст диалога (Current Context Snippet), включая последний запрос пользователя.
2. Нейронная сеть генерирует вектор текущего контекста (Current Context Vector).
3. Для каждого потенциального ответа (из базы данных) вычисляется Ranking Score.
4. Критически важно: Ranking Score рассчитывается как СУММА двух значений:
• First Vector Similarity Value: Сходство между Current Context Vector и историческим Context Vector. Патент утверждает, что это значение указывает на лингвистическое сходство между текущим и историческим контекстами (т.е. насколько похож стиль общения).
• Second Vector Similarity Value: Сходство между Current Context Vector и историческим Response Vector. Патент утверждает, что это значение указывает на лингвистическое и логическое сходство между текущим контекстом и потенциальным ответом.
5. Система выбирает ответ с наилучшим (наивысшим) Ranking Score.

Claim 3: Уточняет, что нейронная сеть состоит из двух частей: Context sub-network (для обработки контекста) и Response sub-network (для обработки ответов).

Claim 5 и 6: Уточняют процесс обучения. Нейронная сеть обучается максимизировать разницу между схожестью позитивных пар (C, R+) и негативных пар (C, R-), возможно, с использованием порогового значения (threshold value).

Claim 8 и 9: Уточняют, что для расчета схожести может использоваться скалярное произведение (scalar multiplication) векторов.

Где и как применяется

Патент не относится к архитектуре веб-поиска Яндекс (Crawling, Indexing, Ranking, Blender). Он описывает работу прикладного сервиса — Интеллектуального Персонального Ассистента (IPA service), например, Яндекс Алисы или чат-бота поддержки.

Слой Приложений (Application Layer / IPA Service)

• Взаимодействие компонентов: Сервис IPA принимает текущий диалог от пользователя. Он использует обученную Neural Network (в частности, Context sub-network) для векторизации текущего контекста. Затем он обращается к базе данных предварительно рассчитанных векторов (Vector Database) для поиска кандидатов и расчета Ranking Scores.
• Данные на входе: Текст текущего диалога (Current Context Snippet), включающий историю разговора и последний запрос пользователя.
• Данные на выходе: Текст выбранного ответа (Current context-specific response), который наиболее подходит по логике и стилю.
• Технические особенности: Ключевой особенностью является разделение оценки на две составляющие (лингвистическую и логико-лингвистическую) и их последующее суммирование для финального ранжирования. Также важна архитектура обучения на триплетах (C, R+, R-) для настройки весов нейронной сети.

На что влияет

• Типы контента: Влияет исключительно на контент, генерируемый или выбираемый самим чат-ботом (реплики в диалоге). Не влияет на ранжирование веб-документов, товаров или локальных страниц в поиске.
• Специфические запросы: Применяется к диалоговым запросам в рамках сессии с IPA. Позволяет системе адаптироваться к стилю пользователя (например, отличать формальное общение от неформального).
• Ниши или тематики: Не имеет специфики по тематикам. Механизм является общим для поддержания естественности диалога.

Когда применяется

• Условия работы: Алгоритм активируется каждый раз, когда пользователь отправляет запрос в рамках диалога с IPA и система должна выбрать следующий ответ.
• Триггеры активации: Получение нового пользовательского запроса в контексте текущего диалога.

Пошаговый алгоритм

Процесс работы системы разделен на две фазы: Обучение (Офлайн) и Применение (Онлайн).

Фаза А: Обучение нейронной сети (Training Phase)

1. Сбор данных: Сбор большого массива реальных диалогов (например, из социальных сетей, чатов).
2. Формирование обучающих объектов (Триплетов): Для каждого момента диалога формируется триплет: Контекст (C) — предыдущие реплики; Позитивный ответ (R+) — реальный ответ, последовавший за контекстом; Негативный ответ (R-) — случайный ответ, не связанный с контекстом.
3. Прямое распространение (Forward-propagation):
   • Контекст (C) подается на вход Context sub-network для генерации вектора Vc.
   • Ответы (R+ и R-) подаются на вход Response sub-network для генерации векторов Vr+ и Vr-.
4. Расчет схожести: Вычисляется Positive-example vector similarity value (S+) между Vc и Vr+, и Negative-example vector similarity value (S-) между Vc и Vr-.
5. Расчет функции потерь (Penalty Value): Система стремится максимизировать разницу между S+ и S-. Если S+ не превышает S- (или не превышает на заданный порог), вычисляется штраф.
6. Обратное распространение (Back-propagation): Веса нейронной сети корректируются на основе штрафа, чтобы улучшить распознавание логических и лингвистических связей между контекстом и правильным ответом.

Фаза Б: Индексация базы ответов (Первая In-use Phase)

1. Обработка исторических диалогов: Используя обученную нейронную сеть, система обрабатывает набор исторических диалогов.
2. Генерация векторов: Для каждого диалога генерируется Context Vector (Vc) и Response Vector (Vr).
3. Сохранение: Векторы (часто конкатенированные Vc+Vr) сохраняются в Vector Database в привязке к соответствующим текстовым ответам.

Фаза В: Обработка запроса пользователя (Вторая In-use Phase)

1. Получение запроса: Система получает текущий контекст диалога (Current Context Snippet).
2. Векторизация контекста: Context sub-network генерирует вектор текущего контекста (V_current).
3. Поиск кандидатов: Система извлекает набор векторов-кандидатов из Vector Database (может использоваться приближенный поиск ближайших соседей).
4. Расчет Ranking Score: Для каждого кандидата (состоящего из исторического Vc_hist и Vr_hist) рассчитывается оценка:
• Вычисление First Similarity: S1 = Similarity(V_current, Vc_hist) — Лингвистическое сходство контекстов.
• Вычисление Second Similarity: S2 = Similarity(V_current, Vr_hist) — Логическое и лингвистическое сходство контекста и ответа.
• Ranking Score = S1 + S2 (или взвешенная сумма).
5. Выбор ответа: Выбирается текстовый ответ, соответствующий кандидату с максимальным Ranking Score.

Какие данные и как использует

Данные на входе

• Контентные факторы (Текстовые): Основные данные — это тексты диалогов. Для обучения используются исторические логи разговоров, собранные из различных источников (упомянуты социальные сети, чат-румы, электронные письма, текстовые сообщения). Во время работы используется текст текущего диалога (Current Context Snippet).

Другие типы факторов (ссылочные, поведенческие, технические, временные и т.д.) в контексте ранжирования веб-поиска в данном патенте не упоминаются.

Какие метрики используются и как они считаются

• Векторные представления (Эмбеддинги): Context Vector и Response Vector. Генерируются с помощью нейронной сети, обученной для распознавания логических и лингвистических паттернов.
• Vector Similarity Value: Метрика схожести между векторами. В патенте упоминаются два способа расчета:
  • Scalar multiplication (Скалярное произведение).
  • Vector distance (Векторное расстояние).
• Ranking Score: Финальная метрика для ранжирования ответов. Рассчитывается по формуле:

  $$RS = S_1 + S_2$$

  Где $S_1$ — сходство текущего и исторического контекстов (лингвистика), а $S_2$ — сходство текущего контекста и исторического ответа (логика и лингвистика).

• Weighted Sum (Взвешенная сумма): В патенте упоминается возможность использования взвешенной суммы для Ranking Score, что позволяет придавать больший вес логическому или лингвистическому сходству в зависимости от настроек.
• Алгоритмы машинного обучения: Используется нейронная сеть с архитектурой из двух подсетей (Context/Response sub-networks), обученная с помощью метода обратного распространения ошибки (back-propagation) на основе триплетов.

Выводы

1. Фокус на Conversational AI, не на Web Search: Основной вывод для SEO-специалистов заключается в том, что данный патент НЕ описывает алгоритмы ранжирования веб-поиска Яндекс. Он целиком посвящен улучшению качества диалогов в чат-ботах и голосовых помощниках (IPA).
2. Двойная оценка релевантности в диалогах: Яндекс разделяет оценку ответа в диалоге на две составляющие: соответствие стилю общения (лингвистическое сходство контекстов) и смысловое соответствие (логическое и лингвистическое сходство контекста и ответа). Обе составляющие одинаково важны для финального Ranking Score.
3. Адаптация под стиль пользователя: Цель системы — не навязать определенный стиль, а мимикрировать под стиль текущего разговора. Если пользователь общается формально, система выберет формальный ответ; если неформально — неформальный.
4. Сложное обучение нейросетей: Для достижения этого эффекта используется сложная архитектура обучения нейронной сети на триплетах (Контекст, Правильный ответ, Неправильный ответ), что позволяет сети улавливать тонкие логические и стилистические нюансы.

Практика

Best practices (это мы делаем)

Патент описывает внутренние процессы работы чат-ботов (IPA) Яндекс без прямых рекомендаций для SEO-специалистов, занимающихся продвижением сайтов в веб-поиске.

Единственное косвенное применение может быть связано с оптимизацией чат-ботов на собственном сайте (если они используют схожие технологии) или пониманием работы голосовых помощников Яндекса:

• Понимание принципов работы Conversational AI: SEO-специалистам полезно понимать, как работают голосовые помощники, так как они являются частью экосистемы поиска. Патент показывает, что для этих систем важна не только логика, но и естественность (стиль) диалога.

Worst practices (это делать не надо)

Для SEO специалистов, занимающихся веб-поиском, нет практик, которые этот патент делал бы неэффективными или опасными, так как он не связан с ранжированием сайтов.

Стратегическое значение

Стратегическое значение для SEO низкое. Патент подтверждает инвестиции Яндекса в развитие интеллектуальных ассистентов и технологий обработки естественного языка (NLP) для создания более человекоподобного взаимодействия. Это подчеркивает общее движение индустрии в сторону диалоговых интерфейсов, но не меняет фундаментальных принципов SEO для веб-поиска.

Практические примеры

Практических примеров применения данного патента в работе по SEO продвижению сайтов нет. Приведем пример работы самого алгоритма в контексте чат-бота.

Сценарий: Адаптация стиля ответа

1. Текущий диалог (Current Context Snippet):
   
   Пользователь: «Йоу, ты тут?»
   
   Бот: «Ага.»
   
   Пользователь: «Че как?»
2. Действие системы: Система генерирует вектор текущего контекста (V_current), который отражает неформальный стиль общения.
3. Анализ кандидатов:
   • Кандидат A (Формальный): Контекст: «Как ваши дела?» Ответ: «Я функционирую в штатном режиме».
   • Кандидат B (Неформальный): Контекст: «Как житуха?» Ответ: «Все пучком. Норм.»
4. Расчет оценок:
   • Кандидат A: Низкое лингвистическое сходство контекстов (S1), среднее логическое сходство ответа (S2). Итоговый Score низкий.
   • Кандидат B: Высокое лингвистическое сходство контекстов (S1), высокое логическое и лингвистическое сходство ответа (S2). Итоговый Score высокий.
5. Результат: Бот выберет ответ, близкий к Кандидату B («Все пучком. Норм.»), вместо логически корректного, но стилистически неподходящего ответа Кандидата A.

Вопросы и ответы