Как Google автоматически выявляет новые термины и классифицирует их по темам для создания специализированных словарей

Термины и определения

Candidate Topic Word (Слово-кандидат в тему)

Слово (новое или существующее), которое еще не включено в тематический словарь данной темы и оценивается на предмет принадлежности к ней.

Candidate Topic Word Divergence Value (Значение дивергенции слова-кандидата)

Статистическая мера (R), рассчитываемая для слова-кандидата. Показывает, насколько распределение этого слова в тематическом корпусе отличается от его распределения в общем корпусе.

Centroid (Центроид)

Вектор, представляющий центр кластера документов в тематическом пространстве. Используется в процессе кластеризации для определения принадлежности документа к теме.

Development Corpus (Корпус разработки)

Часть корпуса текстов, используемая для оценки качества языковой модели и подсчета фактических частот (D(w)) при обнаружении новых слов.

Divergence Value (Значение дивергенции)

Общий термин для статистической меры, используемой для определения тематичности слова. Основан на соотношении вероятности слова в теме (Pd(w)) к вероятности слова в общем корпусе (P(w)).

Domain Dictionary / Topic Dictionary (Доменный/Тематический словарь)

Специализированный словарь, содержащий слова и фразы, относящиеся к определенной теме (например, словарь спортивных терминов).

Entropy (Энтропия)

Мера неопределенности в корпусе текстов. Используется для обнаружения новых слов: если добавление нового слова в модель снижает энтропию, это указывает на его значимость.

Information Gain (IG) (Прирост информации)

Величина, на которую снижается энтропия при внесении изменений в модель (например, при добавлении нового слова). Связан с концепцией Энтропии.

New Word (Новое слово)

Последовательность символов или существующих слов, которая статистически ведет себя как единая лексическая единица (слово) и ранее не была известна системе.

TF-IDF (Term Frequency/Inverse Document Frequency)

Статистическая мера, используемая для оценки важности слова в контексте документа. Используется для создания векторов документов при кластеризации.

Topic Divergence Value (Пороговое значение дивергенции темы)

Пороговое значение (S или T), основанное на значениях дивергенции уже известных тематических слов. Используется как эталон для оценки кандидатов.

Topic Document Corpus (Тематический корпус документов)

Набор документов из общего корпуса, которые были классифицированы как относящиеся к определенной теме.

Training Corpus (Обучающий корпус)

Часть корпуса текстов, используемая для построения языковой модели и расчета базовых вероятностей слов (P(w)).

Ключевые утверждения (Анализ Claims)

Патент охватывает два основных процесса: создание доменных словарей (основной фокус Claims) и обнаружение новых слов (описанное как метод генерации кандидатов).

Claim 1 (Независимый пункт): Описывает основной процесс создания доменного словаря.

1. Система определяет Topic Divergence Value (пороговое значение S). Это значение пропорционально отношению распределения известного тематического слова в Topic Document Corpus к его распределению в общем Document Corpus.
2. Система определяет Candidate Topic Word Divergence Value (значение R) для слова-кандидата. Кандидат определяется как слово, которое еще *не* находится в тематическом словаре данной темы.
3. Система определяет, является ли кандидат New Topic Word, основываясь на сравнении R и S.

Claim 3 (Зависимый от 1): Уточняет, как рассчитывается пороговое значение (S).

1. Выбираются существующие тематические слова.
2. Для каждого из них рассчитывается индивидуальное значение дивергенции (Q).
3. Пороговое значение (S) определяется на основе центральной тенденции (например, среднего значения) этих индивидуальных значений Q.

Claim 5 (Зависимый от 1): Уточняет условие принятия решения. Кандидат признается новым тематическим словом, если его значение дивергенции (R) больше порогового значения (S).

Claim 8 (Зависимый от 1): Включает механизм обнаружения новых слов как способ получения кандидатов для Claim 1.

1. Определяются частоты слов в Training Corpus и Development Corpus.
2. Рассчитывается мера энтропии для кандидата (Candidate Word Entropy Measure).
3. Рассчитывается мера энтропии для существующих слов, составляющих кандидата (Existing Word Entropy Measure).
4. Если мера энтропии кандидата превышает меру энтропии существующих слов (что указывает на снижение общей энтропии системы при принятии кандидата как слова), кандидат определяется как Candidate Topic Word (т.е. новое слово, готовое к классификации).

Где и как применяется

Изобретение относится к фундаментальным процессам обработки языка и построения языковых моделей.

INDEXING – Индексирование и извлечение признаков
Основной этап применения. В ходе индексирования контента система выполняет несколько ключевых задач, описанных в патенте:

1. Сегментация и обнаружение новых слов: Анализ контента для определения границ слов (особенно в языках без пробелов) и выявление новой терминологии с использованием анализа энтропии.
2. Кластеризация контента: Анализ документов и их группировка по темам (создание Topic Document Corpus). Это включает расчет TF-IDF и определение центроидов тем.
3. Построение языковых моделей и словарей: Расчет вероятностей слов в общем и тематических корпусах. Вычисление Divergence Values и автоматическое обновление Domain Dictionaries.

QUNDERSTANDING – Понимание Запросов
Результаты работы системы (обновленные доменные словари) используются на этом этапе. Когда пользователь вводит запрос, система использует эти словари для лучшего понимания интента и тематики запроса, особенно если он содержит новую или узкоспециализированную терминологию.

Входные данные:

• Общий корпус документов (Word Corpus / Document Corpus).
• Существующие словари (включая базовые и тематические).

Выходные данные:

• Идентифицированные новые слова.
• Обновленные и расширенные тематические словари (Domain Dictionaries).
• Языковые модели с обновленными вероятностями слов.

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние оказывается на специализированные ниши (медицина, финансы, технологии, спорт), где часто используется специфическая терминология и появляются новые термины (например, YMYL-тематики).
• Типы контента: Влияет на анализ любого текстового контента, особенно на контент, богатый терминологией (статьи, обзоры, техническая документация).
• Языковые ограничения: Особое внимание уделяется языкам без явных разделителей слов (китайский, японский, корейский), но механизмы обнаружения новых терминов и тематической классификации применимы ко всем языкам, включая русский и английский.

Когда применяется

• Триггеры активации (Обнаружение новых слов): Активируется, когда система обрабатывает новый контент и встречает последовательности символов/слов, которые могут образовывать новую лексическую единицу. Критерий активации — потенциальное снижение энтропии (Information Gain).
• Триггеры активации (Тематическая классификация): Активируется для слов-кандидатов (новых или неклассифицированных). Критерий активации — превышение порога Divergence Value для конкретной темы.
• Временные рамки: Процессы выполняются офлайн или в ходе регулярного обновления индексов и языковых моделей (ежедневно, еженедельно).

Пошаговый алгоритм

Система состоит из двух основных процессов.

Процесс А: Обнаружение новых слов (New Word Detection)

1. Подготовка данных: Разделение корпуса на Training Corpus (для расчета вероятностей P) и Development Corpus (для подсчета фактических вхождений D).
2. Построение языковой модели: Обучение языковой модели (например, N-gram) на Training Corpus для получения базовых вероятностей слов.
3. Идентификация кандидата: Выбор последовательности существующих слов (например, x и y) в качестве кандидата в новое слово (x,y).
4. Сбор статистики: Подсчет вхождений кандидата D(x,y) и его составляющих D(x), D(y) в Development Corpus. Получение вероятностей P(x,y), P(x), P(y) из Training Corpus.
5. Расчет первой меры энтропии (V1): Вычисление значения, связанного с энтропией, если (x,y) считается единым словом.
6. Расчет второй меры энтропии (V2): Вычисление значения, связанного с энтропией, если x и y считаются отдельными словами (с учетом корректировки вероятностей).
7. Сравнение и принятие решения: Сравнение V1 и V2. Если V1 > V2 (что эквивалентно снижению общей энтропии H' < H), кандидат (x,y) признается новым словом.

Процесс Б: Создание доменных словарей (Topic Word Identification)

1. Кластеризация документов: Группировка документов из общего корпуса в тематические кластеры (например, с использованием итеративного процесса K-means с TF-IDF векторами и центроидами). Создание Topic Document Corpus для каждой темы.
2. Выбор эталонных слов: Выбор существующих слов из тематического словаря.
3. Расчет эталонных дивергенций (Q): Для каждого эталонного слова (w) вычисление его Divergence Value (Q) на основе его вероятности в теме (Pd(w)) и в общем корпусе (P(w)).
4. Определение порога (S): Вычисление центральной тенденции (например, среднего) значений Q для определения порогового значения темы (Topic Divergence Value, S).
5. Выбор кандидата: Выбор слова-кандидата (Wc), который еще не находится в словаре этой темы (может быть словом из Процесса А).
6. Расчет дивергенции кандидата (R): Вычисление Divergence Value (R) для кандидата на основе Pd(Wc) и P(Wc).
7. Сравнение и классификация: Сравнение R и S. Если R > S (или масштабированного порога T), кандидат Wc признается тематическим словом и добавляется в словарь.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на статистическом анализе текстовых данных.

• Контентные факторы: Используются частоты слов (word frequencies) и последовательности слов (N-grams) в больших корпусах текстов (веб-документы, электронные коммуникации, логи запросов). Анализируется совместная встречаемость слов.

Другие типы факторов (ссылочные, поведенческие, технические и т.д.) в данном патенте не упоминаются.

Какие метрики используются и как они считаются

Система использует метрики из теории информации и статистики.

Метрики для обнаружения новых слов:

• P(w) (Probability): Вероятность слова в Training Corpus.
• D(w) (Count): Количество вхождений слова в Development Corpus.
• Entropy (H) (Энтропия): Мера неопределенности корпуса. Формула: