Как Google использует NLP, Proximity Score и Query Score для извлечения сущностей и приоритизации контента на основе структуры текста и контекста пользователя

Термины и определения

Descriptive Phrases (Описательные фразы)

Сегменты текста, оставшиеся после удаления Program Showing Data. Содержат основную семантическую информацию о контенте.

Keyword Phrases (Ключевые фразы)

Определенное пороговое количество Noun Phrases, выбранных в качестве поисковых запросов.

Noun Phrases (Именные группы / Сущности)

Фразы, извлеченные из Descriptive Phrases с помощью NLP или сопоставления с известными именами (known proper names). Являются основными семантическими единицами.

OCR (Optical Character Recognition)

Оптическое распознавание символов. В данном патенте — метод извлечения текста из изображения экрана.

Program Showing Data (Данные о показе программы)

Метаданные, связанные с трансляцией, а не с содержанием: время, дата, название станции, шаблонные данные (boilerplate data). Эти данные удаляются при анализе.

Proximity Score (Оценка близости)

Метрика, присваиваемая каждой Keyword Phrase на основе порядка ее появления (order of appearance) в исходном тексте.

Query Score (Оценка запроса)

Метрика, присваиваемая результатам поиска, основанная на контекстуальных данных: местоположении (location data), истории поиска (search history) и предпочтениях пользователя (user preferences).

Relevance Score (Оценка релевантности)

Итоговая оценка, используемая для ранжирования результатов. Вычисляется путем умножения Query Score на соответствующий Proximity Score.

Text Overlay (Текстовый оверлей)

Информационная панель на экране ТВ, содержащая информацию о программе.

Ключевые утверждения (Анализ Claims)

Патент содержит много утверждений, связанных с аппаратной интеграцией (OCR). Ниже приведен анализ Claims, наиболее релевантных для NLP и SEO.

Claim 1 (Независимый пункт): Описывает общую систему идентификации и поиска контента.

1. Система получает запрос на поиск контента, связанного с медиапрограммой.
2. Система получает изображение экрана и анализирует его на наличие информационного оверлея.
3. При наличии оверлея извлекает текст.
4. Генерирует поисковые термины из извлеченного текста.
5. Выполняет интернет-поиск и передает результаты на устройство отображения.

Ядром является автоматизированный процесс генерации релевантных поисковых запросов на основе анализа контекстного текста.

Claim 11 (Зависимый от 1): Детализирует процесс генерации поисковых терминов.

1. Идентификация именных групп (Noun Phrases) в извлеченном тексте.
2. Выбор порогового количества именных групп в качестве поисковых терминов.

Это подтверждает, что именные группы (сущности) являются основными семантическими единицами для генерации запросов.

Claim 12 и 13 (Зависимые от 11): Детализируют процесс идентификации именных групп.

Процесс включает удаление Program Showing Data для получения Descriptive Phrases. Затем Noun Phrases идентифицируются путем удаления глаголов (Claim 12) или путем сравнения сегментов текста с известными названиями шоу, фильмов, спортивных событий и именами собственными (Claim 13).

Claim 17 (Зависимый от 16): Детализирует механизм оценки (Scoring) результатов поиска. Это ключевое утверждение для SEO.

1. Категоризация результатов поиска.
2. Присвоение Query Score (на основе местоположения, истории поиска и предпочтений пользователя).
3. Присвоение Proximity Score каждой именной группе (поисковому термину) на основе порядка ее появления в извлеченном тексте.
4. Умножение Query Score на соответствующий Proximity Score для получения Relevance Score.

Эта формула определяет логику ранжирования связанного контента, явно используя структуру исходного текста (порядок появления) и персонализацию/контекст.

Где и как применяется

Хотя изобретение описано в контексте клиентского устройства (Smart TV), описанные принципы NLP и ранжирования имеют более широкое применение в архитектуре поиска.

INDEXING – Индексирование и извлечение признаков
Описанные NLP-техники (идентификация и приоритизация именных групп на основе порядка появления) напрямую связаны с тем, как поисковые системы анализируют контент во время индексации для понимания основных тем документа и относительной важности упомянутых сущностей.

QUNDERSTANDING – Понимание Запросов
Патент напрямую описывает методы Генерации Запросов (Query Generation). Система берет блок текста и преобразует его в набор приоритизированных поисковых запросов (Keyword Phrases), используя NLP для извлечения сущностей.

RANKING / RERANKING – Ранжирование
Патент описывает конкретный алгоритм ранжирования для найденного контента. Механизм оценки (Relevance Score = Query Score * Proximity Score) демонстрирует принципы, которые Google использует для определения релевантности: важность порядка упоминания в источнике и важность персонализации.

Входные данные:

• Текст, извлеченный из источника.
• Данные о известных сущностях (known proper names).
• Эвристики поиска (Search Heuristics) с сервера.
• Контекст пользователя (местоположение, история, предпочтения).

Выходные данные:

• Набор приоритизированных поисковых запросов (Keyword Phrases).
• Отсортированный список результатов поиска с рассчитанными Relevance Scores.

На что влияет

• Структура контента: Влияет на то, как должна быть структурирована информация. Патент предполагает, что порядок упоминания сущностей в тексте влияет на их воспринимаемую важность (Proximity Score).
• Типы контента: Наибольшее влияние на контент, содержащий описательные блоки текста (статьи, обзоры, описания продуктов), где необходимо выделить и приоритизировать ключевые сущности.
• Пользовательские факторы: Система явно учитывает персонализацию (Query Score) при определении финальной релевантности.

Когда применяется

В контексте патента алгоритм применяется для автоматического поиска связанного контента для медиапрограммы.

В более широком контексте SEO эти принципы NLP применяются всякий раз, когда Google необходимо понять темы и их приоритет в блоке текста, например, при индексации, для генерации связанных поисков (Related Searches) или определения основной тематики страницы.

Пошаговый алгоритм

Детальный алгоритм анализа текста и ранжирования результатов (на основе FIG. 10):

1. Сегментация и Очистка: Исходный текст анализируется для идентификации Описательных Фраз (Descriptive Phrases). Для этого из текста удаляются Данные о показе программы (Program Showing Data) — время, дата, канал, шаблонные данные.
2. Семантическое Извлечение: В Descriptive Phrases идентифицируются Именные Группы (Noun Phrases). Используется NLP и сравнение с известными сущностями.
3. Приоритизация и Выбор: Пороговое количество Noun Phrases выбирается в качестве Ключевых Фраз (Keyword Phrases) для поиска.
4. Уточнение (Опционально): Keyword Phrases уточняются (исправление ошибок, сверка с известными именами или эвристиками).
5. Выполнение Поиска: Выполняется интернет-поиск по каждой из Keyword Phrases.
6. Категоризация: Результаты поиска для каждой фразы категоризируются (например, веб-страница, новость, изображение).
7. Расчет Query Score: Топовым результатам поиска присваивается Query Score. Эта оценка учитывает контекст пользователя (местоположение, историю, предпочтения).
8. Расчет Proximity Score: Каждой Keyword Phrase присваивается Proximity Score на основе порядка ее появления в исходном тексте.
9. Расчет Relevance Score: Соответствующие Query Scores умножаются на Proximity Scores для получения итоговой Оценки Релевантности (Relevance Score).
10. Ранжирование и Представление: Результаты сортируются на основе Relevance Scores и представляются пользователю.

Какие данные и как использует

Данные на входе

• Контентные и Структурные факторы: Используется сырой текст описания. Критически важна структура и порядок слов в этом тексте, так как они определяют Proximity Score.
• Пользовательские факторы: Местоположение пользователя (location data), история поиска (search history) и предпочтения пользователя (user preferences) используются для расчета Query Score.
• Системные данные:
  • Известные имена и сущности (known proper names, названия шоу, фильмов) используются для идентификации и уточнения Noun Phrases.
  • Эвристики поиска (Search Heuristics), предоставленные сервером.

Какие метрики используются и как они считаются

• Идентификация Noun Phrases: Используются методы NLP и сопоставление с базой известных сущностей.
• Query Score: Метрика, основанная на контексте пользователя (история, местоположение, предпочтения).
• Proximity Score: Метрика, основанная на порядке появления (order of appearance) ключевой фразы в исходном тексте. Фразы, появившиеся раньше, получают более высокий балл.
• Relevance Score: Итоговая оценка ранжирования. Формула расчета: $\text{Relevance Score} = \text{Query Score} \times \text{Proximity Score}$.

1. Именные группы (Сущности) как основа семантики: Патент подтверждает, что Noun Phrases являются основными семантическими единицами, которые Google извлекает из текста для понимания его сути и генерации связанных запросов. Это фундамент Entity SEO.
2. Порядок появления имеет значение (Proximity Score): Это одно из самых важных открытий для SEO. Патент явно указывает, что порядок появления фразы в тексте используется для расчета Proximity Score. Концепции, упомянутые ранее в тексте, считаются более приоритетными.
3. Важность очистки текста: Система активно удаляет нерелевантные данные (шаблонный текст, служебную информацию), чтобы сфокусироваться на чистых описательных фразах (Descriptive Phrases).
4. Контекст и персонализация (Query Score): Релевантность концепции не абсолютна. Она зависит от контекста пользователя (история, местоположение), что отражено в Query Score.
5. Мультипликативная модель ранжирования (R=Q*P): Итоговый рейтинг (Relevance Score) является произведением контекстуальной релевантности (Query Score) и текстуальной значимости (Proximity Score). Обе составляющие должны быть высокими для достижения топа.

Best practices (это мы делаем)

• Применение принципа «Перевернутой Пирамиды»: Структурируйте контент так, чтобы наиболее важные сущности и выводы упоминались в самом начале текста (заголовок, лид, первый абзац). Proximity Score явно использует порядок появления как сигнал важности.
• Фокус на Entity SEO и именных фразах: Сосредоточьтесь на четком и недвусмысленном описании ключевых сущностей (Noun Phrases). Убедитесь, что система может легко идентифицировать их и сопоставить с Графом Знаний.
• Написание четких и описательных текстов: Создавайте контент, богатый Descriptive Phrases. Оптимизируйте описания (Descriptions/Snippets), делая их краткими и емкими, чтобы системы автоматического анализа могли эффективно их обработать.
• Минимизация шаблонов в основном контенте: Убедитесь, что основной текст не перегружен шаблонными элементами (boilerplate), которые могут быть отфильтрованы как шум (аналог Program Showing Data) и снизить плотность полезных описательных фраз.

Worst practices (это делать не надо)

• «Закапывание» ключевых концепций: Размещение важных сущностей и выводов глубоко в тексте или только в конце документа. Это приведет к низкому Proximity Score для этих концепций при автоматическом анализе.
• "Водянистые" тексты без явных сущностей: Контент, перегруженный общими фразами и глаголами, но бедный конкретными именными фразами, будет плохо обрабатываться системами автоматического извлечения сущностей.
• Игнорирование контекста пользователя: Создание универсального контента без учета локализации и персонализации. Query Score показывает, что эти факторы критичны для финального ранжирования.

Стратегическое значение

Патент подтверждает стратегическую зависимость Google от NLP и извлечения сущностей для понимания тематики контента. Он предоставляет редкое явное упоминание того, как текстуальная структура (порядок появления) преобразуется в количественную оценку (Proximity Score), используемую при ранжировании. Это подчеркивает, что для Senior SEO-специалистов архитектура информации на странице является не просто вопросом UX, а прямым фактором, влияющим на интерпретацию контента поисковой системой.

Практические примеры

Сценарий: Анализ описания и генерация запросов (на основе примера из патента)

Пример текста из EPG (Electronic Program Guide), упомянутый в патенте: "The Price Is Right 10:00 AM-11:00 AM TV-G Contestants bid for prizes then compete for fabulous showcases."

Процесс анализа:

1. Извлечение текста: Система получает весь текст.
2. Фильтрация (Удаление Program Showing Data): Удаляются "10:00 AM-11:00 AM" и "TV-G".
3. Получение Descriptive Phrases: Остается "The Price Is Right" и "Contestants bid for prizes then compete for fabulous showcases."
4. Идентификация Noun Phrases (NLP): Система выделяет сущности: "The Price Is Right", "Contestants", "prizes", "fabulous showcases".
5. Присвоение Proximity Score (Пример весов):
   • The Price Is Right (1.0) - упомянуто первым.
   • Contestants (0.9)
   • prizes (0.8)
   • fabulous showcases (0.7) - упомянуто последним.
6. Генерация Keyword Phrases (Запросов): Система инициирует 4 интернет-поиска по этим фразам.
7. Результат: Пользователю показываются результаты по запросу "The Price Is Right" с наивысшим приоритетом из-за максимального Proximity Score (при прочих равных Query Score).