Как Google использует семантические графы и связанный контент для определения значения и разрешения неоднозначности терминов

Описание

Какую задачу решает

Патент решает фундаментальную проблему обработки естественного языка (NLP) — неоднозначность (Ambiguity) или полисемию. Он устраняет недостатки простого текстового сопоставления, которое не учитывает контекст и может приводить к нерелевантным результатам (например, показ рекламы фруктов на странице о компании Apple). Цель — повысить точность сопоставления Knowledge Items за счет понимания их истинного значения (Meaning).

Что запатентовано

Запатентована система и метод определения значения Knowledge Item (например, ключевого слова или веб-страницы) путем анализа связанной с ним информации (Related Information). Система использует онтологию или семантический граф (Directed Graph), где концепты (Concepts) связаны между собой отношениями различной силы (Bond Strength/Magnitude) и направления (Direction). Анализируя контекст, система разрешает неоднозначность и определяет наиболее вероятное значение.

Как это работает

Система работает путем анализа взаимосвязей в семантическом графе:

• Идентификация терминов: Система извлекает термины из основного контента (например, веб-страницы — First Terms) и из связанной информации (Related Information/Related Resources — Second Terms).
• Маппинг на граф: Термины сопоставляются с узлами (концептами) в Directed Graph.
• Анализ связей: Система анализирует связи между этими узлами, учитывая их силу (Bond Strength) и направление. Также может рассчитываться семантическое расстояние (Semantic Distance).
• Разрешение неоднозначности и выбор: Анализируя эти взаимосвязи, система определяет, какие концепты наиболее релевантны в данном контексте. Если термин неоднозначен, предпочтение отдается концепту, имеющему более сильные связи с контекстом.
• Определение значения: Выбирается репрезентативное подмножество терминов, которое определяет итоговое значение контента.

Актуальность для SEO

Высокая. Патент исходит от изобретателей из Applied Semantics, компании, которую Google приобрел для создания AdSense. Описанные механизмы лежат в основе контекстной рекламы и являются фундаментальными для семантического анализа контента. Разрешение неоднозначности и использование графов знаний — ключевые задачи современных систем NLP и поиска (включая модели типа BERT и MUM).

Важность для SEO

Патент имеет высокое значение для SEO (8/10). Он описывает базовые механизмы того, как Google стремится понять значение контента за пределами ключевых слов. Он подчеркивает переход к семантическому поиску, где значение определяется контекстом и связями между концептами в графе знаний. Для SEO это означает, что контент должен быть недвусмысленным, а основная тема должна быть подкреплена семантически близкими концептами для правильной интерпретации системой.

Детальный разбор

Термины и определения

Bond Strength (Сила связи) / Magnitude (Величина)

Метрика, определяющая степень ассоциации между двумя концептами в семантическом графе. Может иметь разную силу (сильная, средняя, слабая).

Concept (Концепт)

Единица значения. Определяется через кластер связанных слов/терминов, а также через отношения с другими концептами, силу этих отношений, частоту использования и другие статистические данные.

Directed Graph (Направленный граф)

Структура данных (семантическая сеть или онтология), используемая для представления концептов как узлов и отношений между ними как связей. Связи имеют величину (Magnitude) и направление (Direction).

Direction (Направление)

Указывает направление ассоциации в графе. Связь A→B может отличаться по силе от связи B→A (асимметрия).

First Terms / Second Terms (Первые / Вторые термины)

В контексте Claims: First terms извлекаются из основного документа (веб-страницы). Second terms извлекаются из связанных ресурсов (Related Resources).

Knowledge Item (Элемент знаний)

Любой объект, который может быть представлен символами (ключевые слова, концепты, продукты, фразы, документы, реклама).

Meaning (Значение)

Представление контекста. Обычно выражается как вектор взвешенных концептов или кластеров слов.

Related Information / Related Resources (Связанная информация / Связанные ресурсы)

Данные и документы, ассоциированные с Knowledge Item, которые используются как контекст. Примеры: целевые страницы объявлений, тексты объявлений, связанные документы.

Semantic Distance (Семантическое расстояние)

Количественная мера близости между значениями в семантическом пространстве (графе). При расчете могут накладываться штрафы (penalties) за смену направления обхода графа.

Ключевые утверждения (Анализ Claims)

Патент US9811776B2 является патентом-продолжением и фокусируется на применении технологии к анализу веб-страниц для подбора релевантного контента (например, рекламы).

Claim 1 (Независимый пункт): Описывает метод анализа веб-страницы и подбора контента с использованием семантического графа.

1. Идентификация First terms на основе анализа веб-страницы.
2. Идентификация Related resources, ассоциированных с First terms, и идентификация Second terms на основе анализа этих ресурсов.
3. Сопоставление First terms и Second terms с узлами в Directed Graph.
4. Установление связей (connections) между узлами. Связи имеют величину (magnitude) и направление (direction), представляющие отношения между терминами.
5. Выбор подмножества First terms на основе этих связей и отношений. (Это шаг определения ключевого значения страницы).
6. Ассоциация выбранного подмножества с веб-страницей и сохранение этой ассоциации.
7. Выбор Knowledge Item (например, рекламы) на основе этого сохраненного подмножества.
8. Предоставление выбранного Knowledge Item для отображения.

Ядром изобретения является использование Directed Graph для анализа отношений между терминами, извлеченными из веб-страницы, и терминами из связанных ресурсов. Учет силы и направления связей позволяет системе выбрать наиболее релевантное подмножество терминов, точно представляющее контекст страницы, что используется для точного сопоставления контента.

Claim 17 (Зависимый): Уточняет природу связанных ресурсов.

Идентификация «Вторых терминов» включает анализ контента целевой веб-страницы (destination web page), на которую ссылается Knowledge Item (например, реклама).

Это подтверждает, что целевые страницы (Landing Pages) рекламодателей являются ключевым источником информации для понимания значения самой рекламы и ее релевантности.

Где и как применяется

Изобретение применяется на нескольких этапах обработки информации, преимущественно связанных с пониманием контента и запросов.

INDEXING – Индексирование и извлечение признаков
На этом этапе система анализирует контент (веб-страницы) для определения его значения (Meaning). Процесс, описанный в Claim 1, применяется здесь для извлечения ключевых концептов страницы с учетом семантического графа. Это позволяет системе понять тематику и контекст документа.

QUNDERSTANDING – Понимание Запросов
Технология может применяться для понимания значения запросов (как Knowledge Items). Система анализирует контекст (например, другие слова в запросе или связанную информацию), чтобы разрешить неоднозначность термина и понять интент пользователя.

METASEARCH / RANKING (в контексте рекламы)
Основное применение, описанное в Claims, — это выбор наиболее релевантного Knowledge Item (рекламы) для отображения на веб-странице (контекстная реклама, AdSense).

Входные данные:

• Исходный контент (веб-страница или ключевое слово).
• Related Resources / Related Information.
• Семантический граф (Directed Graph), содержащий концепты, их связи (Bond Strengths/Magnitude, Direction) и Semantic Distances.

Выходные данные:

• Определенное значение контента (например, выбранное подмножество терминов или вектор взвешенных концептов).
• Выбранный релевантный Knowledge Item (например, реклама).

На что влияет

• Конкретные типы контента: Наибольшее влияние на контент, содержащий многозначные термины или термины, значение которых сильно зависит от контекста.
• Специфические запросы: Влияет на понимание запросов с неоднозначным интентом.
• Точность тематического моделирования: Влияет на то, насколько точно система определяет основные темы документа, отсеивая менее релевантные концепции.

Когда применяется

• При обработке контента: Алгоритм применяется при индексации или анализе любого контента для определения его семантического значения.
• При необходимости сопоставления: Активируется, когда необходимо сопоставить один Knowledge Item с другим (например, страницу с рекламой), особенно при наличии неоднозначности.

Пошаговый алгоритм

Процесс А: Анализ веб-страницы и выбор контента (на основе Claims)

1. Извлечение (Основное): Оценка веб-страницы и идентификация First Terms (концепций).
2. Идентификация и Извлечение (Связанное): Определение Related Resources и идентификация Second Terms (концепций) из них.
3. Отображение на граф: Ассоциация First Terms и Second Terms с узлами в Directed Graph.
4. Анализ отношений: Изучение связей между узлами. Учитывается магнитуда (Bond Strength) и направление связей.
5. Выбор и Уточнение: Выбор подмножества First Terms, которые имеют наиболее сильные и релевантные отношения с Second Terms (концепции, которые усиливают друг друга).
6. Хранение: Сохранение выбранного подмножества как значения/контекста веб-страницы.
7. Применение: Использование сохраненного значения для выбора и предоставления релевантного Knowledge Item (например, рекламы).

Процесс Б: Устранение неоднозначности термина (на основе Detailed Description)

1. Инициализация: Получение термина и идентификация всех его потенциальных концептов с априорными вероятностями.
2. Сбор контекста: Получение Related Information и определение ее значения (Related Meaning).
3. Расчет силы отношений: Расчет силы связи (Strength of Relationship) между каждой потенциальной концепцией термина и концепциями из Related Meaning. Используются метрики Bond Strength и Semantic Distance.
4. Корректировка вероятностей: Корректировка вероятностей потенциальных концепций. Концепции, которые лучше согласуются с контекстом, получают повышение вероятности.
5. Определение значения: Выбор концепции с наибольшей вероятностью.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст веб-страниц, текст связанных документов, текст рекламных объявлений, контент целевых страниц (destination web pages).
• Структурные факторы (Данные онтологии): Directed Graph, который определяет концепции и связи между ними (магнитуда и направление).
• Поведенческие/Коммерческие факторы (упомянуты в Description): Данные о цене за клик (cost per click data), показатели успешности (success rate data), другие ключевые слова, на которые делают ставки рекламодатели. Эти данные могут использоваться для взвешивания различной связанной информации.

Какие метрики используются и как они считаются

• Bond Strength / Magnitude: Направленная мера ассоциации между двумя концепциями в графе. Определяется как сильная, средняя или слабая. Патент подчеркивает асимметрию (например, связь «K2 ski» → «ski» сильная, а «ski» → «K2 ski» слабая).
• Semantic Distance (Семантическая дистанция): Рассчитывается путем обхода графа. Патент указывает, что при расчете могут применяться штрафы (penalties), если путь меняет направление или пересекает латеральные связи.
• A Priori Probability (Априорная вероятность): (Упоминается в Description). Вероятность того, что термин означает определенную концепцию, основанная на частоте использования (commonness) значения.
• Strength of Relationship: Метрика, используемая для корректировки вероятностей при разрешении неоднозначности, агрегирующая данные из графа.

Выводы

1. Контекст определяется отношениями в графе: Значение контента или ключевого слова определяется не изолированно, а через анализ отношений между его концепциями и концепциями связанной информации в рамках Directed Graph (онтологии).
2. Связанная информация как ключ к устранению неоднозначности: Система активно использует внешний контекст (Related Information), такой как связанные документы или данные рекламодателей (Landing Pages), чтобы уточнить значение основного элемента.
3. Важность направленности связей (Directionality): Патент подчеркивает, что семантические связи направлены и асимметричны. Ассоциация от A к B не равна ассоциации от B к A. Это критически важно для точного понимания контекста.
4. Сложный расчет семантической дистанции: Система использует метрику Semantic Distance со штрафами за сложные пути в графе (например, смену направления). Это позволяет более точно оценить реальную семантическую близость.
5. Приоритет концептуального соответствия: Система предпочитает концептуальное соответствие, основанное на силе связей, а не простое лексическое совпадение.

Практика

Best practices (это мы делаем)

• Обеспечение концептуальной ясности контента: Создавайте контент так, чтобы минимизировать неоднозначность. Если вы используете многозначный термин, убедитесь, что окружающий контекст и связанные термины четко указывают на нужное значение.
• Укрепление тематики через семантически близкие концепты: Используйте термины и сущности, которые имеют сильную связь (Strong Bond Strength) и малое семантическое расстояние (Semantic Distance) с основной темой страницы. Это помогает системе правильно определить значение страницы.
• Управление контекстом через связанные ресурсы (Linking Strategy): Исходящие и входящие ссылки служат Related Information. Контент, на который вы ссылаетесь (и который ссылается на вас), помогает определить значение вашей страницы. Убедитесь, что эти ресурсы семантически выровнены с вашим контентом.
• Анализ интента через данные рекламодателей: (Основано на Description). Анализируйте целевые страницы рекламодателей для ваших ключевых слов. Google использует их для понимания значения ключевого слова. Это дает прямое понимание коммерческого интента.

Worst practices (это делать не надо)

• Создание амбивалентного контента без контекста: Если страница содержит термины с множеством значений без достаточного контекста для их disambiguation, система может неправильно интерпретировать ее значение.
• Игнорирование семантических связей (Keyword Stuffing): Фокус на частоте ключевых слов неэффективен. Система ищет концептуальные отношения и силу связей, а не плотность текста.
• Ссылки на нерелевантные или противоречивые темы: Ссылки на ресурсы, которые семантически далеки от темы вашей страницы, могут внести шум в анализ Related Information и затруднить точное определение значения вашей страницы.

Стратегическое значение

Этот патент подтверждает стратегический приоритет Google на семантическое понимание, основанное на онтологиях и графах (таких как Knowledge Graph). Он демонстрирует, что значение определяется через связи. Для долгосрочной SEO-стратегии критически важно не просто создавать контент по ключевым словам, а строить концептуально согласованные ресурсы, которые четко вписываются в семантическую карту интернета. Понимание направленности связей и семантической дистанции должно лежать в основе стратегий построения контента и Topical Authority.

Практические примеры

Сценарий: Устранение неоднозначности термина на странице

1. Веб-страница: Статья о компании «Apple».
2. Извлечение First Terms: Система идентифицирует термин «Apple» (амбивалентен: фрукт или компания) и другие термины: «iPhone», «MacBook», «Tim Cook».
3. Идентификация Related Resources: (В данном примере контекст может быть взят из самой страницы или внешних ссылок).
4. Анализ отношений в графе: Система сравнивает связи в Directed Graph. Связь между «Apple» (компания) и «iPhone» очень сильная (High Bond Strength, Low Semantic Distance). Связь между «Apple» (фрукт) и «iPhone» отсутствует или очень слабая.
5. Выбор и Уточнение: Система выбирает подмножество терминов, которое включает «Apple» (компания), и отбрасывает интерпретацию «фрукт».
6. Результат: Страница правильно классифицируется как относящаяся к технологиям, что влияет на ее ранжирование по соответствующим запросам и выбор релевантной рекламы.

Вопросы и ответы