Как Google вычисляет ключевые темы сайта («Top Phrases») и может интегрировать обратную связь от вебмастеров

Описание

Какую задачу решает

Патент решает две ключевые задачи в рамках системы фразового индексирования. Первая — автоматическое определение наиболее репрезентативных концепций (Top Phrases) для коллекции документов (например, веб-сайта). Вторая — устранение потенциальных неточностей этого автоматического определения путем интеграции надежных внешних данных, предоставленных авторитетными пользователями (администраторами сайтов). Это позволяет обогатить семантическое понимание контента и повысить релевантность.

Что запатентовано

Запатентована система и метод интеграции внешних (пользовательских) данных в фразовый индекс. Система автоматически вычисляет Top Phrases для сайта, анализируя частоту и взаимосвязи фраз. Затем она позволяет авторизованным администраторам заменять эти фразы. Ключевым элементом является механизм обновления индекса: система интегрирует введенные администратором фразы, обрабатывая их «как если бы» (As If) они присутствовали на сайте, и фиксирует новые семантические связи.

Как это работает

Система функционирует поверх базовой инфраструктуры фразового индексирования:

1. Определение Top Phrases: Для каждой страницы сайта вычисляется оценка важности (Importance Score) фраз на основе частоты встречаемости их связанных фраз (Related Phrases). Эти оценки агрегируются по всему сайту для определения общих Top Phrases.
2. Получение обратной связи: Авторизованный администратор через интерфейс предлагает замену (Replacement Top Phrase или TP_new) для существующей фразы (TP_old).
3. Интеграция: Система интегрирует TP_new, добавляя корневой документ сайта в Posting List для TP_new.
4. Обновление связей: TP_new и TP_old помечаются как связанные друг с другом. TP_new также наследует семантический контекст от TP_old (общие связанные фразы) и других Top Phrases сайта.

Актуальность для SEO

Высокая. Патент описывает фундаментальный подход к пониманию контента через семантически значимые фразы и их взаимосвязи, что является основой для оценки тематического авторитета (Topical Authority). Хотя описанный механизм ручной корректировки Top Phrases вебмастерами не имеет прямого публичного аналога в текущих инструментах Google, автоматический механизм определения ключевых тем сайта (описанный в Claim 7) остается крайне актуальным для понимания принципов работы поиска.

Важность для SEO

Патент имеет высокое стратегическое значение для SEO (8/10). Он раскрывает механизм, как Google может оценивать тематику сайта: не по частоте ключевых слов, а по наличию и частоте семантически связанных фраз (Related Phrases). Понимание расчета Top Phrases критично для построения Topical Authority. Сайт должен быть насыщен широким спектром связанных концепций, чтобы система идентифицировала его как авторитетный источник.

Детальный разбор

Термины и определения

Aggregate Score (Агрегированная оценка)

Суммарная оценка важности фразы для всего веб-сайта, основанная на ее Importance Scores во всех документах коллекции. Используется для определения Top Phrases.

Good Phrase (Хорошая фраза)

Фраза (включая отдельные слова), которая встречается в корпусе достаточно часто и/или имеет «интересные» вхождения (Interesting Instances), и которая обладает предсказательной силой (высоким Information Gain) по отношению к другим фразам.

Importance Score (Оценка важности)

Показатель значимости фразы в конкретном документе. Рассчитывается на основе суммарной частоты встречаемости Related Phrases этой фразы в данном документе.

Information Gain (Прирост информации)

Метрика, определяющая предсказательную силу одной фразы по отношению к другой. Рассчитывается как отношение фактической частоты совместной встречаемости двух фраз к ожидаемой частоте.

Interesting Instance (Интересное вхождение)

Вхождение фразы, выделенное грамматическими или форматными маркерами (например, жирный шрифт, анкорный текст гиперссылки, кавычки).

Limited Document Collection (Ограниченная коллекция документов)

Подмножество общего корпуса документов, например, все страницы одного веб-сайта.

Posting List (Список документов)

Запись в индексе для фразы, содержащая список документов, в которых эта фраза встречается, а также информацию о связанных фразах в каждом документе.

Related Phrase (Связанная фраза)

Фразы считаются связанными, если Information Gain между ними превышает высокий порог, что указывает на сильную семантическую связь.

Replacement Top Phrase (Замещающая топовая фраза)

Фраза, предоставленная администратором сайта для замены автоматически определенной Top Phrase.

Root Document (Корневой документ)

Основной документ коллекции, например, домашняя страница веб-сайта. Используется как точка привязки для Top Phrases сайта в индексе.

Top Phrases (Топовые фразы)

Набор наиболее репрезентативных или значимых фраз для веб-сайта, определяемый на основе Aggregate Scores.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на двух аспектах: автоматическом определении Top Phrases и механизме их ручной корректировки.

Claim 1 (Независимый пункт): Описывает метод ручного обновления топовых фраз.

1. Хранение Top Phrases для коллекции документов.
2. Получение от пользователя замещающей топовой фразы (Replacement Top Phrase) для существующей Top Phrase.
3. Определение этой замещающей фразы как новой Top Phrase для коллекции.
4. Ассоциирование этой замещающей топовой фразы с корневым документом (root document) коллекции.

Ядро изобретения — это возможность принять внешний ввод от пользователя относительно тем коллекции и интегрировать его в индекс путем привязки новой темы к корневому документу коллекции (например, главной странице сайта).

Claim 7 (Зависимый от 1): Детализирует процесс автоматического определения исходных Top Phrases.

1. Идентификация фраз в разных документах коллекции.
2. Определение оценок важности (per-document importance scores) для фраз на основе встречаемости их связанных фраз (Related Phrases) в этих документах.
3. Вычисление агрегированной оценки (aggregate score) для каждой фразы на основе ее оценок важности по документам.
4. Выбор Top Phrases на основе этих агрегированных оценок.

Этот пункт критически важен для SEO. Он объясняет, как система автоматически профилирует сайт: важность фразы определяется тем, насколько часто ее семантическое окружение (Related Phrases) используется на сайте.

Claim 11 (Зависимый от 1): Уточняет процесс интеграции.

• Замещающая фраза и исходная Top Phrase идентифицируются как связанные фразы (Related Phrases) друг для друга.

Система фиксирует семантическую связь, установленную пользователем.

Claim 13 (Зависимый от 1): Детализирует шаг 4 из Claim 1.

• Ассоциирование замещающей фразы с корневым документом включает добавление корневого документа в Posting List для этой замещающей фразы.

Это технический механизм («As If»), который позволяет системе считать, что новая фраза присутствует в коллекции.

Где и как применяется

Изобретение затрагивает преимущественно этапы индексирования и постобработки данных.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходят базовые процессы, необходимые для работы изобретения:

1. Идентификация Good Phrases и Related Phrases в масштабах всего корпуса (на основе Information Gain).
2. Индексирование документов и создание Posting Lists.
3. Начальное определение Top Phrases для сайтов (Claim 7). Система вычисляет Importance Scores и агрегирует их.

Phrase Information Refinement System (Система уточнения информации о фразах)
Это компонент (упомянутый в патенте как 130), отвечающий за интеграцию внешних данных (ядро патента, Claim 1).

1. Предоставление интерфейса для просмотра и изменения Top Phrases.
2. Интеграция полученных Replacement Top Phrases обратно в Индекс и Базу Фраз.

RANKING – Ранжирование
Улучшенные семантические данные и более точные Top Phrases используются на этапе ранжирования для более точного определения релевантности сайта соответствующим запросам.

Входные данные:

• Данные фразового индекса (Related Phrases, Posting Lists, Information Gain).
• Структура сайта (для определения корневого документа и взвешивания оценок).
• Ввод администратора (Replacement Top Phrase).
• Аутентификационные данные администратора.

Выходные данные:

• Обновленный набор Top Phrases для сайта.
• Обновленные Posting Lists (новая фраза ассоциирована с корневым документом).
• Обновленные данные о семантических связях между фразами.

На что влияет

• Понимание тематики сайта: Механизм напрямую влияет на то, как поисковая система понимает основные темы всего сайта (семантическое профилирование).
• Релевантность запросам: Позволяет сайту быть релевантным запросам, соответствующим Replacement Top Phrases, даже если эти фразы физически отсутствуют в контенте.

Когда применяется

• Определение Top Phrases: Происходит периодически после индексации или переиндексации контента сайта.
• Триггеры активации (Интеграция): Активируется, когда авторизованный администратор предоставляет Replacement Top Phrase через интерфейс системы.
• Исключения и особые случаи: Система может проверять, имеет ли Replacement Top Phrase минимальную семантическую связь с исходной фразой (например, наличие общих Related Phrases), чтобы предотвратить спам. Попытка ввести несвязанную фразу может привести к пенальти (decrement penalty), как указано в описании патента.

Пошаговый алгоритм

Процесс А: Автоматическое определение Top Phrases (Claim 7)

1. Обработка документов: Для каждого документа на сайте система определяет присутствующие фразы.
2. Расчет оценки важности (Importance Score): Для каждой фразы в документе рассчитывается оценка важности. Она основана на суммарной частоте встречаемости всех Related Phrases этой фразы в данном документе.
3. Агрегация оценок (Aggregate Score): Оценки важности каждой фразы суммируются по всем документам сайта. Оценки могут взвешиваться (например, страницы ближе к корню сайта получают больший вес).
4. Выбор Top Phrases: Выбирается N фраз с наивысшими агрегированными оценками в качестве Top Phrases сайта.

Процесс Б: Интеграция внешней информации (Claim 1)

1. Аутентификация и Получение ввода: Система получает от аутентифицированного администратора Replacement Top Phrase (TP_new) для замены существующей Top Phrase (TP_old).
2. Валидация (Опционально): Проверка наличия минимальной семантической связи между TP_new и TP_old.
3. Обновление статуса: TP_new определяется как новая Top Phrase сайта.
4. Обновление Posting List (Claim 13): Корневой документ сайта добавляется в Posting List для TP_new.
5. Установление связи (Claim 11): TP_old добавляется в список Related Phrases для TP_new, и наоборот.
6. Наследование контекста (Claim 12): Информация о связанных фразах из TP_old переносится в TP_new (например, копирование счетчиков для общих связанных фраз).
7. Усиление связей (Опционально): Счетчики в списке Related Phrases для TP_new инкрементируются для тех фраз, которые также являются другими Top Phrases этого сайта.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст документов используется для идентификации фраз и подсчета их частот и совместной встречаемости.
• Структурные факторы:
  • Выделение текста: HTML-теги (жирный шрифт, анкорный текст) могут использоваться базовой системой для идентификации «интересных вхождений» (Interesting Instances) фраз.
  • Структура сайта: Длина пути от корня сайта до страницы может использоваться для взвешивания важности фраз при определении Top Phrases. Корневой документ используется как точка привязки.
• Пользовательские факторы (Внешние): Replacement Top Phrases, введенные администраторами сайтов. Аутентификационные данные.
• Системные данные: Good Phrase List, Information Gain значения, Posting Lists.

Какие метрики используются и как они считаются

• Information Gain (I(j,k)): Используется для определения Related Phrases. Рассчитывается как отношение фактической частоты совместной встречаемости к ожидаемой.
• Importance Score (Оценка важности фразы): Метрика для определения Top Phrases. Для фразы в документе рассчитывается как функция суммарной частоты встречаемости ее Related Phrases в этом документе.
• Aggregate Score (Агрегированная оценка): Сумма (возможно, взвешенная) Importance Scores фразы по всем документам сайта.

Выводы

1. Тематика сайта определяется через взаимосвязи фраз: Ключевой вывод заключается в механизме расчета Top Phrases (Claim 7). Тематика сайта и важность конкретной фразы определяются не частотой этой фразы, а частотой встречаемости ее семантического окружения (Related Phrases) в контенте сайта.
2. Автоматическое профилирование сайта: Система автоматически строит профиль сайта, агрегируя семантические сигналы со всех страниц и учитывая структуру сайта (вес страниц ближе к корню).
3. Интеграция внешних сигналов (Механизм «As If»): Патент описывает механизм интеграции ручных корректировок от вебмастеров. Система способна принять внешний сигнал и обновить индекс так, «как если бы» эта фраза физически присутствовала на сайте, путем добавления корневого документа в Posting List.
4. Обогащение семантического графа: При ручной замене система фиксирует новую семантическую связь между старой и новой фразой, а также позволяет новой фразе наследовать существующий контекст.
5. Защита от манипуляций: Предусмотрены механизмы защиты от ввода спамных Top Phrases, требующие минимальной семантической связи и вводящие возможность пенальти за злоупотребления.

Практика

Best practices (это мы делаем)

Хотя механизм ручного редактирования Top Phrases недоступен публично, мы должны оптимизировать контент, основываясь на логике автоматического расчета (Claim 7).

• Построение Тематического Авторитета (Topical Authority): Для того чтобы целевая фраза была признана важной (Top Phrase), необходимо насыщать контент ее Related Phrases. Создавайте кластеры контента, которые демонстрируют глубокую взаимосвязь между концепциями.
• Фокус на семантическом покрытии (Semantic Saturation): Используйте инструменты семантического анализа для определения связанных концепций и последовательно включайте их в тексты сайта. Чем плотнее кластер связанных фраз, тем выше будут Importance Scores.
• Оптимизация архитектуры сайта: Поскольку при расчете Top Phrases может учитываться вес страниц в зависимости от их близости к корню сайта, необходимо обеспечивать, чтобы ключевой контент, формирующий тематику, находился на структурно значимых и доступных страницах.
• Создание концептуально целостного сайта: Работайте над тем, чтобы весь сайт в целом воспринимался как авторитетный источник. Top Phrases рассчитываются на уровне сайта путем агрегации данных со всех страниц.

Worst practices (это делать не надо)

• Игнорирование семантического окружения (LSI): Фокус только на частоте ключевой фразы без использования связанных терминов неэффективен для повышения ее Importance Score.
• Разрозненное использование терминологии: Использование разных терминов для одной концепции без установления связи или создание контента на несвязанные темы размывает Aggregate Scores и мешает системе идентифицировать ключевые темы сайта.
• Размещение ключевого контента на глубоко вложенных страницах: Это может снизить его вес при расчете общих Top Phrases сайта, если система использует структуру сайта для взвешивания оценок.

Стратегическое значение

Этот патент подтверждает стратегию Google, направленную на понимание контента на уровне концепций и тематического авторитета. Он дает четкий механизм того, как вычисляется репрезентативность сайта: через анализ совместной встречаемости связанных фраз. Для долгосрочной SEO-стратегии это означает, что создание авторитетного ресурса требует намеренного и последовательного использования всего кластера семантически связанных концепций по всему сайту.

Практические примеры

Сценарий: Влияние на автоматический расчет Top Phrases для повышения Topical Authority

Цель: Добиться, чтобы фраза «Sustainable Architecture» (Устойчивая архитектура) стала Top Phrase для сайта архитектурного бюро.

1. Анализ Related Phrases: Определить семантически связанные фразы для «Sustainable Architecture». Например: «green building materials», «passive solar design», «LEED certification», «energy efficiency», «rainwater harvesting».
2. Аудит контента и структуры: Проверить, насколько часто эти Related Phrases используются на сайте, особенно на страницах, близких к корню (главная, услуги, портфолио).
3. Оптимизация контента: Систематически интегрировать эти Related Phrases в статьи, описания проектов и страницы услуг. Создать тематические хабы, где эти концепции плотно переплетены.
4. Механизм (Симуляция): Система Google пересчитывает Importance Score для «Sustainable Architecture» в каждом документе на основе увеличившейся частоты ее Related Phrases.
5. Результат: Aggregate Score для «Sustainable Architecture» увеличивается по всему сайту, повышая ее Topical Authority и вероятность выбора в качестве Top Phrase.

Вопросы и ответы