Как Google определяет ключевые слова, которые сильно связаны с конкретными категориями, для улучшения ранжирования

Термины и определения

Category (Категория)

Класс, к которому принадлежит документ или концепция. Примеры включают бизнес-категории (например, «Японский ресторан», «Авторемонт»), тематические (например, «Наука», «Спорт») или языковые категории.

Document Information (Информация о документе)

Текстовая или метаинформация в документе, используемая для его категоризации. В контексте патента часто подразумеваются данные бизнес-листингов (название, адрес, телефон).

F-measure (F-мера)

Статистическая оценка, используемая для измерения силы связи между ключевым словом и категорией. Рассчитывается на основе вероятностей P(keyword), P(category) и P(keyword, category).

Keyword (Ключевое слово)

Слово или фраза из поисковых запросов, которое было идентифицировано системой как имеющее сильную статистическую связь с определенной категорией.

Keyword Candidate (Кандидат в ключевые слова)

Слово или фраза, извлеченное из документов и логов поисковых запросов, которое анализируется на предмет связи с категориями.

Strong "within" category correlation (Сильная корреляция «внутри» категории)

Показатель того, что ключевое слово часто встречается в документах, принадлежащих к данной категории.

Weak "between" category correlation (Слабая корреляция «между» категориями)

Показатель того, что ключевое слово редко встречается в документах, не принадлежащих к данной категории (специфичность).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод идентификации и использования ключевых слов на основе категорий для приоритезации результатов поиска.

1. Извлечение Keyword Candidate из документа. Кандидат должен присутствовать как в документе, так и в предыдущих поисковых запросах.
2. Расчет частоты появления кандидата в каждой из множества категорий.
3. Ассоциация кандидата как Keyword с документом, если выполняются условия:
   • Частота в категории(ях), к которой принадлежит документ, превышает порог (сильная корреляция «внутри»).
   • Частота в других категориях, к которым документ НЕ принадлежит, не превышает порог (слабая корреляция «между»).
4. Приоритезация (повышение ранжирования) этого документа в результатах поиска в ответ на запрос, связанный с этим Keyword и категорией.

Claim 6 и 7 (Зависимые): Детализируют механизм оценки связи с помощью расчета Score.

1. Расчет Score для Keyword Candidate на основе рассчитанных частот.
2. Определение кандидата как Keyword, если Score превышает пороговое значение.
3. Claim 7 определяет формулу расчета Score (F-measure): $\text{Score}=\frac{P(\text{keyword},\text{category})}{(a\cdot P(\text{keyword})+(1-a)\cdot P(\text{category}))}$, где 'a' — константа между 0 и 1, P(keyword) — вероятность появления кандидата в предыдущих запросах, P(category) — вероятность появления кандидата в документах категории, и P(keyword, category) — совместная вероятность.

Claim 20 (Независимый пункт): Описывает метод применения сгенерированных данных в процессе ранжирования.

1. Получение поискового запроса и идентификация релевантных документов.
2. Маппинг (соотнесение) каждого документа с одной или несколькими категориями на основе контекстной информации документа.
3. Расчет частоты появления Keyword Candidate в каждой категории.
4. Ассоциация кандидата как Keyword с категорией на основе рассчитанных частот.
5. Определение рангов документов на основе Keyword. Это включает повышение рангов документов, которые принадлежат к категории, ассоциированной с Keyword, по сравнению с документами, не принадлежащими к этой категории.
6. Сортировка документов и генерация выдачи.

Где и как применяется

Изобретение охватывает несколько этапов поисковой архитектуры, разделяя процесс на офлайн-подготовку данных и онлайн-применение в ранжировании.

INDEXING – Индексирование и извлечение признаков
На этом этапе система должна извлечь Document Information (например, данные бизнес-листинга) и определить или присвоить категории документам. Эта информация сохраняется для последующего анализа.

QUNDERSTANDING – Понимание Запросов (Офлайн-анализ)
Основная часть работы по генерации ключевых слов происходит офлайн. Система анализирует логи поисковых запросов (user behavior data) и корпус проиндексированных документов для выявления статистических связей между запросами и категориями. Результатом является база данных пар (Keyword, Category) с рассчитанными оценками (Scores).

RANKING – Ранжирование (Онлайн-применение)
Механизм применяется во время выполнения запроса для корректировки ранжирования.

1. Система определяет, содержит ли запрос пользователя Keyword, для которого существует сильная связь с Category.
2. Система идентифицирует документы-кандидаты и определяет их категории.
3. Если запрос содержит Keyword, документы, принадлежащие к соответствующей Category, получают повышение в ранжировании (Prioritizing/Rank documents based on Keyword/Category).

Входные данные:

• Корпус документов с ассоциированной информацией (Document Information).
• Логи поисковых запросов (Search Queries/User behavior data).
• Маппинг между Document Information и Categories.

Выходные данные:

• База данных ключевых слов, ассоциированных с категориями, и их оценки (Scores).
• Скорректированные ранги документов при выполнении запроса, содержащего эти ключевые слова.

На что влияет

• Конкретные ниши или тематики: Наибольшее влияние оказывается на ниши с четкой таксономией. Патент приводит множество примеров из локального поиска (рестораны, авторемонт, юристы, врачи) и E-commerce (Hardware).
• Специфические запросы: Влияет на запросы, которые имеют сильную категориальную направленность, даже если сама категория в запросе не указана (например, запрос «суши-бар» подразумевает категорию «Японский ресторан»).
• Конкретные типы контента: Влияет на ранжирование страниц сущностей, которые могут быть четко категоризированы (листинги бизнесов, карточки товаров, страницы услуг).

Когда применяется

• Условия работы алгоритма (Генерация): Применяется периодически в офлайн-режиме для анализа накопленных данных о документах и поведении пользователей (запросах).
• Триггеры активации (Ранжирование): Активируется, когда поисковый запрос содержит Keyword, который был предварительно идентифицирован как статистически значимый для определенной Category (т.е. имеет высокий Score/F-measure).
• Пороговые значения: Алгоритм генерации использует пороги для определения сильной корреляции «внутри» категории, слабой корреляции «между» категориями и значимости термина в поисковых запросах. Также используется пороговое значение для Score.

Пошаговый алгоритм

Процесс А: Генерация ключевых слов, связанных с категориями (Офлайн)

1. Извлечение кандидатов: Извлечение Keyword Candidates из корпуса документов и логов поисковых запросов. Кандидаты часто берутся из документов, содержащих специфическую информацию (например, бизнес-листинги).
2. Создание пар (Кандидат/Информация): Создание пар, включающих Keyword Candidate и связанную с ним Document Information.
3. Расчет частоты запросов: Вычисление частоты появления каждого Keyword Candidate в логах поисковых запросов.
4. Расчет частоты пар в документах: Вычисление частоты появления пар (Кандидат/Информация) в корпусе документов.
5. Маппинг информации в категории: Соотнесение Document Information с определенными Categories (например, название бизнеса соотносится с бизнес-категорией). Создание пар (Кандидат/Категория).
6. Аккумуляция данных: Расчет частоты совместного появления пар (Кандидат/Категория) в документах.
7. Определение ключевых слов для категорий: Выполнение статистического анализа для определения силы связи.
   • Рассчитывается Score (например, F-measure) для каждой пары (Кандидат/Категория).
   • Анализируется сильная корреляция «внутри» категории и слабая корреляция «между» категориями.
   • Кандидаты, чьи оценки превышают пороговые значения, определяются как Keywords для данной категории.
8. Ассоциация ключевых слов с документами: Сохранение идентифицированных Keywords и их связи с категориями и документами.

Процесс Б: Применение в ранжировании (Онлайн)

1. Получение запроса: Система получает поисковый запрос от пользователя.
2. Идентификация документов: Определяется набор документов, релевантных запросу.
3. Проверка наличия ключевого слова: Определяется, содержит ли запрос одно из предварительно сгенерированных Keywords.
4. Проверка ассоциации документов с категорией: Определяется, ассоциированы ли найденные документы с Category, соответствующей Keyword.
5. Ранжирование на основе Keyword/Category: Документы, которые ассоциированы с соответствующей категорией, получают повышение в ранжировании.
6. Сортировка: Документы сортируются на основе итоговых рангов (которые могут учитывать и другие факторы ранжирования).
7. Генерация выдачи: Формирование страницы результатов поиска.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Критически важно): Логи поисковых запросов (Search Queries). Они используются для определения Keyword Candidates и расчета частоты их использования (P(keyword)). Также упоминаются User behavior data, включающие навигационные действия (клики, выбранные ссылки/категории), язык пользователя, интересы.
• Контентные факторы: Document Information — текст или метаданные в документе. В патенте особо выделяются бизнес-листинги (название, адрес, телефон).
• Структурные факторы (Категоризация): Данные о принадлежности документов к Categories. Они могут быть получены из самих документов, определены на основе Document Information или получены от третьих сторон.

Какие метрики используются и как они считаются

• Частота запросов (Query Frequency): Количество появлений Keyword Candidate в логах запросов.
• Частота в документах (Document Frequency): Количество появлений пары (Кандидат/Информация) или (Кандидат/Категория) в корпусе документов.
• P(keyword): Вероятность появления ключевого слова в поисковых запросах.
• P(category): Вероятность появления категории в ассоциированной информации документов.
• P(keyword, category): Совместная вероятность появления пары ключевого слова и категории.
• P(category|keyword) (Recall/Полнота): Условная вероятность категории при заданном ключевом слове.
• P(keyword|category) (Precision/Точность): Условная вероятность ключевого слова при заданной категории.
• F-measure (Score): Основная метрика для оценки силы связи. Рассчитывается по формуле: $\frac{P(\text{keyword},\text{category})}{(a\cdot P(\text{keyword})+(1-a)\cdot P(\text{category}))}$. Параметр 'a' используется для балансировки между точностью и полнотой.
• Пороговые значения: Используются пороги для F-measure, а также пороги для определения сильной корреляции «внутри» и слабой «между» категориями.

1. Автоматическое определение интента через категории: Патент описывает механизм, позволяющий Google статистически определять, какие запросы сильно связаны с конкретными категориями, даже если категория не указана в запросе явно. Это позволяет системе лучше понимать интент пользователя.
2. Важность статистической значимости (F-measure): Для того чтобы связь была учтена, она должна быть статистически сильной. Система использует F-measure для балансировки популярности запроса и его специфичности для категории. Недостаточно просто часто встречаться в категории; нужно также редко встречаться вне ее (слабая корреляция «между» категориями).
3. Данные из реальных запросов: Система полагается на анализ реальных поисковых запросов (User behavior data) для определения кандидатов и их популярности. Это означает, что система адаптируется к тому, как пользователи ищут информацию в разных категориях.
4. Категоризация как фактор ранжирования: Если запрос идентифицирован как Keyword для определенной Category, то принадлежность документа к этой категории становится сильным сигналом ранжирования для данного запроса.
5. Фундамент для Local SEO и E-commerce: Механизм критически важен для локального поиска и электронной коммерции, где категоризация объектов (бизнесов, товаров) играет ключевую роль в обеспечении релевантности.

Best practices (это мы делаем)

• Обеспечение корректной категоризации: Критически важно предоставить Google четкие и последовательные сигналы о категории вашего контента или бизнеса. В Local SEO это означает правильный выбор основной и дополнительных категорий в Google Business Profile. В E-commerce — использование структурированной навигации, хлебных крошек и микроразметки (Product с категорией).
• Анализ лексикона целевой аудитории: Изучайте, какие именно запросы пользователи используют для поиска в вашей категории. Убедитесь, что ваш контент естественно включает эти термины. Если Google статистически свяжет эти популярные запросы с вашей категорией (высокий F-measure), вы получите преимущество.
• Использование консистентной информации (NAP): Для локального бизнеса критично использовать последовательную информацию (Name, Address, Phone) на сайте и в листингах. Патент явно указывает на использование Document Information (бизнес-листингов) для маппинга документов в категории.
• Построение Topical Authority в рамках категории: Создавайте контент, который подтверждает вашу принадлежность к категории. Чем больше качественных документов вашего сайта будет ассоциировано с категорией, тем выше вероятность того, что система будет использовать эту связь при ранжировании.

Worst practices (это делать не надо)

• Неправильная или слишком широкая категоризация: Выбор неверной категории в попытке охватить больше запросов может привести к потере релевантности. Система ищет сильную и специфичную связь между запросом и категорией. Если ваш контент не соответствует ожиданиям пользователей в данной категории, это не принесет пользы.
• Игнорирование категориального интента: Попытка ранжироваться по запросу с сильным категориальным интентом без принадлежности к этой категории будет затруднена. Например, ранжирование информационного блога по запросу «замена масла» будет сложным, так как этот запрос сильно связан с категорией «Авторемонт».
• Манипуляции с ключевыми словами без учета контекста категории: Насыщение текста ключевыми словами не поможет, если система не может четко классифицировать документ или если эти слова не являются статистически значимыми для вашей категории.

Стратегическое значение

Этот патент подтверждает стратегическую важность entity-based SEO и корректной классификации контента. Google стремится понять не только текст на странице, но и то, к какому классу объектов этот текст относится. В долгосрочной стратегии необходимо фокусироваться на том, чтобы сайт или бизнес однозначно и авторитетно представлял свою категорию. Это обеспечивает устойчивое ранжирование по запросам, которые подразумевают эту категорию.

Практические примеры

Сценарий: Оптимизация сайта автомастерской (Local SEO)

1. Анализ данных (Имитация Google): Google анализирует логи и определяет, что запрос «замена масла» (Keyword) очень часто приводит к кликам на сайты в категории «Авторемонт» (Category) и редко на другие (высокий F-measure).
2. Действия SEO-специалиста: Специалист убеждается, что Google Business Profile компании корректно настроен с основной категорией «Авторемонт». На сайте создается страница услуги «Замена масла», содержащая консистентную информацию (NAP) и четко описывающая услугу.
3. Выполнение запроса: Пользователь вводит запрос «замена масла».
4. Результат: Поисковая система идентифицирует «замена масла» как Keyword, связанный с категорией «Авторемонт». Сайт автомастерской, корректно классифицированный в этой категории, получает повышение в ранжировании по сравнению с информационным сайтом, пишущим о замене масла.

Сценарий: Оптимизация интернет-магазина (E-commerce)

1. Анализ данных (Имитация Google): Google определяет, что запрос «Ace Hardware» (Keyword) сильно коррелирует с категорией «Hardware Stores» (Category).
2. Действия SEO-специалиста: Специалист крупного DIY-магазина убеждается, что структура сайта и микроразметка четко определяют его как магазин строительных материалов (Hardware Store).
3. Результат: При запросах, связанных с конкретными брендами или типами товаров, которые статистически связаны с категорией «Hardware Stores», сайт магазина получает преимущество перед сайтами общей тематики или новостными ресурсами.