Как Google обучается распознавать синонимы, анализируя текст сниппетов в результатах поиска

Термины и определения

Association Score (Оценка ассоциации)

Числовая метрика, отражающая силу связи между исходным термином запроса и термином-кандидатом в синонимы. Чем выше оценка, тем вероятнее термин будет использован для расширения запроса.

Candidate Substitute Term (Термин-кандидат в синонимы)

Термин, найденный в тексте результата поиска (например, в сниппете), который потенциально может заменить или дополнить исходный термин запроса.

Query Logs (Журналы запросов)

База данных, хранящая историю поисковых запросов и информацию о взаимодействии пользователей с результатами.

Query Reviser Engine (Механизм пересмотра запросов)

Компонент поисковой системы, который генерирует пересмотренные (расширенные или измененные) запросы на основе исходного запроса и правил синонимов.

Selected Search Result (Выбранный результат поиска)

Результат поиска, выбранный для анализа. В патенте описаны разные критерии выбора: результат, выбранный пользователем (кликнутый); Топ-N ранжированных результатов; кликнутый результат и результаты, ранжирующиеся выше него.

Snippet (Сниппет)

Фрагмент текста, извлеченный из ресурса и отображаемый в результатах поиска. Является основным источником данных для анализа в этом патенте.

Synonym Engine (Механизм определения синонимов)

Компонент, который определяет синонимы для терминов запроса, используя Synonym Rules.

Synonym Rules (Правила синонимов)

База данных правил, определяющих, какие термины являются синонимами, часто с учетом контекста запроса. Эти правила могут основываться на накопленных association scores.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает базовый метод работы системы.

1. Система выбирает один или несколько результатов поиска из множества результатов, возвращенных в ответ на запрос.
2. Идентифицирует термин, который (i) встречается в тексте, связанном с выбранными результатами, и (ii) отсутствует в исходном запросе.
3. Увеличивает association score для этого термина как синонима (substitute term) для термина, присутствующего в исходном запросе.

Claim 2 (Зависимый): Уточняет, что анализируемый текст — это сниппет.

Claims 3, 4, 5 (Зависимые): Определяют три различных способа выбора результатов для анализа (selecting one or more search results):

• Claim 3: Выбирается результат, на который кликнул пользователь (user-selected search result).
• Claim 4: Выбираются Топ-N ранжированных результатов.
• Claim 5: Выбирается результат, на который кликнул пользователь, И один или несколько результатов, ранжирующихся выше него.

Claim 6 (Зависимый от 5): Описывает логику увеличения оценки на основе пропорции (применительно к выборке из Claim 5).

1. Определяется, включает ли сниппет каждого выбранного результата идентифицированный термин.
2. Вычисляется пропорция выбранных результатов, сниппеты которых содержат этот термин.
3. Association score увеличивается, если эта пропорция удовлетворяет пороговому значению.

Claim 7 (Зависимый от 5): Описывает логику увеличения оценки на основе сравнения кликнутого результата с вышестоящими (применительно к выборке из Claim 5).

• Association score увеличивается в ответ на определение того, что идентифицированный термин встречается в кликнутом результате, НО не встречается в одном или нескольких результатах, ранжирующихся выше.

Claim 10 (Зависимый): Описывает цель всего процесса.

• В ответ на будущий запрос, включающий исходный термин, система генерирует пересмотренный запрос (revised query), включающий идентифицированный термин (синоним), основываясь на увеличенном association score.

Где и как применяется

Изобретение описывает механизм обратной связи, который соединяет анализ результатов поиска с процессом понимания запросов. Это преимущественно офлайн-процесс анализа логов.

INDEXING – Индексирование (Анализ данных)
На этом этапе (в контексте анализа логов, а не сканирования веба) система обрабатывает сохраненные данные о поисковых сессиях. Она анализирует, какие результаты были показаны, какие сниппеты были сгенерированы, и как пользователи взаимодействовали с выдачей.

QUNDERSTANDING – Понимание Запросов (Обучение и Применение)

1. Обучение (Офлайн): Система использует данные анализа логов для вычисления и обновления association scores между терминами. Эти оценки агрегируются и используются для генерации или обновления Synonym Rules.
2. Применение (Онлайн): Когда пользователь вводит запрос, Synonym Engine и Query Reviser Engine используют эти правила для идентификации синонимов и генерации пересмотренных запросов (revised queries) в реальном времени.

RANKING – Ранжирование
Search Engine выполняет как исходный запрос, так и пересмотренные запросы для поиска кандидатов в результаты.

Входные данные:

• Журналы запросов (Query Logs), включающие:
  • Исходные запросы.
  • Списки показанных результатов и их позиции.
  • Текст сниппетов, сгенерированных для этих результатов.
  • Данные о поведении пользователей (какие результаты были выбраны/кликнуты).

Выходные данные:

• Обновленные association scores для пар терминов (запрос-синоним).
• Обновленные Synonym Rules, используемые Synonym Engine.

На что влияет

• Специфические запросы: Наибольшее влияние на запросы, где существует множество способов выражения одного и того же интента (информационные, некоторые коммерческие). Система учится связывать эти вариации.
• Языковые особенности: Механизм позволяет системе адаптироваться к эволюции языка и сленга, автоматически выявляя новые синонимы по мере их появления в контенте и сниппетах.

Когда применяется

Алгоритм вычисления association scores применяется периодически в рамках офлайн-обработки журналов запросов.

Триггеры активации и пороговые значения: В патенте описаны несколько сценариев активации обновления оценки:

1. Сценарий "Пропорция в Топе" (Claims 4, 6): Активируется, если термин появляется в сниппетах Топ-N результатов, и пропорция этих результатов превышает порог (например, 0.4 в патенте).
2. Сценарий "Клик" (Claim 3): Активируется при наличии клика на результат, сниппет которого содержит термин-кандидат.
3. Сценарий "Сравнение с вышестоящими" (Claims 5, 7): Активируется при клике на результат, если термин-кандидат присутствует в его сниппете, но отсутствует (или присутствует реже порогового значения, например, 0.3) в сниппетах результатов, ранжирующихся выше.

Пошаговый алгоритм

Процесс: Офлайн-анализ логов для обновления Association Scores

1. Сбор данных: Система получает данные из Query Logs, включающие запрос, список результатов с их сниппетами и ранжированием, а также данные о кликах пользователей.
2. Выбор стратегии анализа: Система применяет одну или несколько стратегий для анализа сессии (в патенте описаны варианты, которые могут использоваться параллельно или по отдельности).
   • Стратегия А (Топ-N): Выбираются Топ-N результатов.
   • Стратегия Б (Клик): Выбирается кликнутый результат.
   • Стратегия В (Клик и Выше): Выбирается кликнутый результат и все результаты выше него.
3. Идентификация кандидатов: Для выбранных результатов система анализирует текст сниппетов. Идентифицируются термины, которые отсутствуют в исходном запросе (и не являются стоп-словами/blacklist).
4. Применение логики скоринга: К идентифицированным терминам применяется логика для определения необходимости обновления оценки.
   • Для Стратегии А: Вычисляется пропорция результатов в Топ-N, содержащих термин. Если пропорция выше порога (например, >0.4), оценка увеличивается.
   • Для Стратегии Б: Если термин присутствует в сниппете кликнутого результата, оценка увеличивается.
   • Для Стратегии В: Оценка увеличивается, если термин присутствует в кликнутом результате, НО отсутствует или редко встречается (ниже порога, например, <0.3) в результатах выше него.
5. Обновление Association Score: Для валидированных кандидатов система увеличивает association score между ними и терминами исходного запроса. Величина увеличения может зависеть от различных факторов (например, надежность пользователя, частота термина).
6. Агрегация и генерация правил: Обновленные оценки агрегируются по множеству сессий. На их основе генерируются или обновляются Synonym Rules.

Какие данные и как использует

Данные на входе

• Контентные факторы: Текст сниппетов (Snippet). Это ключевой элемент анализа. Также косвенно используется текст заголовков (title), хотя сниппеты упоминаются как основной источник.
• Поведенческие факторы: Выбор пользователя (user-selected search result) или клик. Используется для определения релевантности результата и для сравнительного анализа (Claim 5).
• Технические факторы: Ранжирование результатов. Позиция результата используется для определения Топ-N (Claim 4) и для идентификации результатов, ранжирующихся выше кликнутого (Claim 5).
• Системные данные: Исходный поисковый запрос (search query). Журналы запросов (Query Logs). Существующие association scores и Synonym Rules. Списки исключений (blacklist/стоп-слова).

Какие метрики используются и как они считаются

• Association Score: Основная метрика, которая инкрементально обновляется по результатам анализа.
• Пропорция присутствия (Proportion): Доля результатов в анализируемой выборке (например, Топ-N или результаты выше клика), сниппеты которых содержат термин-кандидат. $Proportion = \frac{\text{Кол-во результатов с термином в сниппете}}{\text{Общее кол-во анализируемых результатов}}$
• Пороговые значения (Thresholds): Используются для принятия решения об увеличении оценки. В патенте приведены примеры порогов:
  • Порог для Стратегии А (Топ-N): > 0.4.
  • Порог для Стратегии В (Сравнение): < 0.3 (термин должен редко встречаться выше клика).

1. Сниппеты как обучающие данные: Патент четко демонстрирует, что текст, отображаемый в сниппетах, используется Google как источник данных для обучения систем понимания языка (NLP), в частности, для идентификации синонимов. Качество генерации сниппетов напрямую влияет на обучение системы.
2. Автоматическое изучение семантики: Система способна автоматически выявлять семантические связи между терминами без ручного вмешательства, основываясь на том, как эти термины совместно встречаются в релевантном контенте.
3. Важность поведения пользователей: Поведение пользователей (клики) используется для валидации синонимов. Особенно интересен сравнительный метод (Claim 7): если пользователь пропустил верхние результаты и кликнул на нижний, термины в сниппете нижнего результата, которых не было выше, получают сильный сигнал подтверждения как релевантные синонимы.
4. Множественность подходов к идентификации: Google не полагается на один метод. Патент описывает как минимум три разных подхода к анализу (Топ-N, Клик, Сравнение клика с вышестоящими), что обеспечивает более надежное и разностороннее выявление синонимов.
5. Контекстуальность синонимов: Хотя это не является ядром Claims 1-7, в описании упоминается, что Synonym Rules могут зависеть от контекста запроса (например, "cats" как животные vs. "cats musical"). Association scores могут агрегироваться для конкретных контекстов (например, только для запросов, где термин сопровождается определенными словами).

Best practices (это мы делаем)

• Оптимизация сниппетов через контент: Обеспечьте, чтобы текст на странице (особенно в начале документа или в ключевых блоках, откуда часто формируются сниппеты) был семантически насыщен. Включайте естественные синонимы, связанные термины (LSI/related entities) и релевантные определения рядом с основными ключевыми словами. Это повышает вероятность их попадания в сниппет и, как следствие, их распознавания системой как substitute terms.
• Анализ сниппетов конкурентов: Изучайте, какие сниппеты генерирует Google для Топ-N результатов по вашим целевым запросам. Определяйте термины, которые часто встречаются в этих сниппетах, но которые вы не используете активно. Это потенциальные синонимы, которые Google уже ассоциирует с запросом.
• Фокус на релевантности и полноте ответа: Создавайте контент, который полностью отвечает на интент запроса. Если ваш результат более полно отвечает на запрос, чем вышестоящие конкуренты, и это отражено в сниппете, клик пользователя на ваш результат поможет системе связать новые термины из вашего сниппета с исходным запросом (Сценарий В).
• Использование структурированных данных и определений: Четкие определения и структурированные списки часто попадают в сниппеты. Используйте их для внедрения ключевых связанных понятий, которые могут быть идентифицированы как синонимы.

Worst practices (это делать не надо)

• "Вода" и неинформативный текст: Если текст на странице размыт и не содержит конкретики, это приведет к формированию некачественных сниппетов, которые не содержат полезных терминов-кандидатов. Система не сможет извлечь из них данные для обучения.
• Манипуляция сниппетами (Cloaking/Скрытый текст): Попытки искусственно насытить текст терминами, которые нерелевантны содержанию страницы, могут привести к санкциям и не дадут долгосрочного эффекта, так как система валидирует синонимы через агрегацию данных и поведение пользователей.
• Игнорирование семантического окружения: Оптимизация только под точное вхождение ключевого слова без учета синонимов и связанных понятий. Это ограничивает потенциал страницы для ранжирования по расширенным запросам и снижает её ценность как источника данных для Synonym Engine.

Стратегическое значение

Патент подтверждает стратегическую важность семантического поиска и автоматизированного понимания языка. Для SEO это означает, что работа над контентом должна выходить за рамки подбора ключевых слов и фокусироваться на темах, сущностях и их взаимосвязях. Качество и информативность сниппета приобретают дополнительное измерение: это не только инструмент привлечения трафика, но и способ коммуникации с алгоритмами машинного обучения Google, показывающий семантическое поле вашего контента.

Практические примеры

Сценарий 1: Идентификация синонима через анализ Топ-N (Стратегия А)

1. Запрос: "питание для собак"
2. Анализ Топ-3: Google анализирует сниппеты.
   • Сниппет 1 содержит: "корм", "рацион", "витамины".
   • Сниппет 2 содержит: "корм", "диета", "здоровье".
   • Сниппет 3 содержит: "корм", "рацион", "ингредиенты".
3. Идентификация: Термин "корм" встречается в 3/3 сниппетов (100%). Термин "рацион" в 2/3 (67%).
4. Действие системы: Поскольку пропорция для "корм" и "рацион" превышает порог (например, 0.4), Google увеличивает association score для пар ("питание"-"корм") и ("питание"-"рацион").
5. Результат для SEO: Если ваш сайт оптимизирован под "корм для собак", он получает больше шансов ранжироваться по запросу "питание для собак", и наоборот. Необходимо убедиться, что оба термина присутствуют в вашем контенте и могут попасть в сниппет.

Сценарий 2: Идентификация синонима через сравнительный анализ (Стратегия В)

1. Запрос: "как настроить роутер"
2. Анализ выдачи:
   • Результаты 1 и 2 (Высокоранжированные): Сниппеты содержат общие фразы о подключении к сети.
   • Результат 3 (Клик пользователя): Сниппет содержит термины "SSID", "пароль администратора", "DHCP".
3. Идентификация: Пользователь пропустил результаты 1 и 2 и кликнул на 3. Термины "SSID" и "DHCP" присутствуют в кликнутом результате, но отсутствуют в вышестоящих.
4. Действие системы: Google увеличивает association score для пар ("настроить роутер"-"SSID") и ("настроить роутер"-"DHCP").
5. Результат для SEO: Страницы, содержащие конкретные технические термины, релевантные задаче, обучают систему тому, что эти термины являются важными синонимами или компонентами интента. Необходимо включать такую специфику в контент.