Как Google определяет контекстную значимость слов в запросе, делая неважные термины опциональными при поиске

Термины и определения

Context (Контекст)

Специфический термин или последовательность терминов, которые появляются непосредственно до или после анализируемого термина в запросе. Контекст определяет условия, при которых оценивается значимость термина. Также может означать "везде" (обозначается как (.)), указывая на общую значимость термина независимо от окружения.

Down-weighting (Понижение веса)

Процесс уменьшения вклада термина с низкой значимостью в общую оценку (score) документа при ранжировании. Термин вносит меньший вклад, чем другие термины запроса, но все же больший нуля.

Extra term (Дополнительный термин)

Термин, наличие которого отличает один запрос от другого в анализируемой паре (например, Термин Х в паре "Запрос А" и "Запрос А + Термин Х").

Optional Term (Опциональный термин)

Термин запроса, который был идентифицирован как малозначимый в данном контексте. При отборе документов (document selection) его наличие в документе не является обязательным.

Query Logs (Логи запросов)

Журналы пользовательских поисковых запросов и связанных данных, включая результаты поиска (search results), которые были идентифицированы для этих запросов, и последовательности запросов (сессии).

Query Term Table (Таблица поисковых терминов)

Структура данных, хранящая информацию о терминах и контекстах, в которых они имеют низкую значимость (Context(s) of Little Significance) или высокую значимость (Significant Context(s)).

Term of Little Significance (Термин с низкой значимостью)

Термин, который считается менее важным или полезным, чем другие термины в запросе, для определения информационной потребности пользователя в данном контексте.

Ключевые утверждения (Анализ Claims)

Claim 17 (Независимый пункт): Описывает офлайн-метод определения значимости терминов.

1. Анализ query logs для идентификации пар запросов, отличающихся одним дополнительным термином (extra term).
2. Расчет количества общих или различных результатов поиска для группы этих пар.
3. Идентификация extra term как термина с little significance, если группа пар связана с первым пороговым количеством общих результатов.
4. Идентификация extra term как термина, который является significant, если группа пар связана со вторым пороговым количеством различных результатов.

Claim 1 (Независимый пункт): Описывает основной метод обработки поискового запроса (онлайн).

1. Система получает поисковый запрос.
2. Проводится анализ конкретного термина запроса для расчета его значимости на основе контекста (других терминов).
3. Это определение основано на (предварительном) анализе логов запросов (как в Claim 17).
4. Термин идентифицируется как имеющий little significance, если анализ логов показал высокое сходство результатов.
5. Система идентифицирует документы на основе подмножества терминов запроса, которое не включает термин с little significance (т.е. он становится опциональным при отборе).
6. Предоставляется список результатов поиска.

Claim 27 (Независимый пункт): Описывает процесс ранжирования (Scoring).

1. Получение запроса и анализ значимости термина (на основе офлайн-анализа).
2. Идентификация документов.
3. Генерация оценок (scores). При расчете оценки малозначимый термин вносит вклад, который больше нуля, но меньше, чем вклад значимого термина (Down-weighting).
4. Идентификация списка результатов на основе оценок.

Claim 4, 6, 19, 22 (Зависимые): Детализируют поиск контекстуальных исключений.

Система не только определяет общую значимость термина, но и ищет контексты, где правило нарушается. Например, если термин в целом малозначим, система ищет контексты, где его добавление сильно меняет выдачу (делая его значимым в этом контексте), и наоборот.

Claim 7 и 23 (Зависимые): Описывают альтернативный сигнал — поведение пользователя (реформулировка запроса).

Система анализирует последовательности запросов. Если пользователь часто вводит Запрос 1 (с термином), а сразу за ним Запрос 2 (без термина), и это превышает порог (например, 1%), термин идентифицируется как имеющий little significance.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, разделяясь на офлайн-обработку и обработку запроса в реальном времени.

QUNDERSTANDING – Понимание Запросов (Офлайн-обработка)
Система (Query Term Analyzer) работает в офлайн-режиме. Он использует данные из Query Logs для анализа влияния терминов на результаты поиска.
Вход: Query Logs (история запросов и SERP).
Выход: Query Term Table.

QUNDERSTANDING – Понимание Запросов (Онлайн)
На этом этапе система (Query Analyzer) в реальном времени анализирует входящий запрос, используя Query Term Table. Определяется контекст каждого термина и его значимость.
Вход: Поисковый запрос, Query Term Table.
Выход: Аннотированный запрос с указанием значимости/весов терминов.

RANKING – Ранжирование (Этап Retrieval/Отбор кандидатов)
Компонент Search Logic выполняет отбор документов. Если термин помечен как малозначимый, он рассматривается как опциональный (optional). Документ не обязан содержать этот термин для попадания в набор кандидатов.
Вход: Аннотированный запрос.
Выход: Набор документов-кандидатов.

RANKING – Ранжирование (Этап Scoring/Оценка)
Компонент Scoring Logic рассчитывает оценку релевантности (IR score). Если термин помечен как малозначимый, применяется понижение веса (down-weighting).
Вход: Документы-кандидаты, веса терминов.
Выход: Документы с рассчитанными scores.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на длинные (long-tail) запросы и запросы, содержащие общие модификаторы (например, "бесплатно", "информация", "лучший"), которые часто перегружают запрос и снижают качество поиска.
• Контентные факторы: Система может предпочесть документ, идеально отвечающий на основной интент, но не содержащий малозначимых модификаторов, документу, содержащему все слова, но менее релевантному основному интенту.

Когда применяется

• Условия применения: Алгоритм анализа применяется к каждому запросу, но модификация (опционализация и понижение веса) активируется только тогда, когда хотя бы один термин запроса идентифицирован в Query Term Table как имеющий little significance в контексте данного запроса.
• Принцип действия: Система ищет наиболее специфичное (most specific context) совпадение в таблице. Если термин обычно малозначим, но в данном конкретном контексте значим, он будет считаться значимым.
• Пороговые значения (Офлайн): Используются пороги для определения "большинства пар" (например, >50%) и "множества общих/различных результатов". В патенте упоминается пример: "большинство пар имеют как минимум 30% общих результатов и не более 20% пар не имеют общих результатов". Также используется порог частоты реформулировки запроса (например, >1%).

Пошаговый алгоритм

Процесс А: Офлайн-генерация Таблицы Поисковых Терминов (Query Term Table)

1. Анализ логов запросов: Система анализирует Query Logs.
2. Идентификация пар запросов: Выявляются пары запросов, которые идентичны, за исключением одного дополнительного термина (extra term).
3. Сравнение результатов поиска: Для каждой пары сравниваются списки результатов поиска (SERP).
4. Оценка большинства пар: Определяется, имеет ли большинство (или пороговое количество) пар много общих результатов или много различных результатов.
5. Определение общей значимости:
   • Если большинство пар имеют много общих результатов: extra term идентифицируется как в целом малозначимый.
   • Если большинство пар имеют много различных результатов: extra term идентифицируется как в целом значимый.
6. Идентификация исключений (Контекстов):
   • Для в целом малозначимых терминов: Ищутся контексты, в которых добавление термина приводит к различным результатам (контексты значимости).
   • Для в целом значимых терминов: Ищутся контексты, в которых добавление термина приводит к общим результатам (контексты низкой значимости).
7. (Опционально) Анализ реформулировок: Анализируются последовательности запросов пользователей для выявления частых удалений термина, что также указывает на его низкую значимость.
8. Сохранение данных: Информация о термине, его общей значимости и контекстах-исключениях сохраняется в Query Term Table.

Процесс Б: Обработка запроса в реальном времени

1. Получение запроса: Система получает поисковый запрос.
2. Анализ терминов и контекста: Каждый термин анализируется с использованием Query Term Table. Система ищет наиболее специфичный совпадающий контекст для определения значимости термина.
3. Проверка наличия малозначимых терминов: Определяется, содержит ли запрос термины с little significance в данном контексте.
4. Выполнение поиска (Document Selection):
   • Если малозначимых терминов нет: Выполняется стандартный поиск.
   • Если есть: Поиск выполняется, рассматривая малозначимые термины как опциональные (optional). Документы отбираются, даже если не содержат эти термины.
5. Применение весов (Weighting):
   • Значимым терминам присваивается стандартный вес (например, 1).
   • Малозначимым терминам присваивается пониженный вес (down-weight) (например, 0.25).
6. Расчет оценок (Scoring): Рассчитываются оценки (scores) для отобранных документов с учетом присвоенных весов. Документы, содержащие малозначимый термин, получают небольшое преимущество перед теми, что его не содержат.
7. Презентация результатов: Документы ранжируются по итоговым оценкам и предоставляются пользователю.

Какие данные и как использует

Данные на входе

• Поведенческие факторы (Query Logs): Критически важные данные. Используются исторические данные о том, какие запросы задавали пользователи и какие результаты поиска (SERP) были получены для этих запросов. Также используются данные о последовательностях запросов (sequences of queries) для анализа реформулировок.

Патент не упоминает использование контентных, технических или ссылочных факторов для определения значимости термина.

Какие метрики используются и как они считаются

Система использует несколько ключевых метрик и порогов в офлайн-анализе:

• Степень совпадения результатов (Common Search Results): Процент или количество общих документов в выдаче по паре запросов (А и А+Х).
• Порог "Много общих результатов" (Threshold 1): Пороговое значение степени совпадения, при превышении которого считается, что добавление термина Х не сильно изменило выдачу (например, 30% общих результатов).
• Порог "Много различных результатов" (Threshold 2): Пороговое значение степени различия, при превышении которого считается, что добавление термина Х значительно изменило выдачу.
• Порог "Большинство пар" (Majority Threshold): Процент пар запросов, которые должны удовлетворять порогам совпадения/различия, чтобы сделать вывод об общей значимости термина (например, 50%).
• Частота реформулировки: Частота, с которой пользователи вводят запрос с термином, а затем сразу же вводят тот же запрос без этого термина. Порог активации, например, 1%.

В процессе обработки запроса используются:

• Веса терминов (Term Weights): Значения, используемые при расчете IR score. Малозначимые термины получают пониженный вес (дробное значение меньше стандартного веса значимых терминов).

1. Значимость термина определяется контекстом, а не только его частотностью: Система выходит за рамки традиционных стоп-слов или TF/IDF. Слово может быть признано малозначимым в одном контексте и критически важным в другом (например, "automobile" в "ford automobile" vs "hybrid automobile").
2. Оценка значимости основана на влиянии термина на состав SERP: Ключевой механизм патента — это анализ того, как сильно меняется поисковая выдача при добавлении или удалении термина. Если выдача меняется слабо, термин считается малозначимым. Это объективная оценка, основанная на данных Query Logs.
3. Двойной механизм обработки малозначимых терминов: Система использует два метода для снижения негативного влияния лишних слов:
   • Повышение полноты (Recall): Малозначимые термины становятся опциональными при отборе документов. Это позволяет находить релевантные документы, которые не содержат этих слов.
   • Улучшение точности (Precision): Малозначимые термины получают пониженный вес (down-weighting) при ранжировании. Это уменьшает их влияние на итоговый score, но сохраняет небольшое преимущество для документов, где они есть (вес > 0).
4. Использование наиболее специфичного контекста: При анализе запроса система выбирает наиболее точное совпадение контекста в Query Term Table. Это позволяет корректно обрабатывать исключения из общих правил.
5. Альтернативный сигнал — Реформулировка запроса: Поведение пользователей (быстрое удаление слова из запроса) является дополнительным сильным сигналом низкой значимости термина.

Best practices (это мы делаем)

• Фокус на основном интенте (Core Intent Terms): Сосредоточьте стратегию контента и оптимизацию на терминах, которые определяют основную потребность пользователя, а не на общих модификаторах. Убедитесь, что страница хорошо ранжируется по основному запросу без учета потенциально малозначимых слов (например, по "mazda cars", а не только по "information about mazda cars").
• Анализ SERP для определения значимости терминов: Изучайте, как меняется выдача при добавлении или удалении модификаторов в вашей нише (например, "купить", "цена", "отзывы"). Если выдача по запросам А и А+Х сильно отличается, то Х — значимый термин, и под него нужна оптимизация. Если выдача схожа, то Х, вероятно, опционален.
• Создание комплексного контента (Увеличение Recall): Поскольку малозначимые термины становятся опциональными, высококачественный контент, отвечающий на основной интент, может быть показан по более широкому спектру длинных запросов, даже если он не содержит всех второстепенных слов из запроса пользователя.
• Оптимизация под значимые контексты: Если вы используете общие слова, убедитесь, что они используются в контексте, где они имеют значение. Например, если вы используете слово "free", убедитесь, что контент соответствует контекстам, где оно значимо (например, "sugar free"), а не просто как общий модификатор.

Worst practices (это делать не надо)

• Искусственное раздувание текста общими словами: Добавление слов вроде "информация", "статья", "обзор" в надежде повысить релевантность может быть неэффективным, если эти слова будут признаны малозначимыми в данном контексте и их вес будет понижен.
• Слепая оптимизация под Long-Tail запросы: Оптимизация страницы под очень длинный запрос без понимания значимости каждого термина рискованна. Если половина слов в запросе будет признана опциональной и получит пониженный вес, страница может уступить конкурентам, лучше оптимизированным под основной интент.
• Игнорирование основного запроса: Нельзя фокусироваться только на полном длинном запросе, предполагая, что все слова обязательны. Если основные термины не проработаны, страница не будет ранжироваться, даже если содержит все опциональные модификаторы.

Стратегическое значение

Этот патент подчеркивает важность глубокого понимания семантики и контекста в поисковых системах. Он демонстрирует, что Google стремится понять истинную информационную потребность пользователя, отфильтровывая шум в запросе. Для SEO это означает переход от буквального соответствия ключевых слов к удовлетворению интента. Стратегия должна базироваться на анализе того, какие термины являются определяющими (significant) в конкретных тематиках и контекстах, и обеспечении максимальной релевантности именно этим терминам.

Практические примеры

Сценарий 1: Оптимизация страницы обзора автомобиля (Пример из патента)

1. Анализ терминов: SEO-специалист анализирует запросы, связанные с "Ford". Он замечает, что по запросам "Ford automobile" и "Ford" выдача почти идентична.
2. Интерпретация (на основе патента): Google определил, что в контексте "(Ford .)" слово "automobile" имеет little significance. Оно становится опциональным и получает пониженный вес.
3. Действия: Специалист фокусирует оптимизацию (Title, H1, основной текст) на бренде "Ford" и конкретных моделях, не пытаясь излишне часто использовать слово "automobile".
4. Результат: Страница хорошо ранжируется по запросу "Ford automobile", так как её ранжирование в первую очередь определяется релевантностью термину "Ford".

Сценарий 2: Использование слова "Бесплатно" (Free) (Пример из патента)

1. Анализ терминов: Специалист хочет продвинуть страницу по запросу "Бесплатные фото китов" (Killer whale free photos). Анализ показывает, что выдача по "Killer whale free photos" и "Killer whale photos" очень похожа.
2. Интерпретация: Слово "Free" в этом контексте имеет little significance.
3. Анализ исключений: Специалист также проверяет запрос "Sugar free soda". Выдача по "Sugar free soda" и "Sugar soda" сильно отличается.
4. Интерпретация: В контексте "(Sugar . soda)" слово "Free" является значимым.
5. Действия: Для страницы с фото китов основной упор делается на качество и релевантность фотографий китов. Для страницы о газировке без сахара слово "Free" используется как ключевой элемент оптимизации.