Как Яндекс исправляет опечатки в новых или редких запросах, используя данные похожих запросов-прокси

Описание

Какую задачу решает

Патент решает проблему «холодного старта» для систем исправления опечаток (Spell Correction). Традиционные системы полагаются на логи поиска (search logs), фиксирующие, как пользователи ранее исправляли конкретную опечатку. Однако, если пользователь вводит запрос с опечаткой, который никогда ранее не встречался (never been used) или встречается крайне редко, исторических данных для его исправления нет. Изобретение предлагает механизм для генерации исправленного запроса (Replacement Query) в условиях полного отсутствия статистики.

Что запатентовано

Запатентован метод генерации замещающего запроса для новых и потенциально ошибочных запросов путем аппроксимации их поведения. Суть изобретения заключается в поиске «запроса-прокси» (называемого Approximated Query) в истории поиска. Этот прокси должен одновременно быть (а) максимально похожим по написанию (string similarity) на новый запрос и (б) также редко используемым (low usage frequency). История исправлений запроса-прокси используется для оценки вероятных исправлений нового запроса.

Как это работает

Когда система получает новый запрос без статистики, она ищет кандидатов на исправление на основе строковой близости. Затем она идентифицирует Approximated Query (прокси) — кандидата, который похож на исходный запрос и также является редким. Система анализирует, как этот прокси исторически исправлялся пользователями (past-query-interdependence data). Предполагается, что новый запрос будет исправляться так же, как и его прокси. Эти данные о переходах используются для генерации векторов признаков, которые затем ранжируются (MLA) для выбора наилучшего исправления.

Актуальность для SEO

Высокая. Обработка новых, редких и длиннохвостых запросов, включая их корректное написание, остается фундаментальной задачей для поисковых систем. Описанный механизм аппроксимации поведения для решения проблемы нехватки данных актуален для улучшения качества поиска.

Важность для SEO

Влияние на SEO умеренное (4/10). Этот патент описывает внутренние механизмы этапа Понимания Запросов (Query Processing), а не ранжирования. Он не вводит новых факторов ранжирования. Однако он важен для понимания того, как Яндекс обрабатывает опечатки в сложных, новых или редких терминах (например, названия брендов, продуктов). Система стремится прозрачно исправить ошибку пользователя, что делает стратегию продвижения по запросам с опечатками неэффективной.

Детальный разбор

Термины и определения

Approximated Feature Vector (Аппроксимированный вектор признаков)

Вектор признаков, основанный на исторических переходах Approximated Query. Используется в качестве оценки (прокси) для вектора признаков нового запроса (которого не существует).

Approximated Query (Аппроксимированный запрос / Запрос-прокси)

Запрос из числа кандидатов, который выбран в качестве прокси для нового запроса. Критерии выбора: высокая строковая схожесть с новым запросом И низкая частота использования (редкость).

Consolidated Feature Vector (Консолидированный вектор признаков)

Вектор, полученный путем объединения (например, усреднения) векторов признаков от нескольких запросов-прокси (используется, если найдено более одного подходящего прокси).

Edit Distance / Levenshtein Distance (Расстояние редактирования / Расстояние Левенштейна)

Метрики для количественной оценки String Similarity между двумя строками. Определяют минимальное количество операций (вставка, удаление, замена символа), необходимых для преобразования одной строки в другую.

Past-query-interdependence data (Данные о взаимозависимости прошлых запросов)

Исторические данные из логов поиска, указывающие на переходы (past transitions) между парами запросов в рамках пользовательских сессий.

Replacement candidate queries (Кандидаты на замещающий запрос)

Набор прошлых запросов, выбранных из логов на основе их строковой схожести с новым запросом.

Usage Frequency (Частота использования)

Показатель того, как часто запрос ранее использовался в поисковой системе. Ключевой критерий для выбора запроса-прокси.

User-entered query (Введенный пользователем запрос)

Исходный запрос, который система никогда ранее не видела (never been used) и который потенциально содержит ошибку (potentially erroneously entered).

Ключевые утверждения (Анализ Claims)

Патент описывает систему коррекции запросов, специально предназначенную для ситуаций, когда отсутствует история использования введенного запроса.

Claim 1 (Независимый пункт): Описывает основной метод генерации замещающего запроса для нового запроса.

1. Выбор набора кандидатов на замену из прошлых запросов на основе строковой схожести (string similarity) с новым запросом.
2. Извлечение исторических данных о переходах (past-query-interdependence data) между этими кандидатами. (Важно: данных о переходах от нового запроса нет).
3. Выбор Approximated Query (прокси) из числа кандидатов. Выбор основан на двух критериях: (i) строковая схожесть с новым запросом и (ii) частота использования (usage frequency). (Система ищет похожий И редкий запрос).
4. Генерация векторов признаков (feature vector) для пар, состоящих из Approximated Query и каждого из кандидатов, на основе исторических переходов между ними.
5. Ключевой шаг: Использование этих векторов в качестве Approximated Feature Vectors. Они представляют собой оценку предполагаемых переходов между новым запросом и кандидатами. (История прокси используется вместо истории нового запроса).
6. Генерация параметра ранжирования для каждого Approximated Feature Vector, указывающего на вероятность исправления.
7. Определение замещающего запроса на основе параметров ранжирования.

Claim 2 (Зависимый пункт): Описывает сценарий, когда выбирается более одного Approximated Query.

Если система находит несколько подходящих прокси-запросов:

1. Векторы признаков генерируются для каждого из них.
2. Эти векторы консолидируются (consolidating) в единый Consolidated Feature Vector.
3. Этот консолидированный вектор используется как финальный Approximated Feature Vector.

Claim 8 (Зависимый пункт): Уточняет метод консолидации.

Консолидация векторов может выполняться путем вычисления среднего вектора (mean vector) или усредненного вектора (average vector).

Где и как применяется

Изобретение применяется на ранних этапах обработки поискового запроса.

QUERY PROCESSING – Понимание Запросов
Алгоритм является частью подсистемы исправления опечаток (Spell Correction). Он активируется, когда система получает запрос и определяет, что он (а) потенциально содержит ошибку и (б) является новым или крайне редким (отсутствует в логах поиска).

Взаимодействие с компонентами:

• Query Log Database: Система активно использует базу логов для получения списка прошлых запросов, их частот (usage frequency) и данных о взаимозависимости/переходах (past-query-interdependence data).
• Lexicon Database: Может использоваться на предварительном этапе для определения того, является ли введенный запрос известным словом (и, следовательно, потенциально ошибочным, если он не найден).
• Ranking System (MLA): На финальном этапе используется обученная модель (в патенте упоминается linear ranker) для оценки сгенерированных Approximated Feature Vectors и выбора лучшей замены.

Входные данные: Новый, потенциально ошибочный запрос (User-entered query).

Выходные данные: Замещающий запрос (Replacement Query), который передается на этап RANKING.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на редкие, новые (например, трендовые термины), длиннохвостые (long-tail) запросы, а также запросы, содержащие имена собственные, названия брендов или технические термины, в которых часто допускаются ошибки.
• Типы контента: Влияет на все типы контента, так как обеспечивает правильное понимание запроса до начала ранжирования.

Когда применяется

Алгоритм применяется при выполнении строгих условий (механизм обработки исключений):

1. Запрос идентифицирован как потенциально ошибочный.
2. Запрос является новым или очень редким — в логах отсутствует история его использования и переходов от него к другим запросам (Cold Start).

Пошаговый алгоритм

1. Получение и анализ запроса: Система получает новый запрос (Q_new) и определяет, что он новый и потенциально ошибочный.
2. Выбор кандидатов: Система ищет в логах прошлые запросы и вычисляет строковую схожесть (например, Levenshtein distance). Отбирается набор Replacement candidate queries.
3. Извлечение данных: Для кандидатов извлекаются их частоты использования (usage frequency) и история переходов (past-query-interdependence data).
4. Выбор Аппроксимированного Запроса (Прокси): Каждый кандидат оценивается по двум параметрам: схожесть и частота. Система выбирает один или несколько Approximated Queries, которые находятся в допустимой зоне аппроксимации (acceptable approximation hypothesis region) — высокая схожесть И низкая частота.
5. Генерация Векторов Признаков:
   • Сценарий 1 (Один прокси): Генерируются векторы признаков, описывающие его исторические переходы ко всем кандидатам.
   • Сценарий 2 (Несколько прокси): Генерируются векторы для каждого прокси, а затем они консолидируются (например, усредняются) в единый Consolidated Feature Vector для каждого кандидата.
6. Аппроксимация (Подмена): Сгенерированные (или консолидированные) векторы используются как Approximated Feature Vectors — они считаются оценкой того, как новый запрос вел бы себя, если бы у него была история.
7. Ранжирование и Выбор: Approximated Feature Vectors подаются на вход обученной модели ранжирования (MLA/Linear Ranker). Модель генерирует Ranking Parameters (вероятности). Кандидат с наивысшим параметром выбирается как замещающий запрос.

Какие данные и как использует

Данные на входе

• Контентные (Текстовые) факторы: Текст введенного запроса и тексты прошлых запросов. Используются для расчета строковой схожести.
• Поведенческие факторы: Критически важные данные из логов поиска:
  • Usage Frequency: Частота использования прошлых запросов. Используется для определения «редкости» при выборе прокси.
  • Past-query-interdependence data: Данные о сессиях и переходах между запросами (явные и неявные исправления). Являются основой для генерации векторов признаков.

Какие метрики используются и как они считаются

• String Similarity (Строковая схожесть): Вычисляется с помощью Edit Distance. В патенте явно упоминается Levenshtein distance.
• Пороги аппроксимации (Approximation Hypothesis Region): Определяются порогами для Usage Frequency и String Similarity. Запросы, попадающие в эту зону (похожие и редкие), становятся Approximated Queries. Пороги могут определяться эмпирически или на основе квантилей.
• Vector Consolidation (Консолидация векторов): Если используется несколько прокси, их векторы объединяются. В патенте упоминаются вычисление среднего вектора (mean vector) или усредненного вектора (average vector).
• Ranking Parameter (Параметр ранжирования): Вычисляется с помощью Machine Learned Algorithm (MLA). Упоминается Linear Ranker, обученный на исторических данных. Параметр представляет собой вероятность того, что кандидат является правильным исправлением.

Выводы

1. Решение проблемы «холодного старта» для опечаток: Яндекс имеет специализированный механизм для исправления ошибок в запросах, по которым нет статистики. Это обеспечивает более полное покрытие и улучшает пользовательский опыт для новых и редких тем.
2. Использование поведенческих прокси: Ключевая идея патента — использование исторических данных похожей, но другой опечатки (Approximated Query) в качестве прокси для новой опечатки.
3. Критерии выбора прокси (Схожесть + Редкость): Прокси-запрос должен быть не просто похожим по написанию, но и редким (низкая Usage Frequency). Предполагается, что редкие похожие запросы имеют схожие паттерны исправления.
4. Обработка неопределенности через консолидацию: Если найдено несколько подходящих прокси-запросов, их данные консолидируются (усредняются), что делает итоговую оценку более робастной.
5. Фокус на исправлении, а не ранжировании опечаток: Алгоритм направлен на то, чтобы понять намерение пользователя и прозрачно исправить запрос до этапа ранжирования.

Практика

Best practices (это мы делаем)

Хотя патент описывает внутренний механизм обработки запросов и не дает прямых рекомендаций по SEO, он подчеркивает важные аспекты стратегии:

• Приоритет продвижения по корректным запросам: Сосредоточьте усилия на оптимизации контента под корректно написанные целевые запросы. Этот патент подтверждает, что система активно работает над тем, чтобы исправлять ошибки пользователей (даже новые или редкие) и приводить их на выдачу по корректному запросу.
• Мониторинг брендовых запросов и сложных терминов: Если вы продвигаете бренд или продукт со сложным названием, этот механизм повышает вероятность того, что пользователи найдут ваш сайт, несмотря на ошибки ввода. Убедитесь, что на сайте используется корректная терминология.
• Улучшение поведенческих факторов: Система полагается на исторические переходы (past transitions) для обучения базовых моделей коррекции. Обеспечивая позитивный пользовательский опыт по целевым запросам, вы косвенно помогаете улучшать эти модели.

Worst practices (это делать не надо)

• Оптимизация страниц под опечатки (Typosquatting): Создание страниц под запросы с опечатками неэффективно. Система стремится исправить запрос пользователя, а не ранжировать контент, соответствующий ошибке.
• Игнорирование правильного написания в контенте: Не стоит полагаться только на то, что поисковая система исправит все ошибки. Использование корректной терминологии важно для авторитетности контента.

Стратегическое значение

Патент демонстрирует сложность систем обработки запросов Яндекса и то, как система справляется с нехваткой данных, используя методы аппроксимации на основе поведенческих логов. Стратегически это означает, что Яндекс стремится максимально точно понять интент пользователя независимо от качества ввода. Для SEO это подтверждает стратегию фокуса на интент и качество контента для целевого (правильного) запроса, а не на манипуляции с вариантами написания.

Практические примеры

Сценарий: Исправление опечатки в названии нового продукта

1. Контекст: На рынок вышел новый препарат с названием «Цитофлавирин».
2. Новый запрос (User-entered query): Пользователь вводит «Цитофлавирын». Система видит этот запрос впервые.
3. Действие системы (Поиск прокси): Система ищет похожие редкие запросы в истории. Она находит запрос «Цитофлавирен» (другая опечатка), который ранее встречался редко, но по нему есть статистика. Он выбирается как Approximated Query.
4. Использование истории прокси: Система анализирует, что пользователи, вводившие «Цитофлавирен», часто переходили к запросу «Цитофлавирин».
5. Аппроксимация и Ранжирование: Система использует эту историю как прокси и рассчитывает высокую вероятность того, что пользователь, введший «Цитофлавирын», также имел в виду «Цитофлавирин».
6. Результат: Пользователю показывается выдача по запросу «Цитофлавирин». SEO-специалисту важно, чтобы сайт был оптимизирован именно под правильное написание.

Вопросы и ответы