Как Google использует статистический анализ логов запросов и объема торгов для классификации финансового интента и показа биржевых сводок

Описание

Какую задачу решает

Патент решает проблему идентификации специфического пользовательского интента (запрос информации о фондовом рынке) в рамках системы общего поиска. Он устраняет необходимость для пользователей переходить на специализированные финансовые сайты и использовать специальные поля для ввода тикеров. Основная техническая задача — это разрешение неоднозначности (ambiguity), поскольку многие биржевые тикеры являются также общеупотребительными словами (например, MAPS, THE, A). Система улучшает пользовательский опыт, предоставляя специализированные результаты (биржевые сводки) непосредственно в ответ на общий запрос, если интент классифицирован как финансовый.

Что запатентовано

Запатентован метод автоматической классификации интента запроса для определения, является ли строка информации запросом биржевой информации. Ключевым элементом изобретения является расчет Measure of Intent (Меры намерения). Эта метрика вычисляется путем сравнения частоты использования термина в общем контексте (Frequency of General Usage) с мерой интереса к соответствующему финансовому инструменту (Measure of Interest, например, объемом торгов). Это позволяет системе статистически оценить вероятность финансового интента.

Как это работает

Система работает в двух основных режимах: офлайн-категоризация и онлайн-обработка.

• Офлайн-категоризация: Система анализирует логи запросов для определения общей частоты использования термина и данные фондового рынка (например, объем торгов) для определения интереса к акции. Путем их сравнения вычисляется Measure of Intent. Тикеры категоризируются по степени неоднозначности (например, Ambiguous, Unambiguous, Disambiguating).
• Онлайн-обработка: При получении запроса система проверяет, состоит ли он из тикеров и/или Characteristic Terms (характерных терминов, таких как «акции», «котировки»). Затем она использует офлайн-категоризацию, чтобы определить, удовлетворяет ли комбинация терминов порогу уверенности в финансовом интенте.
• Обратная связь (Альтернативный вариант): Система может показывать биржевой результат и измерять его Click-Through Rate (CTR). Если CTR низкий, система учится, что данный запрос не следует классифицировать как финансовый.

Актуальность для SEO

Высокая. Хотя патент подан в 2001 году, описанные в нем принципы классификации интента, разрешения неоднозначности сущностей и использования поведенческих данных (CTR) для валидации алгоритмов являются фундаментальными для современного поиска. Методология сравнения общего использования с доменным интересом для определения контекста остается крайне актуальной для Query Understanding и запуска специализированных результатов (SERP Features).

Важность для SEO

Патент имеет высокое значение для понимания принципов работы SEO. Он демонстрирует конкретную методологию, которую Google использует для классификации интента запроса и разрешения неоднозначности терминов, что является критически важным для запуска вертикального поиска или SERP Features. Понимание того, как Google использует статистические данные (логи запросов) и контекстуальные сигналы (Characteristic Terms) для определения доминирующего интента, позволяет SEO-специалистам точнее оптимизировать контент под конкретные сценарии поиска и понимать причины появления или отсутствия специализированных результатов в выдаче.

Детальный разбор

Термины и определения

Ambiguity (Неоднозначность)

Состояние термина, который может иметь несколько значений. В контексте патента — термин, который является биржевым тикером и одновременно общеупотребительным словом.

Characteristic Terms (Характерные термины)

Термины в запросе, которые сами не являются тикерами, но характерны для запросов биржевой информации (например, «stock», «quotes»). Их наличие сигнализирует о финансовом контексте.

Click-Through (Rate) (Показатель кликабельности, CTR)

Процент случаев, когда пользователи нажимают на предоставленный биржевой результат. Используется как механизм обратной связи для оценки правильности классификации интента.

Disambiguating (Разрешающий неоднозначность)

Категория тикеров с очень низкой Measure of Intent. Эти термины настолько редко используются вне финансового контекста, что их присутствие в запросе сильно сигнализирует о финансовом интенте.

Measure of Intent (Мера намерения)

Ключевая метрика патента. Отражает вероятность того, что термин предназначен для запроса биржевой информации, а не общей информации. Вычисляется на основе соотношения Frequency of General Usage и Measure of Interest.

Measure of Interest (Мера интереса)

Метрика, отражающая текущий интерес к финансовому инструменту. Примеры: объем торгов (Trading Volume), рыночная капитализация, частота запросов в специализированных финансовых полях, CTR биржевых результатов.

Query Log Frequency (Частота в логах запросов)

Метрика Frequency of General Usage. Частота, с которой термин появляется в логах поисковой системы по сравнению с другими терминами. Отражает общее использование термина пользователями.

Stop Words (Стоп-слова)

Общеупотребительные слова, которые могут быть удалены из запроса. Однако патент уточняет, что стоп-слова, которые также являются тикерами (например, «A», «THE»), не удаляются при анализе финансового интента.

Ticker Query (Запрос тикера)

Запрос, классифицированный системой как запрос биржевой информации.

Trading Volume (Объем торгов)

Основной пример Measure of Interest в патенте. Объем торгов акцией/фондом за определенный период времени.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод классификации интента для предоставления биржевой информации.

1. Система получает строку информации через единое поле ввода (которое принимает как запросы тикеров, так и общие запросы).
2. Определяется частота использования (frequency of use) терминов-тикеров в строке.
3. Определяется мера интереса (measure of interest) к этим тикерам.
4. Генерируется Мера намерения (Measure of Intent) на основе соотношения между частотой использования и мерой интереса. Эта мера отражает вероятность того, что запрос касается биржевой информации.
5. Выполняется поиск биржевой информации, ЕСЛИ Measure of Intent указывает на соответствующее намерение.
6. Биржевая информация предоставляется клиенту.

Claim 10 (Независимый пункт): Описывает устройство, реализующее метод. Акцентирует внимание на том, что Measure of Intent основана на частоте использования и «другом факторе» (т.е. Мере интереса).

Система генерирует Measure of Intent, отражающую вероятность запроса биржевой информации по сравнению с небиржевой. Если мера указывает на биржевой интент, выполняется поиск биржевой информации. Если мера указывает на небиржевой интент, выполняется поиск небиржевой информации. Результат предоставляется клиенту.

Claim 16 (Зависимый от 15 и 10): Определяет расчет Measure of Intent.

Генерация Measure of Intent включает деление значения, соответствующего частоте использования терминов-тикеров, на значение, соответствующее «другому фактору» (Мере интереса).

Claim 17 (Независимый пункт): Описывает реализацию на компьютерном носителе, конкретизируя Меру интереса как Объем торгов (Trading Volume).

Система идентифицирует частоту использования терминов-тикеров и объем торгов соответствующего финансового инструмента. Measure of Intent генерируется на основе этих двух показателей. Если она указывает на высокую вероятность запроса биржевой информации, эта информация ищется и предоставляется.

Где и как применяется

Изобретение является классическим примером системы классификации интента и запуска специализированных результатов.

INDEXING – Индексирование и извлечение признаков
На этом этапе система может собирать данные, необходимые для офлайн-анализа, такие как данные об объемах торгов (Trading Volume) или рыночной капитализации, которые используются как Measure of Interest.

QUNDERSTANDING – Понимание Запросов
Основное применение патента. Система выполняет несколько функций на этом этапе:

1. Офлайн-анализ (Категоризация): Анализ логов запросов (Query Logs) для определения Frequency of General Usage. Сравнение этих данных с Measure of Interest для расчета Measure of Intent и категоризации всех тикеров по степени неоднозначности.
2. Онлайн-анализ (Классификация Интента): Обработка входящего запроса в реальном времени. Распознавание сущностей (тикеров), идентификация Characteristic Terms и использование предварительно рассчитанных категорий для определения, является ли запрос Ticker Query.
3. Триггеринг: Принятие решения о запуске поиска в специализированном финансовом индексе или активации соответствующего SERP Feature.

METASEARCH – Метапоиск и Смешивание
Если интент классифицирован как финансовый, система на этапе смешивания интегрирует специализированный биржевой результат (Ticker Result) в общую выдачу. Патент описывает возможность показа этого результата вместе с общими результатами поиска или перенаправления пользователя непосредственно на страницу с финансовой информацией.

RERANKING – Переранжирование
Механизм обратной связи, описанный в одном из вариантов реализации, использует данные о поведении пользователей (Click-Through Rate на биржевом результате), собранные после показа выдачи, для корректировки будущей классификации интента этого запроса.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на неоднозначные запросы, где термины могут интерпретироваться как в финансовом, так и в общем контексте. Также влияет на явные финансовые запросы, содержащие тикеры и Characteristic Terms.
• Конкретные ниши или тематики: Прямое влияние на финансовую вертикаль (Finance).
• Определенные форматы контента: Влияет на отображение специализированных блоков данных (SERP Features), таких как биржевые сводки и графики.

Когда применяется

• Триггеры активации: Алгоритм активируется, когда в запросе обнаружены термины, соответствующие известным биржевым тикерам, и/или когда присутствуют Characteristic Terms.
• Условия и пороги: Применяется, когда рассчитанная Measure of Intent для терминов в запросе удовлетворяет определенным критериям. Например, если запрос содержит хотя бы один Disambiguating тикер или если все тикеры в запросе являются Unambiguous.
• Исключения: Не применяется, если запрос находится в списке исключений (list of invalid ticker queries), который может формироваться на основе низкого CTR на ранее показанных биржевых результатах для этого запроса.

Пошаговый алгоритм

Процесс А: Офлайн-категоризация тикеров (Measure of Intent Calculation)

1. Сбор данных об общем использовании: Определяется частота использования термина в общих контекстах. Основной метод — анализ Query Log Frequency.
2. Сбор данных о доменном интересе: Определяется Measure of Interest для соответствующей акции/фонда. Основной метод — анализ Trading Volume.
3. Расчет Меры намерения: Вычисляется Measure of Intent путем сравнения данных из шага 1 и 2. Формула: $\text{Measure of Intent} = \frac{\text{Frequency of General Usage}}{\text{Measure of Interest}}$. Низкое значение указывает на высокую вероятность финансового интента.
4. Категоризация: Тикеры классифицируются на основе Measure of Intent (например, Ambiguous, Unambiguous, Disambiguating). Категоризация может проводиться отдельно для контекста однословных и многословных запросов.

Процесс Б: Онлайн-обработка запроса (Intent Classification)

1. Получение запроса: Система получает строку информации.
2. Проверка на тикеры: Определяется, соответствуют ли все термины в запросе действительным тикерам.
3. Проверка на характерные термины (Если шаг 2 = НЕТ): Определяется, присутствуют ли Characteristic Terms (например, «stock»). Если ДА, эти термины удаляются для дальнейшего анализа оставшихся тикеров. Если НЕТ, запрос не является Ticker Query.
4. Анализ неоднозначности (Если шаг 2 или 3 = ДА): Система применяет правила на основе категорий из Процесса А. Примеры правил:
   • Запрос состоит из одного слова и тикер относится к категории Single-word unambiguous?
   • Все тикеры в запросе относятся к категории Unambiguous?
   • Присутствует ли хотя бы один тикер категории Disambiguating?
5. Классификация: Если правила удовлетворены, запрос классифицируется как Ticker Query.
6. Предоставление результатов: Система предоставляет специализированный биржевой результат (Ticker Information).

Процесс В: Альтернативная обработка с обратной связью (Feedback Loop)

1. Получение запроса и проверка на тикеры.
2. Проверка списка исключений: Проверяется, находится ли запрос в списке invalid ticker queries. Если ДА, обработка прекращается.
3. Предоставление результата (Оптимистичное): Если запрос состоит только из тикеров, система предоставляет биржевой результат.
4. Измерение поведения: Измеряется Click-Through Rate (CTR) на предоставленном биржевом результате.
5. Корректировка: Если CTR ниже определенного порога, запрос добавляется в список исключений (для использования на шаге 2 в будущем).

Какие данные и как использует

Данные на входе

Система использует несколько типов данных для классификации интента:

• Поведенческие факторы (Общее использование): Логи запросов (Query Logs) используются для определения Query Log Frequency. Это основной источник данных для оценки Frequency of General Usage. В альтернативном варианте реализации используется Click-Through Rate на показанных результатах.
• Внешние/Доменные факторы (Интерес): Данные фондового рынка используются для определения Measure of Interest. Основной пример — Trading Volume. Другие упомянутые примеры: рыночная капитализация, частота запросов на сайтах онлайн-брокеров, частота появления тикера в пользовательских порталах (например, My Yahoo!).
• Лингвистические/Контентные факторы: Список известных биржевых тикеров. Список Characteristic Terms («stock», «quotes»). Список Stop Words (с учетом исключений для слов-тикеров).

Какие метрики используются и как они считаются

• Measure of Intent (Мера намерения): Рассчитывается путем деления Frequency of General Usage на Measure of Interest.
• Категории неоднозначности: Определяются путем применения пороговых значений к Measure of Intent. Патент предлагает 4 категории: Ambiguous, Single-word unambiguous, Unambiguous, Disambiguating.
• Контекстуализация: Measure of Intent может рассчитываться отдельно для разных контекстов (однословные против многословных запросов).
• Measure of Intent (Альтернативный расчет через CTR): В варианте с обратной связью мера намерения может быть выражена как: $\text{Measure of Intent} = \frac{\text{Number of Impressions}}{\text{Ticker Result Click-Through}}$. Низкий CTR приводит к высокому значению Measure of Intent, что указывает на низкую вероятность того, что запрос был предназначен как Ticker Query.

Выводы

1. Статистический подход к классификации интента: Патент детально описывает методологию разрешения неоднозначности и классификации интента, основанную на статистическом анализе, а не только на лингвистических правилах. Measure of Intent — это вероятностная оценка контекста.
2. Важность доменных сигналов для определения контекста: Google использует внешние, специфичные для домена сигналы (Measure of Interest, такие как объем торгов), чтобы понять контекст запроса. Это показывает, что понимание реального мира и активности в конкретной вертикали влияет на интерпретацию запросов.
3. Использование логов запросов для понимания общего интента: Query Logs являются критически важным источником данных для определения базовой частоты использования термина (Frequency of General Usage) и понимания доминирующего интента в популяции.
4. Контекст и сопроводительные термины: Система учитывает контекст (однословный vs многословный запрос) и наличие Characteristic Terms (сопутствующих слов, сигнализирующих о вертикали) для уточнения интента.
5. Поведенческие данные как валидация интента: Патент явно описывает использование Click-Through Rate на специализированном результате как механизма обратной связи. Если пользователи не взаимодействуют с результатом, система корректирует свою классификацию интента для этого запроса, признавая ее ошибочной.
6. Триггеринг специализированных результатов: Это изобретение является механизмом для принятия решения о том, когда следует показывать специализированный результат (SERP Feature) вместо стандартных «синих ссылок» или в дополнение к ним.

Практика

Best practices (это мы делаем)

• Анализ неоднозначности ключевых слов: Для терминов, имеющих несколько значений (например, название продукта и общее слово), необходимо понимать доминирующий интент. Используйте инструменты анализа частотности и изучайте выдачу, чтобы понять, как Google интерпретирует запрос по умолчанию.
• Усиление контекста с помощью Characteristic Terms: Если вы таргетируете специфический интент, который не является доминирующим, активно используйте в контенте и метаданных Characteristic Terms (термины, характерные для вашей вертикали). Это помогает поисковой системе правильно классифицировать интент страницы и связать ее с соответствующими запросами.
• Оптимизация под SERP Features и анализ взаимодействия: Патент подчеркивает, что запуск специализированных результатов зависит от классификации интента. Необходимо оптимизировать контент для попадания в эти блоки. Кроме того, следует анализировать взаимодействие пользователей (CTR) с вашими результатами, так как Google использует поведенческие сигналы для валидации своей классификации.
• Использование доменных сигналов авторитетности: Поскольку Google использует Measure of Interest для определения значимости сущности в домене, работа над повышением реального интереса к вашему бренду, продукту или теме (упоминания, брендовый трафик) может косвенно влиять на то, как Google интерпретирует связанные с вами запросы.

Worst practices (это делать не надо)

• Игнорирование контекста запроса: Оптимизация страницы под ключевое слово без учета его доминирующего интента и контекста использования. Например, попытка ранжироваться по запросу «MAPS» с контентом о фондовом рынке будет неэффективной, так как Frequency of General Usage этого термина значительно превышает его финансовый Measure of Interest.
• Манипуляции с интентом без подтверждения авторитетностью: Попытки искусственно создать видимость релевантности специфическому интенту без наличия реального интереса или авторитетности в этой вертикали. Система использует объективные данные (как объем торгов) для валидации значимости сущностей.
• Пренебрежение поведенческими факторами: Создание контента, который формально соответствует интенту, но не удовлетворяет пользователя. Низкий CTR на ваших результатах может привести к тому, что Google пересмотрит классификацию интента или релевантность вашего сайта, как показано в механизме обратной связи.

Стратегическое значение

Этот патент подтверждает, что классификация интента является центральным элементом архитектуры поиска Google. Он демонстрирует, что Google не полагается исключительно на текст запроса, а использует сложные статистические модели, включающие данные из реального мира (объем торгов) и общее поведение пользователей (логи запросов, CTR), чтобы определить наиболее вероятный контекст. Для SEO-стратегии это означает, что понимание и оптимизация под контекст и интент важнее, чем простая оптимизация под ключевые слова. Также он подчеркивает важность построения реальной авторитетности и интереса в своей нише.

Практические примеры

Сценарий: Оптимизация для неоднозначного термина (например, «Apple»)

1. Анализ Интента: SEO-специалист признает, что «Apple» имеет несколько интентов (технологическая компания, фрукт, финансовый тикер AAPL).
2. Применение патента (Финансовый интент): Если цель — трафик от пользователей, ищущих акции Apple, недостаточно использовать слово «Apple». Патент показывает, что система ищет Characteristic Terms.
3. Действие: Необходимо создавать контент, включающий тикер (AAPL) и характерные термины: «Apple (AAPL) stock price», «Apple earnings report», «Buy AAPL shares».
4. Ожидаемый результат: Google с большей вероятностью классифицирует интент как финансовый и покажет страницу пользователям, ищущим информацию об акциях, а также может активировать биржевой SERP Feature.

Сценарий: Использование Characteristic Terms для уточнения ниши

1. Ситуация: Сайт продает продукт под названием «Aurora», но доминирующий интент по этому запросу — «северное сияние».
2. Применение патента: Сайт должен сигнализировать о своем специфическом контексте (например, программное обеспечение).
3. Действие: Активно использовать Characteristic Terms для этой ниши вместе с названием продукта: «Aurora software download», «Aurora database management», «Aurora license key».
4. Ожидаемый результат: Повышение вероятности того, что Google правильно свяжет страницу с запросами пользователей, ищущих именно программное обеспечение, а не природное явление.

Вопросы и ответы