Как Google определяет тематику и интент запроса, анализируя контент уже ранжирующихся страниц в выдаче

Термины и определения

Classification Feature Vector (Вектор признаков классификации)

Эталонное векторное представление определенной классификации (темы или корпуса). Генерируется офлайн путем анализа результатов поиска по Training Queries. Состоит из взвешенных терминов, характерных для данной классификации.

Corpus (Корпус)

Определенный набор данных или индекс (например, общий веб-индекс, Новости, Изображения, Видео).

Dot Product (Скалярное произведение)

Математическая операция, используемая как мера сходства между Search Result Vector и Classification Feature Vector. Более высокое значение указывает на большее сходство.

Search Result Vector (Вектор результатов поиска)

Векторное представление входящего запроса, сгенерированное в реальном времени путем анализа терминов, извлеченных из результатов поиска по этому запросу.

Term Frequency (Частота термина)

Количество вхождений термина в анализируемые результаты поиска. Является основой для расчета значений в векторах.

Training Queries (Обучающие запросы)

Набор запросов, заранее отобранных как репрезентативные для определенной классификации. Используются на этапе обучения.

Vertical Content Type (Тип вертикального контента)

Специализированные результаты поиска, извлекаемые из определенного Corpus (например, блок Новостей).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный цикл работы системы от обучения до применения классификации для запуска вертикального поиска.

1. Определение набора классификаций.
2. Выбор обучающих запросов (training queries), репрезентативных для конкретной классификации.
3. Получение результатов поиска для этих запросов.
4. Генерация Classification Feature Vector. Значение элемента вектора представляет частоту термина (term frequency) в этих результатах.
5. Получение нового поискового запроса и его результатов поиска.
6. Генерация Search Result Vector для нового запроса.
7. Определение, что Search Result Vector наиболее близок к Classification Feature Vector конкретной классификации.
8. В ответ на это: получение результатов поиска, имеющих Vertical Content Type в соответствии с этой классификацией из определенного Corpus.
9. Предоставление этих вертикальных результатов в ответ на новый запрос.

Claim 3 (Зависимый): Уточняет источники извлечения терминов для генерации векторов. Это URL (Uniform Resource Locators), заголовки (titles) или сниппеты (snippets) результатов поиска.

Claims 4, 5, 6 (Зависимые): Описывают методы взвешивания терминов при генерации векторов. Вес термина может зависеть от:

• Ранга (позиции) результата поиска, в котором он встречается (Claim 4).
• Оценочного CTR (estimated click through rate) результата поиска (Claim 5).
• Веса, специфичного для корпуса (corpus-specific weight), из которого был получен результат (Claim 6).

Claim 8 (Зависимый): Уточняет метод определения близости векторов. Используется вычисление скалярного произведения (dot product), и выбирается вектор с наивысшим значением.

Где и как применяется

Изобретение в первую очередь работает на этапах понимания запроса и формирования смешанной выдачи.

QUNDERSTANDING – Понимание Запросов
Основной этап применения. Система использует этот механизм для интерпретации интента и определения категории запроса. Это происходит как офлайн (обучение Feature Vectors), так и в рантайме (классификация нового запроса путем анализа его SERP).

RANKING – Ранжирование
Этот этап предоставляет входные данные для классификатора. Система должна сначала сгенерировать предварительный набор результатов поиска, чтобы проанализировать их и создать Search Result Vector.

METASEARCH – Метапоиск и Смешивание
Результат классификации используется здесь. Как указано в Claim 1, определенная классификация служит триггером для получения результатов vertical content type из соответствующего corpus (например, запуск поиска по Новостям) и последующего смешивания их в универсальную выдачу.

Входные данные (Рантайм):

• Новый поисковый запрос.
• Результаты поиска (URL, Titles, Snippets) по этому запросу.
• Предварительно рассчитанные Classification Feature Vectors.

Выходные данные (Рантайм):

• Классификация запроса.
• Сигнал для запуска вертикального поиска.
• Модифицированная выдача с вертикальным контентом.

На что влияет

• Специфические запросы: Наибольшее влияние на неоднозначные (например, "Ягуар"), короткие и новые (трендовые) запросы, где интент неясен из текста запроса или нет исторических данных.
• Типы контента и Вертикали: Напрямую влияет на видимость вертикального контента (Изображения, Видео, Новости). Классификация определяет активацию поиска в соответствующем корпусе.

Когда применяется

• Условия работы: Алгоритм применяется в реальном времени при обработке запроса для определения его интента.
• Динамическое применение: Ключевая особенность — классификация запроса может меняться со временем по мере изменения результатов поиска для этого запроса, даже если эталонные Feature Vectors остаются неизменными.

Пошаговый алгоритм

Алгоритм состоит из двух процессов: Обучение и Классификация.

Процесс А: Обучение классификатора (Офлайн)

1. Определение классификаций: Формируется список целевых классификаций (например, Фильмы, Новости).
2. Сбор обучающих запросов: Для каждой классификации подбираются репрезентативные Training Queries.
3. Получение результатов поиска: Запросы отправляются в поисковую систему.
4. Извлечение терминов: Из результатов поиска (URL, Titles, Snippets) извлекаются термины (проводится токенизация, фильтрация).
5. Расчет частот и взвешивание: Подсчитывается Term Frequency. К частотам применяются веса, основанные на:
   • Позиции результата в выдаче (Ranking).
   • Оценочном CTR результата.
   • Типе корпуса результата.
6. Генерация Feature Vector: Из взвешенных терминов формируется Classification Feature Vector. Веса могут быть нормализованы.
7. Повторение: Процесс повторяется для всех классификаций.

Процесс Б: Классификация запроса (Рантайм)

1. Получение запроса и результатов: Система получает новый запрос и его результаты поиска.
2. Извлечение и взвешивание терминов: Из полученных результатов извлекаются и взвешиваются термины (аналогично Процессу А).
3. Генерация Search Result Vector: Формируется Search Result Vector для входящего запроса.
4. Сравнение векторов: Вычисляется скалярное произведение (Dot Product) между Search Result Vector и каждым из предобученных Classification Feature Vectors.
5. Определение классификации: Выбирается классификация, чей вектор дал наибольшее значение Dot Product.
6. Применение классификации: Система инициирует поиск в соответствующем вертикальном corpus и подмешивает результаты в выдачу.

Какие данные и как использует

Данные на входе

Система использует данные, извлеченные непосредственно из результатов поиска:

• Контентные факторы: Термины из Заголовков (Titles) и Сниппетов (Snippets). Также упоминается возможность использования содержимого ресурсов.
• Технические факторы: Термины из URL (Uniform Resource Locators).
• Поведенческие факторы: Оценочный CTR (estimated click through rate) результатов поиска используется как фактор взвешивания (Claim 5).
• Системные данные: Ранг (Ranking) результата в выдаче (Claim 4) и тип корпуса (Corpus type) (Claim 6) используются для взвешивания.

Какие метрики используются и как они считаются

• Term Frequency (TF): Частота появления термина в анализируемых частях результатов поиска.
• Веса (Weights): Множители, применяемые к TF. Рассчитываются как функция от позиции документа, его CTR и типа корпуса: $Weight = f(Ranking, CTR, Corpus)$.
• Dot Product (Скалярное произведение): Используется как итоговая метрика сходства между вектором запроса и вектором классификации. Вычисляется как сумма произведений соответствующих компонентов двух векторов: $A \cdot B = \sum_{i=1}^{n} A_i B_i$.

1. Консенсус SERP определяет интент: Ключевой вывод — Google определяет значение и интент запроса, анализируя контент страниц, которые уже ранжируются по этому запросу. Система полагается на "мудрость" своего собственного алгоритма ранжирования для классификации.
2. Динамическая классификация: Поскольку система анализирует текущие результаты поиска, классификация запроса может меняться со временем по мере изменения SERP. Это позволяет быстро адаптироваться к трендам без ожидания накопления исторических логов.
3. Приоритет топовых результатов в классификации: Термины из документов, находящихся выше в ранжировании (Claim 4) или имеющих более высокий CTR (Claim 5), вносят больший вклад в классификацию. Контент лидеров выдачи формирует семантический профиль запроса.
4. Ключевая роль Titles, Snippets и URL: Патент явно выделяет эти элементы как основные источники признаков (Claim 3), что подтверждает их критическую важность для передачи тематических сигналов.
5. Классификация как триггер вертикалей (Universal Search): Основная цель описанного механизма — принятие решения о запуске поиска в специализированных корпусах (Новости, Картинки и т.д.) и подмешивании вертикальных блоков в основную выдачу (Claim 1).

Best practices (это мы делаем)

• Анализ семантического профиля SERP: Тщательно изучайте терминологию (слова и сущности), используемую в Titles и Snippets топовых конкурентов. Это дает представление о том, как выглядит Search Result Vector для данного запроса. Ваш контент должен соответствовать этому профилю.
• Обеспечение четкости сигналов в Title, URL и Description: Поскольку эти элементы являются прямыми источниками данных для классификатора, они должны быть максимально ясными и содержать ключевые термины, которые однозначно определяют тематику и интент страницы.
• Усиление сигналов для целевых вертикалей: Если цель — попасть в определенную вертикаль (например, Видео), необходимо использовать термины, характерные для Feature Vector этой вертикали. Например, для видео это могут быть слова "смотреть", "обзор", "онлайн" в заголовках.
• Улучшение CTR и авторитетности: Поскольку ранг и оценочный CTR используются для взвешивания терминов, работа над повышением позиций и кликабельности сниппетов усиливает влияние вашего контента на классификацию запросов в нише.

Worst practices (это делать не надо)

• Неоднозначные или кликбейтные заголовки: Использование мета-тегов, которые не соответствуют основному интенту страницы. Это вносит «шум» в Search Result Vector и затрудняет правильную классификацию.
• Игнорирование доминирующего интента SERP: Попытка ранжироваться с контентом, который радикально отличается от текущего консенсуса ТОПа. Если ТОП-10 генерирует вектор, указывающий на информационный интент, коммерческой странице будет сложно занять высокие позиции.
• Фокус только на прямых вхождениях без семантического контекста: Оптимизация под текст запроса без использования связанных терминов, характерных для ниши. Система анализирует общий профиль выдачи, а не только наличие ключевого слова.

Стратегическое значение

Патент подтверждает, что понимание запроса (Query Understanding) — это не только лингвистический анализ, но и анализ экосистемы контента. Стратегически это означает, что SEO-специалисты, занимая позиции в ТОПе, коллективно влияют на то, как Google интерпретирует запрос. Долгосрочная стратегия должна быть направлена на формирование четкого и последовательного тематического сигнала, соответствующего языку лидеров ниши.

Практические примеры

Сценарий: Классификация неоднозначного запроса "Python"

1. Обучение (Предыстория): У Google есть Feature Vector для "Животные" (термины: змея, рептилия, ареал) и Feature Vector для "Программирование" (термины: язык, код, tutorial, data science).
2. Запрос пользователя: "Python".
3. Анализ SERP и генерация Search Result Vector: Система анализирует ТОП-10. В заголовках и сниппетах доминируют термины, связанные с программированием. Search Result Vector будет иметь высокие веса для "tutorial", "data science".
4. Сравнение: Search Result Vector сравнивается с эталонными векторами. Он оказывается значительно ближе к вектору "Программирование".
5. Результат (Metasearch): Запрос классифицируется как "Программирование". Google активирует вертикали, связанные с обучением или документацией, и подмешивает их в выдачу.
6. Динамическое изменение: Если произойдет громкое событие, связанное со змеями (например, "Python escapes zoo"), новостные сайты займут ТОП. Search Result Vector изменится, и классификация может временно сместиться к "Новости" или "Животные".