Как Google использует краудсорсинг и прогрессивное распространение для добавления пользовательских результатов в выдачу

Описание

Какую задачу решает

Патент решает проблему нерелевантности стандартной поисковой выдачи, когда алгоритмы не могут определить наилучший ресурс, особенно в средах с ограниченным корпусом документов (например, корпоративных интранетах). Пользователи часто знают о существовании более подходящего ресурса, но не могут интегрировать его в поиск без администратора. Изобретение улучшает релевантность за счет прямого пользовательского участия (краудсорсинга) в формировании выдачи.

Что запатентовано

Запатентована система совместного (collaborative) формирования результатов поиска. Она позволяет пользователям вручную добавлять alternative search result (альтернативный результат поиска: URL и заголовок) для конкретного запроса. Ключевым механизмом (описанным в активных Claims 19+) является прогрессивное распространение: результат сначала доступен ограниченной subpopulation of users (подгруппе пользователей) и расширяется на большую аудиторию только после подтверждения его полезности через поведенческие метрики (клики/CTR).

Как это работает

Система работает следующим образом:

• Добавление альтернативы: Пользователь может использовать интерфейс на странице выдачи для добавления нового результата (URL и Заголовок).
• Сохранение и ассоциация: Система сохраняет результат и ассоциирует его с запросом и идентификатором пользователя.
• Ограниченное распространение: Изначально результат доступен только определенной подгруппе пользователей (например, друзьям в социальной сети или отделу компании).
• Мониторинг производительности: Система отслеживает impressions (показы) и selections (клики/CTR) этого результата внутри группы.
• Прогрессивное распространение: Если CTR или количество кликов превышает порог, система расширяет аудиторию (second subpopulation).
• Отображение и модерация: Альтернативные результаты отображаются на видном месте (например, над стандартными результатами) и могут быть отредактированы или удалены другими пользователями.

Актуальность для SEO

Низкая для публичного веб-поиска. Патент (с приоритетом от 2007 года) описывает ручной краудсорсинг результатов. Google не использует подобные механизмы явного ручного курирования в основном веб-поиске из-за проблем масштабирования и спама, предпочитая машинное обучение. Описанные принципы более применимы для корпоративного поиска (Enterprise Search) или социальных сетей (например, эпохи Google+).

Важность для SEO

Влияние на современные SEO-стратегии минимальное (3/10). Поскольку этот механизм не используется в публичном веб-поиске Google, SEO-специалисты не могут напрямую взаимодействовать с ним. Патент представляет скорее стратегический интерес, подтверждая, что Google рассматривает поведенческие факторы (CTR) и вовлеченность внутри групп как сильные сигналы для валидации качества контента.

Детальный разбор

Термины и определения

Alternative search result (ASR) (Альтернативный результат поиска)

Результат поиска (заголовок и адрес ресурса), добавленный пользователем вручную для определенного запроса, в качестве альтернативы результатам, сгенерированным системой.

Click Through Rate (CTR) (Показатель кликабельности)

Соотношение количества кликов (selections) к количеству показов (impressions). Используется для ранжирования ASR и как пороговое значение для расширения аудитории.

Repository (Репозиторий)

Хранилище данных, где хранятся запросы и связанные с ними ASR, добавленные пользователями, а также метаданные (счетчики кликов, ID авторов).

Selection / Selection count (Выбор / Счетчик выборов)

Факт выбора (клика) пользователем по ASR. Используется как показатель полезности результата.

Subpopulation of users (Субпопуляция пользователей / Аудитория)

Определенная группа пользователей, которой разрешен показ конкретного ASR. Может определяться по социальным связям (друзья), географии или принадлежности к группе (например, отдел в компании).

Threshold (Пороговое значение)

Минимальный уровень вовлеченности (количество кликов или CTR), необходимый для расширения аудитории (subpopulation) показа ASR.

User Identifier (Идентификатор пользователя)

Идентификатор пользователя, добавившего ASR. Может отображаться вместе с результатом для обеспечения подотчетности.

Ключевые утверждения (Анализ Claims)

ВАЖНО: Пункты формулы изобретения 1-18 отменены (canceled). Анализ основан только на действующих пунктах 19-38, которые описывают механизм прогрессивного распространения (иногда называемый «Reduced Impression Set»).

Claim 19 (Независимый пункт): Описывает основной механизм валидации и расширения аудитории для пользовательского результата.

1. Система получает alternative search result (ASR) от Пользователя 1. ASR ассоциируется с Запросом 1 и начальной Аудиторией 1 (first subpopulation).
2. Система получает Запрос 2 от Пользователя 2.
3. Проверка: Если Запрос 1 соответствует Запросу 2 И Пользователь 2 входит в Аудиторию 1, то ASR показывается Пользователю 2.
4. Система фиксирует клик (selection) Пользователя 2 по ASR и увеличивает счетчик кликов.
5. Проверка: Если новый счетчик кликов (или CTR, согласно Claim 24) превышает threshold (порог).
6. Если ДА: Система определяет новую, более широкую Аудиторию 2 (second subpopulation), которой теперь будет показываться ASR.
7. Система получает Запрос 3 от Пользователя 3 (который НЕ входит в Аудиторию 1).
8. Проверка: Если Запрос 1 соответствует Запросу 3 И Пользователь 3 входит в Аудиторию 2, то ASR показывается Пользователю 3.

Ядро изобретения — это метод валидации краудсорсингового контента. Результат должен сначала доказать свою ценность (через клики) ограниченной группе пользователей, прежде чем его видимость будет расширена. Это механизм контроля качества, основанный на данных о вовлеченности.

Claim 21 (Зависимый): Уточняет, что начальная Аудитория 1 может состоять из друзей Пользователя 1 в социальной сети (social networking system).

Claim 22 (Зависимый): Уточняет, что Аудитория 2 может включать всех пользователей поисковой системы.

Где и как применяется

Изобретение в основном затрагивает этапы смешивания результатов и использует данные о поведении пользователей.

METASEARCH – Метапоиск и Смешивание
Основное место применения патента. При получении запроса система параллельно ищет стандартные результаты в основном индексе и alternative search results (ASR) в отдельном репозитории.

1. Фильтрация по аудитории: Система определяет, входит ли текущий пользователь в разрешенную subpopulation для каждого ASR.
2. Смешивание (Blending): Применимые ASR объединяются со стандартными результатами. Патент предполагает, что ASR могут отображаться в более заметной позиции (more prominent position), например, вверху страницы.

RERANKING – Переранжирование
Если для запроса существует несколько ASR, они ранжируются между собой. Ранжирование основано на отслеживаемых показателях: количестве показов (impressions) и кликов (selections), или CTR.

Входные данные:

• Запрос пользователя.
• Идентификатор пользователя (для проверки принадлежности к subpopulation).
• Данные из Repository (контент ASR, связанные запросы, разрешенные аудитории, счетчики показов/кликов).

Выходные данные:

• Объединенная страница результатов поиска, включающая стандартные результаты и применимые ASR.

На что влияет

• Конкретные ниши или тематики: Патент явно указывает на высокую полезность для intranet search engines [0003], где ресурсов может быть мало. Также упоминается контекст social network [0056], где начальная аудитория может быть определена через социальные связи. Не применимо к общему веб-поиску.

Когда применяется

Алгоритм отображения ASR применяется:

• Триггер активации: Пользователь отправляет запрос, для которого в репозитории существуют ASR.
• Условие показа: Пользователь должен принадлежать к текущей разрешенной subpopulation для данного ASR.

Механизм расширения аудитории (Claim 19) применяется:

• Триггер расширения: Когда показатели вовлеченности (selection count или CTR) для ASR внутри текущей subpopulation превышают заданный threshold.

Пошаговый алгоритм

Описание процесса валидации и прогрессивного распространения (на основе Claim 19).

1. Получение и инициализация ASR: Пользователь 1 отправляет новый ASR для Запроса А. Система ассоциирует ASR с Запросом А и начальной Аудиторией 1 (например, друзья Пользователя 1).
2. Обработка запроса (Начальная фаза): Пользователь 2 отправляет Запрос А.
3. Проверка аудитории: Система проверяет, входит ли Пользователь 2 в Аудиторию 1.
4. Показ и трекинг: Если ДА, ASR показывается Пользователю 2 (фиксируется impression). Если Пользователь 2 кликает по ASR, фиксируется selection и счетчик увеличивается.
5. Проверка порога вовлеченности: Система оценивает обновленные метрики (счетчик кликов или CTR) для ASR в рамках Аудитории 1.
6. Принятие решения о расширении: Если метрики превышают threshold.
7. Расширение аудитории: Если ДА, система определяет новую, более широкую Аудиторию 2 (например, все пользователи). ASR теперь ассоциируется с Аудиторией 2.
8. Обработка запроса (Расширенная фаза): Пользователь 3 (не входящий в Аудиторию 1, но входящий в Аудиторию 2) отправляет Запрос А и видит ASR.

Какие данные и как использует

Данные на входе

• Пользовательские факторы:
  • User Identifier: Используется для подотчетности и отслеживания автора.
  • Принадлежность к Subpopulations: Используется для определения видимости ASR. Основывается на социальных связях (social network) или членстве в группе.
• Поведенческие факторы:
  • Impressions: Количество показов ASR.
  • Selections: Количество кликов по ASR.
• Контентные факторы (добавленные пользователем):
  • Title (Заголовок) ASR.
  • Address / Resource Locator (URL) ASR.

Какие метрики используются и как они считаются

• Selection count (Счетчик кликов): Суммирование количества кликов по ASR.
• Click Through Rate (CTR): Рассчитывается как соотношение selections к impressions.
• Threshold (Порог): Заранее определенное значение Selection count или CTR. Используется как триггер для расширения subpopulation (Claim 19).
• Ранжирование ASR: Если для запроса найдено несколько ASR, они ранжируются между собой на основе Selection count или CTR [0053].

Выводы

1. Краудсорсинг как дополнение к поиску: Патент описывает систему, которая дополняет стандартные алгоритмические результаты поиска результатами, добавленными вручную пользователями. Это не замена основного ранжирования.
2. Валидация через вовлеченность (CTR): Ключевым механизмом контроля качества краудсорсинговых результатов является анализ поведения пользователей. CTR и количество кликов используются для ранжирования этих результатов и принятия решения об их дальнейшем показе.
3. Механизм прогрессивного распространения (Reduced Impression Set): Действующие Claims (19+) сосредоточены на поэтапной валидации. Новый результат сначала показывается малой группе (subpopulation). Только после подтверждения его полезности (превышение порога CTR) аудитория показа расширяется.
4. Социальный и интранет-контекст: Механизм ориентирован на среды с определенными связями между пользователями (корпоративные интрасети или социальные сети), а не на публичный веб-поиск.
5. Подотчетность и модерация: Система предполагает отображение идентификатора автора (User Identifier) и позволяет другим пользователям редактировать или удалять результаты (согласно описанию патента), обеспечивая совместную модерацию.

Практика

ВАЖНО: Патент описывает механизм, который не используется в публичном веб-поиске Google. Прямых практических рекомендаций для SEO по взаимодействию с этой системой нет.

Best practices (это мы делаем)

Хотя прямой имплементации нет, патент концептуально подтверждает важность общих принципов:

• Максимизация CTR и вовлеченности: Патент демонстрирует, как Google использует CTR для валидации качества контента. Если результат не получает кликов у тестовой аудитории, его видимость не расширяется. Это подчеркивает важность работы над привлекательными сниппетами и создания контента, генерирующего положительные поведенческие сигналы.
• Понимание принципа тестовых выборок: Механизм прогрессивного распространения («Reduced Impression Set») показывает, что Google может тестировать результаты на ограниченной аудитории (subpopulation) перед полным развертыванием. Первоначальная реакция пользователей на новый контент может определять его дальнейшую судьбу в поиске.

Worst practices (это делать не надо)

• Игнорирование поведенческих факторов: Рассчитывать только на текстовую релевантность или ссылки недостаточно. Если контент не вовлекает пользователей и имеет низкий CTR, его видимость может быть ограничена, что подтверждается логикой данного патента.

Стратегическое значение

Патент отражает период (приоритет 2007 г.) активных экспериментов Google с интеграцией социальных сигналов и краудсорсинга в поиск. Он подтверждает стратегическую важность поведенческих данных (CTR) как сигнала качества. Хотя описанная система краудсорсинга не стала стандартом для публичного веб-поиска, заложенные в ней принципы анализа вовлеченности на ограниченных выборках остаются актуальными для понимания работы поисковых алгоритмов.

Практические примеры

Практических примеров применения для SEO нет, так как механизм не используется в публичном веб-поиске Google.

Пример работы механизма в корпоративном интранете:

1. Запрос и Добавление: Сотрудник отдела кадров (HR) ищет «форма заявки на отпуск», не находит актуальную и добавляет ее как alternative search result.
2. Начальное распространение: Система делает результат видимым только для отдела HR (first subpopulation).
3. Валидация: Другие сотрудники HR ищут тот же запрос и активно кликают по результату. CTR достигает порога.
4. Расширение: Система делает результат доступным для всей компании (second subpopulation).
5. Результат: Любой сотрудник компании теперь видит этот результат вверху выдачи по запросу «форма заявки на отпуск».

Вопросы и ответы