Как Google контролирует качество и объективность в кастомизированных поисковых системах (PSE), блокируя спам и предвзятость от третьих сторон

Термины и определения

Bias Filter (Фильтр предвзятости)

Компонент системы, который во время запроса сравнивает Context Processed Results с Native Query Results. Он вычисляет distance measure между двумя наборами результатов для выявления предвзятости.

Context File (Контекстный файл)

Файл, предоставляемый третьей стороной, содержащий инструкции для управления операциями поисковой системы (PSE). Включает команды для пре-процессинга, пост-процессинга и управления поиском.

Context Processor (Обработчик контекста)

Компонент, который интерпретирует и выполняет инструкции в Context Files для модификации запроса и/или результатов поиска.

Context Processed Query/Results (Запрос/Результаты, обработанные контекстом)

Исходный запрос, модифицированный инструкциями из Context File, и результаты, полученные по этому модифицированному запросу.

Distance Measure (Мера расстояния)

Метрика, используемая Bias Filter для количественной оценки различий между Context Processed Results и Native Query Results. Например, процент совпадения результатов.

Native Query/Results (Нативный запрос/Результаты)

Исходный запрос пользователя без контекстной обработки и результаты, полученные по нему стандартным поисковым движком.

Programmable Search Engine (PSE) (Программируемая поисковая система)

Поисковая система, операции которой могут контролироваться внешними инструкциями, содержащимися в Context Files.

Site/Page Annotation File (Файл аннотаций сайтов/страниц)

Тип Context File, который содержит список URL-адресов с метками (tags), рейтингами и комментариями, отражающими мнение Vertical Content Provider об этих ресурсах.

Spam Filter (Спам-фильтр)

Компонент, используемый как офлайн (для анализа URL в Context Files), так и во время запроса (для анализа результатов поиска) для выявления спама.

Vertical Content Provider (Поставщик вертикального контента)

Внешняя сторона (например, специализированный веб-сайт, эксперт), которая предоставляет Context Files для кастомизации поиска в PSE, основываясь на своей экспертизе.

Ключевые утверждения (Анализ Claims)

Патент фокусируется на трех основных методах защиты PSE от некачественных контекстов.

Claim 1 (Независимый пункт): Описывает офлайн-метод фильтрации Context Files перед их добавлением в коллекцию PSE.

1. Система поддерживает коллекцию Context Files от третьих сторон.
2. Система получает новые Context Files для добавления в коллекцию.
3. Для нового контекстного файла система определяет количество спам-страниц (spam web pages), перечисленных в этом файле.
4. Если это количество превышает пороговое значение (threshold number), файл не добавляется в коллекцию.
5. При получении запроса система использует одобренные файлы из коллекции для обработки.

Ядром этого утверждения является предварительная проверка качества Context Files (вероятно, Site/Page Annotation Files). Если провайдер аннотирует или включает слишком много ресурсов, которые система классифицирует как спам, его контекстный файл блокируется от использования в PSE.

Claim 9 (Независимый пункт): Описывает метод фильтрации спама во время выполнения запроса (Query Time).

1. Система получает запрос и идентифицирует Context File.
2. Генерируются Context Processed Results с использованием команд контекста.
3. Система определяет меру спама (spam measure) для этих результатов.
4. Если мера спама превышает порог (spam threshold), система исключает спам-результаты, ссылки, аннотации или другой связанный контент из финальной выдачи.

Это динамическая защита. Даже если Context File прошел офлайн-проверку, но его команды (например, переписывание запроса) привели к выдаче с высоким уровнем спама, система активирует фильтрацию в реальном времени. Spam measure может быть средним баллом спама или процентом спам-документов в топе.

Claim 12 (Независимый пункт): Описывает метод обнаружения предвзятости (Bias) во время выполнения запроса.

1. Система генерирует Context Processed Results и Native Processed Results (по исходному запросу).
2. Вычисляется мера расстояния (distance measure) между двумя наборами результатов.
3. Если мера расстояния превышает порог (distance threshold), система удаляет из Context Processed Results те результаты, которых нет в Native Processed Results, создавая отфильтрованные результаты.
4. Отфильтрованные результаты предоставляются пользователю.

Это механизм защиты от предвзятости. Он гарантирует, что кастомизация не исказит выдачу слишком радикально по сравнению с базовой выдачей поисковой системы. Если контекст уводит пользователя слишком далеко от того, что PSE считает релевантным по умолчанию, система принудительно возвращает выдачу ближе к базовой.

Где и как применяется

Изобретение применяется в рамках инфраструктуры Программируемой Поисковой Системы (PSE) и затрагивает этапы индексирования/сбора данных и переранжирования.

CRAWLING / INDEXING (Офлайн-процессы)
На этом этапе происходит сбор и анализ Context Files.

• Сбор данных: Context File Crawler или Context Registration Interface получают Context Files от Vertical Content Providers.
• Фильтрация: Полученные файлы анализируются офлайн с помощью Spam Filter. URL, указанные в них, проверяются на спам.
• Результат: Формирование кэша проверенных контекстных файлов (Cached/Global Context Files) и исключение файлов/провайдеров, связанных со спамом.

RERANKING (Онлайн-процессы во время запроса)
Основное применение патента происходит после того, как стандартное ранжирование (RANKING) завершено (как для контекстного, так и для нативного запроса), и система выполняет контроль качества.

• Spam Filtering: Spam Filter анализирует Context Processed Results в реальном времени.
• Bias Filtering: Bias Filter сравнивает Context Processed Results с Native Query Results.
• Финальная выдача: Формирование отфильтрованных результатов (Spam, bias filtered results).

Входные данные:

• Context Files (включая Site/Page Annotation Files).
• URL-адреса, перечисленные в Context Files (офлайн).
• Исходный запрос пользователя (Native Query).
• Результаты поиска (Context Processed Results и Native Query Results).

Выходные данные:

• Идентификация спамных Context Files или провайдеров (офлайн).
• Отфильтрованная поисковая выдача, очищенная от спама и предвзятости (онлайн).

На что влияет

• Типы контента и Ниши: Влияет на любой контент, который продвигается или аннотируется через механизмы PSE. Наибольшее влияние оказывается в нишах, подверженных спаму или сильной коммерческой мотивации для искажения выдачи (предвзятости).
• Специфические запросы: Влияет на запросы, обрабатываемые через PSE с использованием сторонних контекстных файлов.

Когда применяется

Алгоритмы применяются в двух сценариях:

• Офлайн: Периодически или при регистрации/обновлении Context Files от Vertical Content Providers.
• Онлайн (Query Time): Когда пользователь отправляет запрос (особенно напрямую в PSE), и система применяет сторонние Context Files для обработки этого запроса.

Триггеры активации и пороговые значения:

• Офлайн (Claim 1): Активируется, если количество спам-страниц, перечисленных в Context File, превышает threshold number (например, 40%).
• Онлайн Спам (Claim 9): Активируется, если spam measure (например, средний балл спама) результатов превышает spam threshold.
• Онлайн Предвзятость (Claim 12): Активируется, если distance measure между контекстными и нативными результатами превышает distance threshold.

Пошаговый алгоритм

Процесс А: Офлайн-фильтрация спама в Context Files (FIG. 10)

1. Сбор данных: Система получает Vertical Context Files от провайдера через интерфейс регистрации или краулер.
2. Извлечение URL: Система идентифицирует URL-адреса, перечисленные в файлах (например, в Site/Page Annotation File).
3. Анализ спама: Spam Filter анализирует каждый извлеченный URL для определения, является ли он спамом.
4. Оценка файла/провайдера: Система подсчитывает количество или процент спамных URL в файле.
5. Применение порога: Если количество спамных URL превышает установленный порог (threshold number).
6. Блокировка: Context File не добавляется в кэш (Cached/Global Context Files) или провайдер помечается как связанный со спамом и исключается из обработки прямых запросов к PSE.
7. Сохранение: Если порог не превышен, файл сохраняется для использования.

Процесс Б: Фильтрация спама и предвзятости во время запроса (FIG. 11)

1. Получение запроса: Система получает запрос (Native Query) от клиента.
2. Контекстная обработка: Context Processor идентифицирует применимые Context Files и генерирует Context Processed Query.
3. Выполнение поиска: Search Engine выполняет поиск по обоим запросам, генерируя Context Processed Results и Native Query Results.
4. Анализ спама (Spam Filter):
   1. Spam Filter анализирует Context Processed Results (например, топ-N результатов).
   2. Вычисляется мера спама (spam measure).
   3. Если мера спама превышает spam threshold, спамные результаты и связанный контекст (аннотации, ссылки от этого провайдера) помечаются для удаления.
5. Анализ предвзятости (Bias Filter):
   1. Bias Filter сравнивает Context Processed Results и Native Query Results.
   2. Вычисляется мера расстояния (distance measure) между двумя наборами.
   3. Если мера расстояния превышает distance threshold (т.е. результаты слишком разные), система идентифицирует предвзятость.
   4. Система фильтрует Context Processed Results, например, удаляя результаты, которых нет в Native Query Results, или удаляя контекстные элементы от предвзятого провайдера.
6. Формирование выдачи: Система объединяет результаты после фильтрации (Шаги 4 и 5) и предоставляет их пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на анализе метаданных и результатов поиска, а не на традиционных факторах ранжирования.

• Структурные данные (Context Files): Основные входные данные — это Context Files, полученные от третьих сторон. Они содержат инструкции по обработке и данные аннотаций (URL, метки, рейтинги в Site/Page Annotation Files).
• Контентные/Технические факторы (Анализ URL): Содержимое и URL страниц, на которые ссылаются Context Files, анализируются офлайн для определения их статуса спама.
• Системные данные (Результаты поиска): Context Processed Results и Native Query Results, генерируемые поисковой системой во время запроса.

Какие метрики используются и как они считаются

• Spam Score (Балл спама): Метрика, присваиваемая отдельной странице Spam Filter (методы расчета балла в патенте не детализированы).
• Spam Measure (Мера спама): Агрегированная метрика для набора результатов. Может быть средним баллом спама (average spam score) или процентом спамных документов в наборе.
• Distance Measure (Мера расстояния): Метрика для оценки различий между двумя наборами результатов (контекстными и нативными). В патенте упоминается, что это может быть процент совпадения результатов (percentage of context processed search results that are the same as native search results). Критерии "одинаковости" могут варьироваться.

Пороговые значения:

• Threshold Number (Офлайн): Пороговое количество/процент спамных URL в Context File (упоминается пример 40%).
• Spam Threshold (Онлайн): Пороговое значение Spam Measure для активации фильтрации во время запроса.
• Distance Threshold (Онлайн): Пороговое значение Distance Measure для активации фильтра предвзятости.

1. PSE как контролируемая среда: Google рассматривает Программируемые Поисковые Системы (PSE) как среду, где внешнее влияние допустимо, но строго контролируется. Патент описывает защитные механизмы, гарантирующие, что качество и объективность выдачи не будут скомпрометированы третьими сторонами.
2. Двухуровневая защита от спама: Система использует превентивную (офлайн) и реактивную (онлайн) защиту. Офлайн-анализ отсеивает некачественные Context Files путем анализа аннотированных ими URL. Онлайн-анализ проверяет фактические результаты, сгенерированные с учетом контекста.
3. Определение "Предвзятости" (Bias) через отклонение от эталона: Патент вводит метрику предвзятости, основанную на сравнении кастомизированной выдачи с базовой выдачей Google (Native Results). Базовая выдача используется как эталон объективности.
4. Метрика Расстояния (Distance Measure) как ограничитель: Если кастомизированная выдача слишком сильно отличается от базовой (превышен Distance Threshold), она считается предвзятой, и система принудительно приближает ее к эталону. Это ограничивает возможности радикального изменения SERP через PSE.
5. Качество аннотаций критично: Для создателей Context Files критически важно ссылаться на качественные ресурсы. Аннотирование спам-сайтов приведет к блокировке всего контекстного файла на этапе офлайн-проверки.

ВАЖНО: Этот патент в первую очередь применим к средам Программируемых Поисковых Систем (PSE), таким как Google Programmable Search Engine (ранее Google Custom Search Engine), а не напрямую к алгоритмам ранжирования основного органического поиска Google.

Best practices (это мы делаем)

Рекомендации применимы к специалистам, создающим кастомизированные поисковые системы на базе Google PSE.

• Фокус на качестве аннотируемых ресурсов: При создании Site/Page Annotation Files для влияния на выдачу PSE необходимо тщательно отбирать авторитетные и неспамные ресурсы. Система проводит офлайн-проверку этих URL, и наличие спама может привести к блокировке всего контекстного файла.
• Поддержание релевантности относительно базового поиска: При кастомизации ранжирования или переписывании запросов в PSE следите, чтобы итоговая выдача не слишком сильно отклонялась от того, что основной поиск Google считает релевантным. Радикальные изменения могут быть классифицированы как Bias и отфильтрованы.
• Тестирование контекстов: Тестируйте, как Context Files влияют на выдачу по ключевым запросам. Сравнивайте результаты PSE с результатами основного поиска Google (Native Results), чтобы оценить потенциальную меру расстояния и риск активации фильтра предвзятости.

Worst practices (это делать не надо)

• Использование PSE для продвижения спама: Попытки использовать Context Files для аннотирования или повышения в ранжировании низкокачественных или спамных сайтов будут обнаружены либо на этапе офлайн-проверки, либо во время запроса через Spam Filter.
• Агрессивное коммерческое искажение выдачи: Создание контекстов, которые радикально меняют выдачу в пользу конкретных коммерческих партнеров в ущерб общей релевантности. Это будет классифицировано как предвзятость (Bias), если мера расстояния от нативной выдачи превысит порог.
• Манипулятивное переписывание запросов: Использование команд модификации запросов для подмены интента пользователя (например, переписывание информационного запроса в коммерческий с указанием конкретного вендора) увеличивает риск активации фильтров.

Стратегическое значение

Патент подтверждает стратегический подход Google к контролю качества: основной поиск (Native Search) выступает в роли арбитра или эталона объективности. Любые попытки внешнего влияния оцениваются по степени отклонения от этого эталона. Это демонстрирует методологию Google для оценки качества и намерений внешних участников, влияющих на поиск, подчеркивая, что кастомизация не должна противоречить базовым принципам качества и релевантности.

Практические примеры

Сценарий 1: Блокировка предвзятого контекста (Bias Filtering)

1. Ситуация: SEO-агентство создает PSE для ниши "здоровое питание" и решает агрессивно продвигать продукцию своего клиента (Бренд А).
2. Действие: Агентство создает Context File, который сильно повышает в ранжировании сайт Бренда А и понижает всех конкурентов по запросу [лучшие протеиновые батончики].
3. Исходный запрос (Native Query): [лучшие протеиновые батончики]. Выдача Google содержит обзоры, рейтинги и различные бренды.
4. Контекстный запрос (Context Processed Query): Тот же запрос, но с примененными правилами из Context File. В топе выдачи PSE доминирует Бренд А.
5. Активация Bias Filter: Система сравнивает два набора результатов. Distance Measure очень велика, так как топ выдачи радикально отличается. Порог превышен.
6. Результат: Система классифицирует контекст как предвзятый и фильтрует выдачу, удаляя результаты Бренда А, которых не было в топе нативной выдачи, или полностью игнорируя правила ранжирования из этого Context File.

Сценарий 2: Офлайн-блокировка спамного контекста (Offline Spam Filtering)

1. Ситуация: Владелец блога о путешествиях создает кастомный поиск и добавляет аннотации к полезным ресурсам.
2. Действие: Он создает Site/Page Annotation File, где помимо качественных ресурсов указывает несколько сайтов по бронированию отелей, которые платят ему комиссию, но классифицируются Google как спам.
3. Офлайн-анализ: При загрузке файла в PSE система анализирует все URL. Spam Filter идентифицирует, что 50% указанных сайтов являются спамом.
4. Результат: Порог (например, 40%) превышен. Система отклоняет весь Context File, и он не используется в PSE.