Как Google динамически создает конфигурацию для Пользовательских Поисковых Систем (CSE) во время запроса

Термины и определения

Custom Search Engine (CSE) (Пользовательская Поисковая Система)

Поисковая система, адаптированная под конкретные нужды разработчика сайта (например, ограниченная определенным набором сайтов). Определяется Спецификацией CSE.

CSE Provider (Провайдер CSE)

Сервис (например, Google), который предоставляет услуги CSE, динамически генерирует спецификации и выполняет поиск.

CSE Specification (Спецификация CSE)

Набор правил для кастомизации поиска. Включает указания по включению/исключению сайтов, приоритетам ключевых слов и т.д. Может быть в форматах HTML, XML, RSS, ATOM, OPML.

CSE Tool Scraper (Скрапер инструментов CSE)

Компонент, который парсит (scrapes) одну или несколько веб-страниц для извлечения информации (например, ссылок), которая будет использована при создании Спецификации CSE.

Host (Хост)

Сторонний сайт, который использует услуги CSE Provider для предоставления функции поиска своим пользователям.

Intermediate CSE Specification (Промежуточная спецификация CSE)

Предварительная версия спецификации, полученная из Источника или с помощью Скрапера. Может содержать ссылки на другие включаемые спецификации.

Reference to a CSE (Ссылка на CSE)

Идентификатор (часто URL), передаваемый Хостом Провайдеру CSE вместе с запросом. Указывает, где найти информацию для динамической генерации Спецификации CSE.

Source (Источник)

Внешний сайт или ресурс, содержащий информацию о Спецификации CSE (например, файл конфигурации или HTML-страницу для парсинга).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает систему (CSE Provider), выполняющую следующие операции:

1. Получение первого поискового запроса и первой Ссылки на CSE (Reference to a CSE), которая указывает на информацию для спецификации.
2. Динамическая генерация CSE Specification на основе этой информации и запроса. Процесс генерации включает конкретные шаги:
   • Парсинг (scraping) одной или нескольких веб-страниц для извлечения ссылок с помощью CSE Tool Scraper.
   • Построение Intermediate CSE Specification как минимум из этих ссылок.
   • Генерация финальной CSE Specification на основе промежуточной.
3. Предоставление кастомных результатов поиска одним из трех способов: (i) получение результатов и их модификация согласно спецификации; (ii) модификация исходного запроса согласно спецификации и выполнение поиска по модифицированному запросу; или (iii) комбинация (i) и (ii).

Ядром изобретения в этом пункте является динамическая генерация правил поиска в реальном времени с обязательным использованием инструмента (CSE Tool Scraper) для парсинга ссылок с внешних веб-страниц, идентифицированных по ссылке.

Claim 9 (Независимый пункт): Описывает метод, аналогичный Claim 1. Ключевое уточнение: динамическая генерация происходит именно в тот момент, когда пользователь отправляет первый поисковый запрос к CSE.

Claim 7 (Зависимый): Детализирует механизм модульности (агрегации правил).

1. Система генерирует Intermediate CSE Specification.
2. Извлекает из нее вторую ссылку на включаемую спецификацию (included CSE specification).
3. Получает включаемую спецификацию из внешнего источника.
4. Комбинирует включаемую и промежуточную спецификации для генерации финальной CSE Specification.

Где и как применяется

Важно понимать, что этот патент описывает архитектуру продукта Google Custom Search Engine (Programmable Search Engine), а не основного веб-поиска Google. Он не применяется в стандартных фазах поиска (Crawling, Indexing, Ranking) основного индекса.

Система функционирует как прикладной уровень между сторонним сайтом (Host) и основной Поисковой Системой (Search Engine System).

CRAWLING – Сканирование и Сбор данных (Специализированное)
Система выполняет "мини-сканирование" на лету. CSE Provider или CSE Tool Scraper должны получить доступ к внешним источникам (Source) по URL, указанному в Reference to a CSE, чтобы извлечь данные для генерации спецификации.

QUNDERSTANDING / RANKING / RERANKING (В контексте CSE)
После того как CSE Specification динамически сгенерирована, она используется для выполнения поиска. Это включает модификацию исходного запроса (Query Modification) и/или последующую модификацию результатов (Results Modification) – фильтрацию, изменение порядка – на основе спецификации.

Входные данные:

• Поисковый запрос от пользователя.
• Reference to a CSE (URL, предоставленный Host).

Выходные данные:

• Кастомизированные результаты поиска, отформатированные для Host.

На что влияет

Изобретение влияет исключительно на результаты поиска, выполняемые через инфраструктуру Custom Search Engine на сторонних сайтах. Оно не оказывает влияния на ранжирование в основном органическом поиске Google (google.com).

Когда применяется

• Триггеры активации: Алгоритм активируется, когда CSE Provider получает запрос от Host, который включает в себя Reference to a CSE (например, использование параметра cref в запросах к Google CSE).
• Временные рамки: Генерация происходит динамически в реальном времени (at query-time). Однако система использует кэширование, чтобы избежать повторной генерации спецификации для одной и той же ссылки при каждом запросе.

Пошаговый алгоритм

Процесс динамической генерации спецификации и выполнения поиска.

1. Получение данных: CSE Provider получает поисковый запрос и Reference to a CSE от Host.
2. Проверка кэша: Система проверяет, есть ли в кэше уже сгенерированная CSE Specification для данной Ссылки. Если да, используется кэш (переход к шагу 8).
3. Анализ Ссылки: Если в кэше нет, Провайдер анализирует Reference to a CSE (URL), чтобы определить, указывает ли она на Источник спецификации (Source) или на Инструмент парсинга (CSE Tool Scraper).
4. Получение Промежуточной Спецификации (Вариант А - Источник): Если URL ведет на Source (например, XML-файл), CSE Provider получает Intermediate CSE Specification напрямую из этого источника.
5. Получение Промежуточной Спецификации (Вариант Б - Скрапер): Если требуется CSE Tool Scraper:
   • Провайдер отправляет инструкцию Скраперу.
   • Скрапер загружает контент (например, HTML) из указанного Источника.
   • Скрапер парсит контент (например, извлекает ссылки) и конструирует Intermediate CSE Specification.
   • Скрапер возвращает промежуточную спецификацию Провайдеру.
6. Обработка Включений: Провайдер проверяет, содержит ли Промежуточная Спецификация ссылки на Включенные Спецификации (Included CSE Specification). Если да, он получает их из соответствующих источников и объединяет.
7. Генерация Спецификации: Провайдер генерирует финальную CSE Specification (и может сохранить её в кэш).
8. Выполнение Поиска: Провайдер передает запрос и спецификацию в Поисковую Систему. Система выполняет поиск, модифицируя запрос и/или результаты на основе спецификации.
9. Выдача Результатов: Обработанные результаты отправляются Хосту для отображения пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на данных, используемых для конфигурации CSE, а не на факторах ранжирования основного поиска.

• Технические факторы: URL играют ключевую роль. Используются в Reference to a CSE, а также для указания на Source и для инструкций CSE Tool Scraper.
• Контентные факторы (Внешние источники): Система способна обрабатывать различные форматы данных, размещенные на внешних ресурсах, для извлечения CSE Specification: HTML, XML, RSS, ATOM, OPML, а также календарные данные (iCal).
• Структурные факторы (Ссылки): Если используется CSE Tool Scraper, он анализирует HTML-контент и извлекает ссылки (links) на целевой странице для автоматического создания правил (например, списка сайтов).

Какие метрики используются и как они считаются

Патент не описывает метрики ранжирования. Он описывает параметры конфигурации, которые содержатся в CSE Specification и используются для кастомизации поиска:

• Query Modification (QM) parameters (Параметры модификации запроса): Инструкции для добавления, ограничения, повышения (promote), понижения (demote) или удаления поисковых терминов из запроса пользователя.
• Results Modification (RM) parameters (Параметры модификации результатов): Инструкции для фильтрации, повышения, понижения или удаления результатов из выдачи. Включает указание конкретных сайтов (URLs или шаблонов URL patterns) для включения, исключения, предпочтения (favored) или пессимизации (disfavored).

1. Инфраструктурный патент без SEO-выводов: Патент описывает внутренние инфраструктурные процессы продукта Google Custom Search Engine (CSE) и не дает практических выводов для SEO-специалистов, работающих над продвижением в основном поиске Google.
2. Динамическая конфигурация во время запроса (Query-Time): Ключевая инновация — возможность генерировать правила поиска (CSE Specification) на лету при получении запроса, основываясь на данных из внешних источников, а не хранить их статически.
3. Программное управление и автоматизация: Механизм позволяет владельцам сайтов (Hosts) программно генерировать и обновлять правила поиска в реальном времени, интегрируясь с внешними данными (RSS, iCal, HTML) и автоматизируя управление CSE.
4. Скрапинг для определения корпуса: Использование CSE Tool Scraper позволяет определять корпус документов для поиска путем извлечения ссылок с актуальной веб-страницы непосредственно в момент запроса.
5. Модульность конфигурации: Поддерживается модульность за счет механизма Included CSE Specification, где одна спецификация может включать в себя другие.

Патент является инфраструктурным и не дает практических выводов для SEO-стратегии в органическом поиске.

Best practices (это мы делаем)

Практическое применение ограничено ситуациями, когда специалист управляет поиском на сайте, реализованным через Google Programmable Search Engine (CSE).

• Автоматизация управления CSE: Если используется поиск по часто меняющемуся набору сайтов (например, сеть партнеров или рекомендуемые ресурсы), можно использовать описанный механизм (параметр cref в Google CSE) для динамической загрузки спецификации. Это позволяет обновлять список сайтов программно на своем сервере (в XML-файле или на HTML-странице), не заходя в панель управления Google.
• Использование динамических источников: Можно настроить генерацию CSE Specification на основе динамических данных, например, RSS-фида или данных из CMS, для создания узкоспециализированного поиска для разных разделов сайта на лету.

Worst practices (это делать не надо)

• Поиск инсайтов о ранжировании: Не следует интерпретировать этот патент как описание работы основного поиска Google. Он описывает только механику работы CSE и не содержит информации о факторах ранжирования, E-E-A-T или оценке качества.

Стратегическое значение

Стратегическое значение для органического SEO нулевое. Патент интересен с технической точки зрения, так как демонстрирует механизмы Google для создания кастомизированных продуктов и обработки внешних данных в реальном времени, но он не влияет на стратегию продвижения сайтов в основном поиске Google.

Практические примеры

Сценарий: Автоматическое обновление списка сайтов для вертикального поиска с помощью Скрапера.

1. Задача: Создать вертикальный поиск по определенной нише, который ищет только по списку авторитетных сайтов. Этот список ведется на внешней HTML-странице (например, /partners.html) и регулярно обновляется.
2. Реализация: Разработчик настраивает CSE так, чтобы использовать URL этой страницы в качестве Reference to a CSE, инструктируя CSE Tool Scraper.
3. Механизм: При запросе пользователя CSE Tool Scraper обращается к /partners.html, извлекает все ссылки и динамически генерирует CSE Specification, ограничивающую поиск этими сайтами.
4. Результат: Когда список сайтов обновляется на странице /partners.html, конфигурация CSE автоматически обновляется при следующем запросе (или после истечения кэша). Ручное управление через панель Google не требуется.