Close Menu

    Как Google динамически создает конфигурацию для Пользовательских Поисковых Систем (CSE) во время запроса

    DYNAMIC SPECIFICATION OF CUSTOM SEARCH ENGINES AT QUERY-TIME, AND APPLICATIONS THEREOF (Динамическое определение пользовательских поисковых систем во время запроса и их применение)
    2008 Патенты Google Ссылки

    Патент описывает механизм, позволяющий Google (CSE Provider) генерировать спецификацию для Пользовательской Поисковой Системы (CSE) динамически в момент запроса. Вместо статического хранения настроек, система использует ссылку (URL) на внешний источник (HTML, RSS, XML) и извлекает правила поиска (например, список сайтов) на лету.

    Описание

    Какую задачу решает

    Патент решает проблему ограничений статических Пользовательских Поисковых Систем (Custom Search Engines, CSE). Ранее конфигурация CSE хранилась у провайдера (Google) и требовала ручного обновления через его интерфейс. Это затрудняло программное управление большим количеством CSE и интеграцию с динамическими источниками данных (такими как RSS-фиды, календари или актуальное содержимое HTML-страниц) для автоматического определения правил поиска.

    Что запатентовано

    Запатентована система для динамической генерации спецификации CSE (CSE Specification) непосредственно во время выполнения запроса (at query-time). Вместо использования заранее настроенной конфигурации, система использует «Ссылку на CSE» (Reference to a CSE), обычно URL, которая передается вместе с запросом. Эта ссылка используется для загрузки или парсинга (scraping) конфигурационных данных из внешних источников на лету.

    Как это работает

    Механизм работает следующим образом:

    • Сторонний сайт (Host) отправляет запрос пользователя вместе со Ссылкой на CSE (Reference to a CSE) Провайдеру CSE (CSE Provider).
    • Провайдер анализирует Ссылку. Она может указывать на готовый файл спецификации (XML, RSS) или на инструмент парсинга (CSE Tool Scraper).
    • CSE Tool Scraper может загрузить указанную HTML-страницу, извлечь из нее данные (например, список ссылок) и динамически сформировать правила поиска.
    • Полученная CSE Specification используется для выполнения поиска путем модификации запроса и/или фильтрации результатов.

    Актуальность для SEO

    Средняя. Технология, описанная в патенте, лежит в основе продукта Google Programmable Search Engine (ранее Google CSE). Концепция динамического определения параметров поиска из внешних источников по-прежнему используется. Однако патент имеет низкую актуальность для понимания алгоритмов ранжирования основного веб-поиска Google.

    Важность для SEO

    Минимальное влияние (1/10). Патент описывает инфраструктуру и механизмы работы продукта Custom Search Engine (CSE), а не алгоритмы ранжирования основного веб-поиска Google. Он не оказывает практически никакого влияния на стандартные SEO-стратегии, направленные на улучшение позиций на google.com, и не дает прикладных знаний для SEO-продвижения.

    Детальный разбор

    Термины и определения

    Custom Search Engine (CSE) (Пользовательская Поисковая Система)
    Поисковая система, адаптированная под конкретные нужды разработчика сайта (например, ограниченная определенным набором сайтов). Определяется Спецификацией CSE.
    CSE Provider (Провайдер CSE)
    Сервис (например, Google), который предоставляет услуги CSE, динамически генерирует спецификации и выполняет поиск.
    CSE Specification (Спецификация CSE)
    Набор правил для кастомизации поиска. Включает указания по включению/исключению сайтов, приоритетам ключевых слов и т.д. Может быть в форматах HTML, XML, RSS, ATOM, OPML.
    CSE Tool Scraper (Скрапер инструментов CSE)
    Компонент, который парсит (scrapes) одну или несколько веб-страниц для извлечения информации (например, ссылок), которая будет использована при создании Спецификации CSE.
    Host (Хост)
    Сторонний сайт, который использует услуги CSE Provider для предоставления функции поиска своим пользователям.
    Intermediate CSE Specification (Промежуточная спецификация CSE)
    Предварительная версия спецификации, полученная из Источника или с помощью Скрапера. Может содержать ссылки на другие включаемые спецификации.
    Reference to a CSE (Ссылка на CSE)
    Идентификатор (часто URL), передаваемый Хостом Провайдеру CSE вместе с запросом. Указывает, где найти информацию для динамической генерации Спецификации CSE.
    Source (Источник)
    Внешний сайт или ресурс, содержащий информацию о Спецификации CSE (например, файл конфигурации или HTML-страницу для парсинга).

    Ключевые утверждения (Анализ Claims)

    Claim 1 (Независимый пункт): Описывает систему (CSE Provider), выполняющую следующие операции:

    1. Получение первого поискового запроса и первой Ссылки на CSE (Reference to a CSE), которая указывает на информацию для спецификации.
    2. Динамическая генерация CSE Specification на основе этой информации и запроса. Процесс генерации включает конкретные шаги:
      • Парсинг (scraping) одной или нескольких веб-страниц для извлечения ссылок с помощью CSE Tool Scraper.
      • Построение Intermediate CSE Specification как минимум из этих ссылок.
      • Генерация финальной CSE Specification на основе промежуточной.
    3. Предоставление кастомных результатов поиска одним из трех способов: (i) получение результатов и их модификация согласно спецификации; (ii) модификация исходного запроса согласно спецификации и выполнение поиска по модифицированному запросу; или (iii) комбинация (i) и (ii).

    Ядром изобретения в этом пункте является динамическая генерация правил поиска в реальном времени с обязательным использованием инструмента (CSE Tool Scraper) для парсинга ссылок с внешних веб-страниц, идентифицированных по ссылке.

    Claim 9 (Независимый пункт): Описывает метод, аналогичный Claim 1. Ключевое уточнение: динамическая генерация происходит именно в тот момент, когда пользователь отправляет первый поисковый запрос к CSE.

    Claim 7 (Зависимый): Детализирует механизм модульности (агрегации правил).

    1. Система генерирует Intermediate CSE Specification.
    2. Извлекает из нее вторую ссылку на включаемую спецификацию (included CSE specification).
    3. Получает включаемую спецификацию из внешнего источника.
    4. Комбинирует включаемую и промежуточную спецификации для генерации финальной CSE Specification.

    Где и как применяется

    Важно понимать, что этот патент описывает архитектуру продукта Google Custom Search Engine (Programmable Search Engine), а не основного веб-поиска Google. Он не применяется в стандартных фазах поиска (Crawling, Indexing, Ranking) основного индекса.

    Система функционирует как прикладной уровень между сторонним сайтом (Host) и основной Поисковой Системой (Search Engine System).

    CRAWLING – Сканирование и Сбор данных (Специализированное)
    Система выполняет «мини-сканирование» на лету. CSE Provider или CSE Tool Scraper должны получить доступ к внешним источникам (Source) по URL, указанному в Reference to a CSE, чтобы извлечь данные для генерации спецификации.

    QUNDERSTANDING / RANKING / RERANKING (В контексте CSE)
    После того как CSE Specification динамически сгенерирована, она используется для выполнения поиска. Это включает модификацию исходного запроса (Query Modification) и/или последующую модификацию результатов (Results Modification) – фильтрацию, изменение порядка – на основе спецификации.

    Входные данные:

    • Поисковый запрос от пользователя.
    • Reference to a CSE (URL, предоставленный Host).

    Выходные данные:

    • Кастомизированные результаты поиска, отформатированные для Host.

    На что влияет

    Изобретение влияет исключительно на результаты поиска, выполняемые через инфраструктуру Custom Search Engine на сторонних сайтах. Оно не оказывает влияния на ранжирование в основном органическом поиске Google (google.com).

    Когда применяется

    • Триггеры активации: Алгоритм активируется, когда CSE Provider получает запрос от Host, который включает в себя Reference to a CSE (например, использование параметра cref в запросах к Google CSE).
    • Временные рамки: Генерация происходит динамически в реальном времени (at query-time). Однако система использует кэширование, чтобы избежать повторной генерации спецификации для одной и той же ссылки при каждом запросе.

    Пошаговый алгоритм

    Процесс динамической генерации спецификации и выполнения поиска.

    1. Получение данных: CSE Provider получает поисковый запрос и Reference to a CSE от Host.
    2. Проверка кэша: Система проверяет, есть ли в кэше уже сгенерированная CSE Specification для данной Ссылки. Если да, используется кэш (переход к шагу 8).
    3. Анализ Ссылки: Если в кэше нет, Провайдер анализирует Reference to a CSE (URL), чтобы определить, указывает ли она на Источник спецификации (Source) или на Инструмент парсинга (CSE Tool Scraper).
    4. Получение Промежуточной Спецификации (Вариант А — Источник): Если URL ведет на Source (например, XML-файл), CSE Provider получает Intermediate CSE Specification напрямую из этого источника.
    5. Получение Промежуточной Спецификации (Вариант Б — Скрапер): Если требуется CSE Tool Scraper:
      • Провайдер отправляет инструкцию Скраперу.
      • Скрапер загружает контент (например, HTML) из указанного Источника.
      • Скрапер парсит контент (например, извлекает ссылки) и конструирует Intermediate CSE Specification.
      • Скрапер возвращает промежуточную спецификацию Провайдеру.
    6. Обработка Включений: Провайдер проверяет, содержит ли Промежуточная Спецификация ссылки на Включенные Спецификации (Included CSE Specification). Если да, он получает их из соответствующих источников и объединяет.
    7. Генерация Спецификации: Провайдер генерирует финальную CSE Specification (и может сохранить ее в кэш).
    8. Выполнение Поиска: Провайдер передает запрос и спецификацию в Поисковую Систему. Система выполняет поиск, модифицируя запрос и/или результаты на основе спецификации.
    9. Выдача Результатов: Обработанные результаты отправляются Хосту для отображения пользователю.

    Какие данные и как использует

    Данные на входе

    Патент фокусируется на данных, используемых для конфигурации CSE, а не на факторах ранжирования основного поиска.

    • Технические факторы: URL играют ключевую роль. Используются в Reference to a CSE, а также для указания на Source и для инструкций CSE Tool Scraper.
    • Контентные факторы (Внешние источники): Система способна обрабатывать различные форматы данных, размещенные на внешних ресурсах, для извлечения CSE Specification: HTML, XML, RSS, ATOM, OPML, а также календарные данные (iCal).
    • Структурные факторы (Ссылки): Если используется CSE Tool Scraper, он анализирует HTML-контент и извлекает ссылки (links) на целевой странице для автоматического создания правил (например, списка сайтов).

    Какие метрики используются и как они считаются

    Патент не описывает метрики ранжирования. Он описывает параметры конфигурации, которые содержатся в CSE Specification и используются для кастомизации поиска:

    • Query Modification (QM) parameters (Параметры модификации запроса): Инструкции для добавления, ограничения, повышения (promote), понижения (demote) или удаления поисковых терминов из запроса пользователя.
    • Results Modification (RM) parameters (Параметры модификации результатов): Инструкции для фильтрации, повышения, понижения или удаления результатов из выдачи. Включает указание конкретных сайтов (URLs или шаблонов URL patterns) для включения, исключения, предпочтения (favored) или пессимизации (disfavored).

    Выводы

    1. Инфраструктурный патент без SEO-выводов: Патент описывает внутренние инфраструктурные процессы продукта Google Custom Search Engine (CSE) и не дает практических выводов для SEO-специалистов, работающих над продвижением в основном поиске Google.
    2. Динамическая конфигурация во время запроса (Query-Time): Ключевая инновация — возможность генерировать правила поиска (CSE Specification) на лету при получении запроса, основываясь на данных из внешних источников, а не хранить их статически.
    3. Программное управление и автоматизация: Механизм позволяет владельцам сайтов (Hosts) программно генерировать и обновлять правила поиска в реальном времени, интегрируясь с внешними данными (RSS, iCal, HTML) и автоматизируя управление CSE.
    4. Скрапинг для определения корпуса: Использование CSE Tool Scraper позволяет определять корпус документов для поиска путем извлечения ссылок с актуальной веб-страницы непосредственно в момент запроса.
    5. Модульность конфигурации: Поддерживается модульность за счет механизма Included CSE Specification, где одна спецификация может включать в себя другие.

    Практика

    Патент является инфраструктурным и не дает практических выводов для SEO-стратегии в органическом поиске.

    Best practices (это мы делаем)

    Практическое применение ограничено ситуациями, когда специалист управляет поиском на сайте, реализованным через Google Programmable Search Engine (CSE).

    • Автоматизация управления CSE: Если используется поиск по часто меняющемуся набору сайтов (например, сеть партнеров или рекомендуемые ресурсы), можно использовать описанный механизм (параметр cref в Google CSE) для динамической загрузки спецификации. Это позволяет обновлять список сайтов программно на своем сервере (в XML-файле или на HTML-странице), не заходя в панель управления Google.
    • Использование динамических источников: Можно настроить генерацию CSE Specification на основе динамических данных, например, RSS-фида или данных из CMS, для создания узкоспециализированного поиска для разных разделов сайта на лету.

    Worst practices (это делать не надо)

    • Поиск инсайтов о ранжировании: Не следует интерпретировать этот патент как описание работы основного поиска Google. Он описывает только механику работы CSE и не содержит информации о факторах ранжирования, E-E-A-T или оценке качества.

    Стратегическое значение

    Стратегическое значение для органического SEO нулевое. Патент интересен с технической точки зрения, так как демонстрирует механизмы Google для создания кастомизированных продуктов и обработки внешних данных в реальном времени, но он не влияет на стратегию продвижения сайтов в основном поиске Google.

    Практические примеры

    Сценарий: Автоматическое обновление списка сайтов для вертикального поиска с помощью Скрапера.

    1. Задача: Создать вертикальный поиск по определенной нише, который ищет только по списку авторитетных сайтов. Этот список ведется на внешней HTML-странице (например, /partners.html) и регулярно обновляется.
    2. Реализация: Разработчик настраивает CSE так, чтобы использовать URL этой страницы в качестве Reference to a CSE, инструктируя CSE Tool Scraper.
    3. Механизм: При запросе пользователя CSE Tool Scraper обращается к /partners.html, извлекает все ссылки и динамически генерирует CSE Specification, ограничивающую поиск этими сайтами.
    4. Результат: Когда список сайтов обновляется на странице /partners.html, конфигурация CSE автоматически обновляется при следующем запросе (или после истечения кэша). Ручное управление через панель Google не требуется.

    Вопросы и ответы

    Влияет ли этот патент на ранжирование моего сайта в органическом поиске Google (google.com)?

    Нет, не влияет. Патент описывает исключительно инфраструктуру продукта Google Custom Search Engine (CSE) / Programmable Search Engine. Он определяет, как Google динамически загружает настройки для этого конкретного продукта, а не то, как работают алгоритмы основного органического поиска.

    Что такое Custom Search Engine (CSE), о котором идет речь в патенте?

    Это продукт (например, Google Programmable Search Engine), который позволяет владельцам сайтов создать собственный поисковый движок. Владелец может настроить его для поиска только по своему сайту, по определенному списку доверенных сайтов или по всему интернету с заданными ограничениями и правилами.

    В чем суть «динамической спецификации», описанной в патенте?

    Суть в том, что настройки CSE (например, список сайтов для поиска) не хранятся статически на серверах Google. Система загружает эти настройки из внешнего источника (по URL, переданному как Reference to a CSE) в тот момент, когда пользователь выполняет поиск. Это позволяет обновлять правила поиска программно и в реальном времени.

    Что такое «CSE Tool Scraper» и как он работает?

    Это инструмент, который может автоматически создать правила для CSE, анализируя контент веб-страницы. Например, вы можете указать ему HTML-страницу со списком ссылок, и CSE Tool Scraper автоматически сгенерирует правило «искать по всем сайтам, на которые есть ссылки с этой страницы». Это происходит динамически во время запроса.

    Может ли этот механизм использовать данные не только из HTML или XML?

    Да. В патенте явно упоминается возможность генерации Спецификаций CSE из различных форматов, включая HTML, XML, RSS, ATOM, OPML, а также данные календарей (например, iCal) и другой контент с атрибутами.

    Какая практическая польза от этого патента для SEO-специалиста?

    Польза минимальна и касается только узкой задачи управления поиском на собственном сайте, если этот поиск реализован через Google CSE. Патент объясняет, как можно автоматизировать обновление правил этого внутреннего поиска, но не дает инсайтов по продвижению в органической выдаче.

    Может ли одна CSE спецификация ссылаться на другую?

    Да, патент описывает механизм Included CSE Specification. Это позволяет создавать модульные конфигурации, когда базовая спецификация включает в себя правила из других файлов или источников (агрегация правил). Это упрощает поддержку сложных настроек поиска.

    Как система обеспечивает производительность, если спецификация загружается при каждом запросе?

    Для обеспечения производительности система использует кэширование. Если CSE Provider получает ссылку, для которой спецификация уже была сгенерирована недавно, он использует кэшированную версию вместо того, чтобы загружать и парсить внешний источник заново.

    Упоминаются ли в патенте факторы ранжирования, Site Quality или E-E-A-T?

    Нет. Патент сфокусирован на механизмах получения и применения инструкций для модификации запросов (Query Modification) и модификации результатов (Results Modification) в рамках CSE. Факторы качества или ранжирования в нем не рассматриваются.

    Относится ли этот патент к современному продукту Google Programmable Search Engine?

    Да, Google Programmable Search Engine является эволюцией Google Custom Search Engine. Описанные в патенте механизмы динамической загрузки конфигурации (например, реализуемые через параметр cref в продукте) лежат в основе его функционирования и обеспечивают его гибкость.