Индексация в Google: разборы патентов

Патент Google, описывающий инфраструктуру визуального поиска (например, Google Images, Lens). Система использует два индекса: быстрый «Динамический индекс» для немедленного добавления новых изображений (несжатые данные) и основной «Статический индекс» (сжатый и распределенный по шардам) для масштабного поиска. Патент объясняет, как эти индексы периодически объединяются без прерывания работы системы.

Патент Google, описывающий технологию для клиентских приложений (таких как Google Desktop Search). Система объединяет результаты поиска контактной информации из локального индекса пользователя (файлы, контакты) и глобальных каталогов (например, LDAP или адресные книги). Она также позволяет синхронизировать, обновлять и создавать новые записи контактов на основе найденной информации.

Google разработал метод обработки запросов с устройств, где ввод текста затруднен (например, кнопочные телефоны). Система создает вторичный, намеренно "неоднозначный" индекс (например, числовой), транслируя стандартный алфавитный индекс. Неоднозначный запрос пользователя (строка цифр) сопоставляется напрямую с этим вторичным индексом для поиска результатов.

Патент Google, описывающий инфраструктурную оптимизацию баз данных для сопоставления медиа (видео/аудио). Система использует машинное обучение на тренировочных данных для выбора оптимальных ключей поиска. Цель — предотвратить "clumping" (когда один ключ связан со слишком многими файлами), обеспечивая быстрый и эффективный поиск по отпечаткам контента.

Этот патент описывает, как Google автоматически идентифицирует страницы электронной коммерции и извлекает структурированные данные о товарах (такие как цена и изображение) из неструктурированного HTML. Система использует анализ близости элементов, структуру HTML и сигналы форматирования для поиска правильных атрибутов, что формирует основу для поисковых систем по товарам, таких как Google Shopping.

Патент описывает инфраструктурный процесс Google для оцифровки печатных изданий (например, Google Books). Система сканирует документ, ищет идентификаторы (ISBN, ISSN) на странице авторских прав или в штрихкоде, сверяет их с базами данных метаданных и автоматически связывает текст документа с его библиографическим описанием для последующего поиска.

Патент описывает инфраструктурный механизм Google для эффективного индексирования внутренних данных в формате Protocol Buffers (Protobuf). Система преобразует иерархические (древовидные) данные в универсальные пары "поле-значение" и создает обратный индекс. Это делает любые структурированные данные доступными для полнотекстового поиска и позволяет быстро идентифицировать совпавшие поля, независимо от изменений схемы данных.