Патент описывает инфраструктуру Google для анализа и индексации изображений, особенно товаров. Система автоматически сегментирует объекты, извлекает визуальные признаки (цвет, форма, текстура) и классифицирует их, используя как изображение, так и метаданные. Критическим элементом является высокопроизводительный интерфейс для ручной проверки (Manual Enrichment), который обеспечивает точность данных. Это основа для систем визуального поиска (Google Lens, Google Shopping), позволяющих искать похожие товары по внешнему виду.
Автор: Виктор Репин
Google использует систему с несколькими конвейерами (pipelines) для генерации рекомендаций контента (например, «Похожие статьи») в реальном времени. Система обрабатывает данные о посещениях за разные периоды (краткосрочные и долгосрочные) и применяет алгоритмы коллаборативной фильтрации и матричной факторизации для баланса между трендами и персонализацией.
Google использует механизм для определения силы социальных связей (Social Affinity) между пользователями на основе публично доступной информации в интернете (например, через XFN или FOAF разметку). Система строит граф связей, различая аккаунты одного человека («Me» связи) и связи между разными людьми («Friend» связи). Анализируя количество и силу всех путей в этом графе, Google вычисляет показатель близости, который может использоваться для ранжирования и персонализации поисковой выдачи.
Патент Google, раскрывающий инфраструктуру поиска визуального контента. Он описывает, как обрабатываются гибридные запросы (текст + изображение), генерируются компактные дескрипторы для оценки сходства и используется структура «Spill Tree» для создания «Визуальных ключей». Эти механизмы позволяют мгновенно находить похожие изображения и эффективно обнаруживать дубликаты в выдаче.
Google использует двухэтапную модель оценки релевантности (Bifurcated Scoring) и фразовое индексирование. На этапе индексирования система определяет значимость фраз внутри документа (Phrase Relevance Score). На этапе поиска запрос интерпретируется через наиболее вероятные фразы (Query Phrasification), и предварительные оценки комбинируются для вычисления итогового балла. Это повышает эффективность и точность поиска.
Анализ патента (изначально Like.com, приобретен Google), описывающего технологию визуального поиска для E-commerce. Система классифицирует объекты на изображениях (например, обувь, одежда), извлекает специфичные для этой категории визуальные признаки и создает «визуальную сигнатуру» (Signature Value). Это позволяет пользователям находить визуально похожие товары по изображению и получать ссылки на покупку.
Патент Google описывает метод выбора оптимального географического таргетинга, когда точное местоположение пользователя неизвестно. Вместо выбора наиболее вероятного местоположения, система рассчитывает «вероятностную полезность» (Probabilistic Utility). Этот расчет учитывает не только вероятность нахождения пользователя в локации, но и «бремя маршрута» (расстояние, время, стоимость) между всеми возможными локациями, а также контекст запроса, выбирая ту локацию, которая принесет максимальную совокупную пользу.
Google отслеживает, на какие типы специализированных результатов (Новости, Картинки, Карты, Видео и т.д.) пользователь нажимал в прошлом. На основе этой истории система строит вероятностную модель, чтобы предсказать, какие типы результатов заинтересуют пользователя в будущем. Эта модель используется для выбора, оценки и ранжирования специализированных блоков при формировании Универсальной выдачи.
Google использует систему для глубокого анализа видеоконтента, сегментируя видео на сцены и идентифицируя семантические концепции в каждом кадре. Это позволяет системе динамически выбирать наиболее релевантные кадры для создания превью (storyboard) или таймкодов в плеере, основываясь на конкретном поисковом запросе пользователя или его интересах, а не использовать статичный эскиз.
Google использует структурированные онтологии (графы знаний) для улучшения автоподсказок. Система анализирует вводимый пользователем текст, определяет связанную категорию (онтологию) и типы объектов внутри нее. На основе этого предлагаются связанные сущности (термины, изображения), которые расширяют или уточняют запрос, даже если они текстуально не совпадают с введенными символами.
Патент описывает комплексную систему для анализа содержимого изображений. Google может распознавать лица, текст на объектах (OCR) и характеристики одежды/аксессуаров. Эта информация индексируется, позволяя пользователям искать изображения не только по тексту, но и используя другое изображение в качестве запроса (визуальный поиск). Система критически важна для понимания контекста изображений и улучшения результатов в Google Images и вертикалях, связанных с продуктами.
Яндекс использует метод двойного ранжирования для генерации поисковых подсказок на основе изображений. Система формирует два списка: один оптимизирован по частоте (популярности), а второй — по «скрытому параметру интереса» (высокой релевантности, не зависящей от частоты). Финальный список подсказок создается путем смешивания этих двух списков в динамической пропорции, чтобы предложить пользователю как очевидные, так и неожиданно полезные варианты продолжения поиска.
Google использует технологию Structure from Motion (SfM) для создания 3D-моделей местности и точного определения ракурса каждой фотографии. Это позволяет системе ранжировать изображения для точек интереса (POI). При выборе учитывается контекст просмотра карты пользователем (масштаб, направление взгляда), внутреннее качество фото (привлекательность, популярность) и тип фото (снято «из» точки или «в» точке).
Google использует механизм для преобразования контента, выделенного пользователем на экране (например, жестом обводки), в оптимизированный поисковый запрос. Система генерирует несколько кандидатов и оценивает их вероятность. Ключевая особенность — нормализация оценок по длине запроса. Это позволяет системе отдавать предпочтение более длинным и точным запросам, а не коротким и частотным, улучшая релевантность выдачи при использовании функций типа «Circle to Search».
Анализ патента, описывающего комплексный подход к пониманию изображений. Система обнаруживает и распознает лица, одежду, текст на объектах (OCR) и другие объекты. Для повышения точности используются комбинации признаков (лицо + одежда) и метаданные (время, местоположение). Распознанная информация индексируется для поиска по тексту или по изображению-примеру.
Google использует технологию для интерпретации неоднозначных запросов (например, голосовой команды «Что это?»), анализируя текущий контент на экране устройства. Система распознает ключевое изображение (Specific Sub-image) и окружающий его текст (OCR), генерирует метки (Labels) для описания контекста и переписывает исходный запрос в конкретный поисковый запрос (например, «Что такое Эйфелева башня?»).
Google использует систему для организации локальной выдачи, кластеризуя веб-документы вокруг конкретного физического адреса или номера телефона. Система определяет «область интереса», используя динамический радиус поиска, который меняется в зависимости от типа запроса (например, поиск ресторана или автодилера). Результаты ранжируются на основе баланса близости и релевантности.
Google использует систему для автоматического извлечения точных атрибутов (например, цен товаров) из веб-страниц, даже если их дизайн меняется. Система находит известные исторические значения на странице, определяет структурные шаблоны («анкоря») вокруг них и статистически проверяет их точность. Это позволяет Google обновлять данные для Google Shopping и Rich Results без зависимости от микроразметки.
Google использует историю местоположений всех устройств, привязанных к аккаунту пользователя, чтобы определить его текущее местоположение, когда стандартные методы (GPS, Wi-Fi) недоступны. Система анализирует свежесть данных и то, как часто устройства находятся вместе (Device Co-location Factor), чтобы выбрать наиболее вероятную локацию для предоставления локализованных результатов поиска.
Патент Google описывает методы повышения точности обнаружения почти дубликатов контента. Система может использовать двухэтапный подход, комбинируя алгоритмы: один чувствителен к порядку слов (например, Shingling/Broder), а другой учитывает частоту слов, но игнорирует порядок (например, SimHash/Charikar). Также предлагается применять разные техники для анализа дубликатов внутри одного сайта и между разными сайтами.