Google использует многоэтапный процесс для выбора наиболее репрезентативного (evocative) изображения для сущности (например, для Knowledge Panel). Система оценивает, насколько тематически связаны с сущностью как само изображение, так и веб-страницы, на …
Мультимедиа
Google использует механизм (VisualRank) для улучшения качества поиска по картинкам, анализируя визуальное содержимое изображений. Система не полагается исключительно на окружающий текст. Она сравнивает визуальные характеристики изображения с другими в индексе …
Анализ патента Google, описывающего систему для голосового поиска, которая определяет первичный аудиоответ и одновременно выбирает связанный вторичный цифровой контент. Система оценивает различные форматы контента («канонические цифровые компоненты») на основе релевантности …
Google использует технологию, позволяющую пользователям уточнять визуальные запросы путем произвольного выделения конкретных деталей на изображении (например, обводя или закрашивая элемент). Система интерпретирует это действие для понимания истинного намерения пользователя. Используя …
Google использует механизм поиска, принимающий на вход два или более изображения. Система анализирует их для выявления общих атрибутов (стиль, цвет, тип объекта) и генерирует векторные представления (эмбеддинги). Если изображения вводятся …
Google использует специальный алгоритм для выбора изображений в блоках с ответами. Система проверяет, что изображение релевантно одновременно и заданному вопросу, и предоставленному ответу. Для этого анализируются метки (Labels) и распознанные …
Google использует систему для понимания того, что именно изображено на картинке, связывая ее с конкретной семантической сущностью (например, статьей в Wikipedia или Freebase). Это позволяет устранить неоднозначность (понимать разницу между …
Google использует библиографические данные (название, актеры, длина) для поиска и идентификации конкретных видео на веб-страницах. Система анализирует текст, расположенный рядом с видеоплеером («associated text»), и вычисляет «оценку совпадения» (Occurrence Score), …
Google использует сложные модели машинного обучения для анализа видеоконтента кадр за кадром. Система определяет, какие сущности (объекты, концепции) присутствуют в кадре, и вычисляет вероятность того, насколько они являются центральной темой …
Патент Google, описывающий интерфейс для Поиска по картинкам, где связанные запросы сопровождаются превью-изображениями. Система позволяет пользователям отклонять нерелевантные предложения (Dismissal Element) и предварительно просматривать результаты (Hovercard). Google фиксирует эти отказы …
Google использует систему для анализа живого потока с камеры (например, в Google Lens), распознавания объектов в кадре и мгновенного предложения релевантных текстовых запросов или действий. Выбор подсказки формирует мультимодальный запрос …
Google использует технологию «Визуальных Синсетов» (Visual Synsets) для понимания содержания изображений. Система кластеризует миллиарды картинок сначала по семантическим концепциям (на основе связанных запросов), а затем по визуальному сходству. Каждому кластеру …
Google совершенствует визуальный поиск (например, Google Lens), анализируя текст на изображениях (OCR) и предсказывая задачу пользователя (например, перевод, покупка). Если результаты поиска по исходному тексту не решают эту задачу, система …
Google использует модель уточнения запросов для мультимодального поиска (например, в Google Lens). Система принимает эмбеддинг исходного изображения и текстовое уточнение от пользователя. Модель генерирует новый, уточненный эмбеддинг изображения, который объединяет …
Google анализирует визуальное содержимое изображений, которые пользователи чаще всего выбирают в ответ на определенный запрос. На основе этого анализа (наличие лиц, текста, графиков, доминирующих цветов) система определяет категорию запроса (например, …
Google использует метод машинного обучения для автоматического понимания и маркировки контента, такого как изображения, видео или текст. Система анализирует обучающий набор данных, выделяет схожие признаки (кластеры) и определяет, какие комбинации …
Анализ патента Google, описывающего фундаментальные технологии распознавания контента внутри изображений. Система обнаруживает и идентифицирует людей (используя комбинацию лиц, одежды, времени и местоположения), текст (OCR) и другие объекты. Эта информация индексируется, …
Патент описывает систему автоматизированного тестирования визуальных элементов контента (результатов поиска или рекламы). Google может случайным образом изменять параметры отображения (цвет ссылок, размер шрифта, отступы) в пределах заданного диапазона. Система отслеживает …
Google патентует систему для автоматической категоризации видеоканалов и плейлистов. Система определяет тематику канала, анализируя не только метаданные, но и то, какие видео пользователи смотрят чаще всего и сколько времени проводят …
Анализ фундаментального патента Xerox PARC, описывающего методы Information Retrieval. Патент раскрывает, как различные типы данных (текст, изображения, ссылки, поведение пользователей) преобразуются в векторы для мультимодальной кластеризации. Описаны концепции анализа пользователей …