Мультимедиа в Google: разборы патентов
Детальные разборы патентов Google, связанные с аудио, видео и изображениями
Как Google определяет галереи изображений на странице, анализируя равномерность их расположения в HTML-структуре
Google анализирует логическую структуру веб-страницы для идентификации галерей изображений. Система вычисляет расстояния между изображениями в макете документа. Если изображения распределены равномерно (имеют одинаковые интервалы), система классифицирует их как галерею. Эта классификация используется для применения особых правил ранжирования в поиске по картинкам.
- US7788258B1
- 2004-06-21
Как Google использует нейронные сети для создания «прощающих» хешей и эффективного поиска похожего мультимедийного контента
Google использует метод машинного обучения для создания «прощающих» (forgiving) хеш-функций. Этот механизм позволяет эффективно находить похожий или почти идентичный контент (аудио, изображения, видео) в огромных базах данных. Система группирует похожие элементы вместе, даже если они имеют небольшие различия, что критически важно для выявления около-дубликатов и масштабируемого поиска мультимедиа.
- US7831531B1
- 2007-06-21
Как Google использует камеру, микрофон и GPS смартфона для понимания контекстуальных запросов типа «Что это?»
Google использует данные с датчиков мобильного устройства (камера, микрофон, GPS) для понимания неоднозначных запросов пользователя, таких как «Что я вижу?» или «Что это за песня?». Система распознает объекты или звуки в окружении пользователя и использует эту информацию для преобразования контекстуального вопроса в конкретный поисковый запрос, обеспечивая релевантные результаты на основе реального мира.
- US20130311506A1
- 2012-01-09
Как Google использует распознавание объектов (например, в Google Lens) для проактивного поиска в персональных данных пользователя
Патент описывает механизм персонализированного поиска. Google (через Assistant или Lens) сохраняет факты, связанные с типами объектов, на основе ввода пользователя. Когда система распознает объект этого типа в изображении (например, через камеру), она автоматически инициирует поиск в личном корпусе данных пользователя и проактивно предлагает сохраненную информацию. Это технология, основанная на визуальном контексте.
- US10691747B2
- 2017-12-15
Как Google встраивает релевантные видео (например, из YouTube) на страницы сторонних сайтов с помощью контекстного виджета
Патент Google описывает технологию предоставления встраиваемого виджета для сторонних сайтов (например, интернет-магазинов). Виджет автоматически анализирует контент страницы, на которой он размещен, ищет релевантный медиаконтент (например, видеообзоры товаров) в базе данных Google и отображает его в виде плейлиста прямо на странице, улучшая пользовательский опыт.
- US9805406B2
- 2013-06-12
Как Google заложил основы Визуального Поиска (Google Lens), используя контекст (время, местоположение) и мультимодальное распознавание
Этот патент описывает фундаментальную архитектуру мобильного визуального поиска Google (например, Google Lens). Он детализирует, как изображение с телефона анализируется несколькими специализированными движками (объекты, текст, лица). Критически важно, что система использует контекст, такой как время суток и местоположение, для повышения точности распознавания и учитывает различные ракурсы и условия освещения перед возвратом релевантной информации.
- US7751805B2
- 2006-05-12
Как Google объединяет дубликаты изображений в кластеры и индексирует их как единое целое для улучшения визуального поиска
Google оптимизирует визуальный поиск, группируя почти идентичные изображения (измененный размер, обрезка) в единый кластер. Система индексирует не отдельные картинки, а совокупность всех визуальных признаков ("визуальных слов") из всех вариантов в кластере. Это повышает эффективность индекса и гарантирует согласованность результатов при поиске по изображению.
- US8923626B1
- 2012-06-25
Как Google использует распознавание лиц для индексирования видео и понимания связей между людьми
Google использует систему для автоматического обнаружения, отслеживания и распознавания лиц в видеоконтенте. Это позволяет индексировать видео не только по метаданным, но и по конкретным людям, присутствующим в кадре. Система может определять сегменты с участием конкретного человека, даже если он временно покидал кадр, а также строить графы взаимодействий, показывая, кто с кем появлялся в видео. Это критически важно для понимания содержания видео и Video SEO.
- US8401252B2
- 2010-12-20
Как Google использует визуальное сходство и графовый анализ (VisualRank) для валидации и ранжирования меток изображений
Google валидирует текстовые метки изображений (например, Alt-текст или имена файлов) с помощью визуального анализа. Система строит граф, связывающий визуально похожие изображения. Симулируя навигацию пользователя по этому графу (алгоритм, подобный PageRank), Google определяет, какие метки наиболее релевантны фактическому содержанию изображения, отфильтровывая шум и повышая качество поиска по картинкам.
- US7961986B1
- 2008-06-30
Как Google анализирует одежду на изображениях для визуального поиска, игнорируя лица и фон
Google использует систему для визуального поиска похожих товаров. Система обнаруживает лицо на изображении, удаляет фон и участки кожи, чтобы изолировать предмет одежды. Затем, используя размер лица для нормализации масштаба, извлекаются небольшие фрагменты текстуры. Они обрабатываются нейронной сетью для классификации узора (игнорируя цвет) и создается цветовая гистограмма. Это позволяет находить визуально похожие товары.
- US8873838B2
- 2013-03-14
Как Google адаптирует формат выдачи (аудио или визуальный) в зависимости от контекста использования устройства
Google использует состояние устройства (например, телефон в автомобильном держателе или подключен к гарнитуре), чтобы определить формат ответа на запрос. Если система сформировала прямой ответ (Summarized Query Response) и устройство находится в «режиме прослушивания» (Audible State), ответ будет автоматически зачитан вслух. Этот механизм подчеркивает критическую важность оптимизации под Featured Snippets для голосового поиска.
- US10496714B2
- 2010-08-06
Как Google использует репрезентативные наборы и Min-Hash для дедупликации видео и аудио в результатах поиска
Google использует масштабируемую систему для борьбы с дублированным и частично дублированным медиаконтентом (видео, аудио). Вместо сравнения всех файлов между собой, система создает компактные «репрезентативные наборы» для каждого элемента, используя фингерпринтинг и хеширование (Min-Hash). При получении запроса система сравнивает эти наборы для быстрого выявления дубликатов и выбора одной канонической версии для показа в выдаче.
- US10152479B1
- 2014-08-01
Как Google определяет главный объект на изображении, анализируя его размер, центральное положение и видимость
Google использует систему компьютерного зрения для определения основного предмета на изображении, содержащем несколько объектов. Система ранжирует распознанные объекты, отдавая предпочтение тем, которые крупнее по размеру, расположены ближе к центру кадра и меньше перекрываются другими элементами. Это напрямую влияет на индексацию и ранжирование в Google Images и Google Lens.
- US9135305B2
- 2011-03-23
Как Google использует структурные разрывы (смены сцен и тишину) для идентификации дубликатов видео и организации видео-поиска
Google использует систему фингерпринтинга видео, которая анализирует не пиксели, а временные метки структурных разрывов — смены сцен (shot boundaries) и моменты тишины (silent points). Это позволяет идентифицировать дубликаты или похожий контент даже при различиях в кодировании, разрешении или частоте кадров, что используется для удаления нарушений авторских прав и организации результатов видео-поиска.
- US8611422B1
- 2007-06-19
Как Google кластеризует результаты поиска по картинкам и выбирает репрезентативное (каноническое) изображение для показа
Google организует результаты поиска изображений в иерархические кластеры на основе визуального сходства. Для каждого кластера выбирается «каноническое изображение» — часто это изображение с самым высоким исходным рейтингом или наиболее визуально авторитетное (с использованием метрик типа VisualRank). Эта структура определяет, как изображения группируются и какое изображение получает максимальную видимость в интерфейсе Google Images.
- US8352465B1
- 2010-09-03
Как Google использует гибридную классификацию и OCR для извлечения ответов из личных фотографий пользователя
Google использует систему для ответа на текстовые запросы (например, «Сколько я потратил в ресторане?») путем анализа личной библиотеки изображений. Система предварительно классифицирует фотографии (например, чеки, меню, пейзажи), используя распознавание объектов и текста (OCR). Это позволяет быстро найти нужную информацию в релевантной категории и представить ответ в виде обрезанного изображения или аудиосообщения.
- US10740400B2
- 2018-08-28
Как Google анализирует страницу-источник перехода для формирования рекомендаций медиаконтента
Google анализирует контекст запроса медиаконтента (например, видео), определяя источник перехода (referral source). Система сканирует исходную страницу, чтобы найти другой контент, размещенный на ней (например, другие встроенные видео), и использует эту информацию для формирования списка рекомендаций, показываемых пользователю после просмотра.
- US9563627B1
- 2012-09-12
Как Google индексирует и ранжирует AR-контент и действия в результатах визуального поиска (Google Lens)
Патент описывает систему Google для визуального поиска, которая позволяет находить и предоставлять пользователям «цифровые дополнения» (например, AR-контент, действия, информацию) в ответ на изображение реального мира. Система сканирует интернет в поисках метаданных о доступных дополнениях, индексирует их, связывая с визуальными анкорями (объектами, текстом, кодами), и ранжирует их в ответ на визуальный запрос пользователя.
- US10579230B2
- 2018-06-21
Как Google оптимизирует поиск по картинкам, обучаясь, какие визуальные атрибуты наиболее важны для конкретного изображения
Google использует механизм для повышения эффективности и релевантности поиска похожих изображений. Система анализирует изображение-запрос и создает эталонный набор высококачественных результатов (используя ресурсоемкую кластеризацию). Затем она тестирует различные визуальные атрибуты (измерения), чтобы определить, какой из них лучше всего воспроизводит этот эталонный набор. Найденный ключевой атрибут сохраняется и используется для быстрого ранжирования в будущем, минуя дорогие вычисления.
- US8949253B1
- 2012-05-24
Как Google оптимизирует анализ экрана (Google Lens/Assistant), запрашивая изображения только тогда, когда текста недостаточно
Google использует двухэтапный процесс для предоставления контекстной информации о том, что отображается на экране устройства (например, в Google Lens или Assistant). Для экономии трафика и ресурсов система сначала анализирует только текст на экране. Только если текста недостаточно для понимания контекста, система запрашивает и анализирует отображаемые изображения.
- US10802671B2
- 2016-07-11
Как Google агрегирует и фильтрует медиаконтент на основе подписок пользователя на платформах типа Google TV
Google использует систему для унифицированного поиска медиаконтента (фильмы, сериалы) из различных источников (стриминговые сервисы, ТВ, локальные хранилища). Система локально определяет, к каким сервисам у пользователя есть доступ (подписки), и фильтрует результаты, показывая только тот контент, который пользователь реально может посмотреть. Это механизм обеспечения видимости контента в агрегированных медиа-платформах.
- US9317571B2
- 2012-08-24
Как Google использует цифровые отпечатки контента для автоматического выявления и исправления орфографических ошибок в метаданных
Google использует технологию цифровых отпечатков (fingerprinting) для идентификации идентичного контента (например, видео, аудио, изображений), загруженного разными пользователями. Сравнивая метаданные (заголовки, теги) этих идентичных файлов, система автоматически выявляет распространенные опечатки и орфографические ошибки. Это позволяет улучшить полноту поисковой выдачи, связывая разные варианты написания.
- US8458156B1
- 2012-05-18
Как Google идентифицирует дубликаты и защищенный авторским правом видеоконтент с помощью 3D-отпечатков
Google использует технологию трехмерных цифровых отпечатков для управления большими видеобиблиотеками (например, YouTube). Система анализирует пространственные (внутри кадра) и временные (между кадрами) характеристики видео, создавая уникальный идентификатор. Это позволяет эффективно обнаруживать дубликаты и защищенный контент, даже если видео было изменено (сжато, обрезано, перекодировано).
- US8094872B1
- 2007-05-09
Как Google использует встраивание видео на внешних авторитетных сайтах для определения «новостной ценности» контента
Google анализирует, как часто видео встраивается на внешних авторитетных (whitelisted) сайтах. Чем чаще видео встраивается в контент по определенной теме (сущности Knowledge Base), тем выше его «новостная ценность». Эта метрика используется для отправки персонализированных уведомлений пользователям, заинтересованным в данной теме (высокий Affinity Score).
- US10860650B1
- 2016-09-01
Как Google идентифицирует аудио, видео и изображения, даже если они были изменены (растянуты, замедлены или ускорены)
Google использует технологию для создания цифровых отпечатков медиаконтента (аудио, изображений, видео), которые устойчивы к различным трансформациям, таким как изменение скорости воспроизведения или соотношения сторон. Система анализирует относительное расположение ключевых маркеров в сигнале (например, пиков в аудио или краев на изображении), а не их абсолютные значения. Это позволяет Google распознавать контент, даже если он был отредактирован или искажен.
- US9143784B2
- 2013-09-12
Как Google выбирает и показывает изображения людей рядом с ссылками в результатах поиска
Google анализирует запросы, содержащие имена людей. Система изучает изображения на страницах, попавших в топ выдачи, и использует filename, alt-text и метаданные, чтобы найти фотографию именно этого человека. Выбранное изображение затем отображается рядом с соответствующей ссылкой в SERP для улучшения пользовательского опыта.
- US8538943B1
- 2008-07-24
Как Google автоматически конвертирует текстовые объявления в графические, используя изображения с целевых страниц
Google использует систему для автоматического преобразования текстовых рекламных объявлений в визуально привлекательные графические блоки. Система анализирует целевую страницу (landing page) текстового объявления, извлекает или генерирует из нее изображение и объединяет его с текстом объявления. Эти новые графические блоки затем отображаются в виде матрицы (сетки) на сайтах паблишеров.
- US9779065B1
- 2013-08-29
Как Google использует распознавание лиц и кластеризацию для очистки и переранжирования выдачи в Поиске по Картинкам
Google применяет технологию компьютерного зрения для улучшения поиска изображений по именам людей. Система анализирует топ выдачи, распознает лица и группирует похожие изображения. Определив доминирующий кластер (искомого человека), система переранжирует результаты: визуально похожие изображения повышаются, а "выбросы" (фото других людей) понижаются, игнорируя противоречивые текстовые сигналы.
- US9268793B2
- 2014-03-12
Как Google синхронизирует начальный ракурс 3D-моделей в поиске с наиболее релевантными 2D-изображениями
Google использует механизм для обеспечения визуальной согласованности между 3D-моделями и 2D-изображениями в результатах поиска. Система определяет наиболее релевантное 2D-изображение по запросу и алгоритмически подбирает начальный ракурс (Initial Viewing Angle) 3D-модели так, чтобы он визуально соответствовал этому 2D-эталону. Это определяет, как пользователь впервые увидит 3D-объект в выдаче.
- US9372871B2
- 2012-10-09
Как Google использует "визуальные слова" и геометрические данные для эффективного поиска похожих изображений
Патент Google, описывающий инфраструктуру поиска по изображениям. Система разбивает изображения на "визуальные слова" (признаки) и использует инвертированный индекс (posting lists) для быстрого поиска совпадений. Ключевая особенность — хранение геометрических данных (положение признаков) прямо в индексе, что позволяет быстро рассчитывать визуальное сходство и проверять пространственное расположение элементов на лету.
- US20150169740A1
- 2012-08-23