Мультимедиа в Google: разборы патентов

Google использует масштабируемую систему для обнаружения полных или частичных совпадений в видео и аудио контенте. Система генерирует компактные цифровые отпечатки (фингерпринты) и применяет трехэтапный процесс: быстрый поиск кандидатов с помощью Locality-Sensitive Hashing (LSH), точная классификация с использованием машинного обучения и объединение результатов. Это позволяет идентифицировать контент даже при изменении качества или скорости воспроизведения.

Google использует метод квантования "Shape-Gain" для повышения точности и скорости поиска похожих изображений. Система разделяет векторы признаков на направление (Shape/Форма, определяющее визуальный паттерн) и магнитуду (Gain/Усиление, определяющее интенсивность). Раздельное кодирование этих компонентов позволяет создавать более точные компактные коды (хэши) для эффективного сравнения миллиардов изображений.

Система позволяет владельцам контента загружать образцы (текст, изображения, видео, аудио) и проверять, существуют ли совпадения в индексах Google, включая веб-индекс и пользовательские базы данных. Система сообщает о факте наличия совпадения, не раскрывая источник напрямую, и может предоставить зашифрованный идентификатор для дальнейшего расследования.

Google использует механизм для визуального исследования результатов поиска (например, по картинкам). Система определяет запросы, связанные с исходным, и размещает их результаты в виде "панелей" вокруг центрального результата. Пользователь может перемещаться по этому пространству, при этом система динамически генерирует новые связанные запросы на основе видимых панелей, используя аддитивное взвешивание для создания бесконечного интерфейса исследования тем.

Google использует механизм визуальных уточнений в поиске по изображениям. Когда пользователь вводит общий запрос, система предлагает связанные уточненные запросы, сопровождая их репрезентативным изображением. Это позволяет пользователю предварительно оценить результаты уточнения в оверлейном окне, не покидая текущую выдачу, и направляет трафик на более релевантные изображения.

Google использует технологию "отпечатков контента" для идентификации того, что пользователь смотрит или слушает на первом устройстве. Система автоматически генерирует связанный поисковый запрос и отправляет на второе устройство "динамические текущие результаты". Приоритет отдается наиболее свежей, часто обновляемой и трендовой информации, создавая новый канал для дистрибуции контента.

Google патентует систему для записи и индексации реального опыта пользователя с помощью мобильных и носимых устройств (например, очков). Система автоматически захватывает аудио и видео, распознает объекты, лица и звуки, и создает персональную, доступную для поиска базу данных («историю опыта»). Это позволяет пользователю искать информацию о том, что он видел или слышал.

Google использует механизм для обнаружения медиаконтента (например, видео на YouTube), который обходит стандартные системы контент-анализа (Content ID). Система анализирует историю поисковых запросов, которые приводили пользователей к уже удаленному (пиратскому) контенту. Затем она находит другие материалы, появлявшиеся в тех же результатах поиска, и оценивает их с помощью неконтентных сигналов (возраст канала, история нарушений), чтобы выявить потенциальные копии.

Патент Google описывает инфраструктурный механизм для эффективного поиска дубликатов или похожих аудио- и видеофайлов в огромных базах данных. Система использует технику Locality Sensitive Hashing (LSH) и распределенную сортировку (например, MapReduce) для быстрого сопоставления «пробных» видео с «эталонными», что позволяет находить совпадения без медленного попарного сравнения всех файлов.

Патент Google описывает технический процесс обработки клика по результату поиска картинок. Целевой сайт загружается как основная страница, а поверх нее открывается оверлей (например, iFrame) с полным изображением. Система автоматически прокручивает фон к месту расположения картинки. При закрытии оверлея страница не перезагружается, что улучшает UX и точность аналитики.

Google использует масштабируемую систему для идентификации полных дубликатов аудиоконтента. Система создает двухчастный дайджест (фингерпринт): компактный «Index Hash» для быстрого поиска потенциальных совпадений и подробный «Verification Hash» для точного подтверждения. Это позволяет эффективно управлять миллиардами аудио- и видеофайлов, что критично для платформ типа YouTube и Google Podcasts.

Google использует интерфейс "стена видео", отображающий множество роликов одновременно в виде версий с низкой частотой кадров (например, 1 кадр в секунду). Это позволяет пользователям быстро оценить содержание видео без когнитивной перегрузки. Система также может отображать и кластеризовать видео, которые загружаются в реальном времени, улучшая обнаружение свежего контента и событий.

Патент описывает технологию (например, расширение для браузера), которая анализирует просматриваемую веб-страницу для обнаружения связанного медиаконтента (ТВ-программы, потоковое видео). Система позволяет пользователю выбрать этот контент на компьютере и автоматически воспроизвести его на другом устройстве, например, подключенном телевизоре (Google TV).

Google использует многоуровневый процесс для создания компактного цифрового отпечатка (fingerprint), представляющего всё содержимое видеофайла. Система анализирует видео по сегментам (subfingerprints), агрегирует частоту визуальных признаков в гистограммы и применяет взвешенное хеширование (Weighted Min-Hash). Это позволяет эффективно обнаруживать почти идентичные видео (near-duplicates) в огромных базах данных, независимо от различий в кодировании или длительности.

Этот патент описывает инфраструктуру, которую Google использует для крупномасштабных систем сопоставления медиа (таких как Content ID). В нем подробно рассказывается, как Google распределяет масштабную задачу сравнения пользовательских видео с защищенными авторским правом эталонными файлами между различными центрами обработки данных. Ключевой особенностью является возможность приоритизации задач сопоставления на основе актуальности живых событий (например, спортивных матчей, концертов) для быстрого выявления несанкционированных загрузок ценного, чувствительного ко времени контента.