Close Menu

    Как Яндекс предлагает генерировать точные метаданные для изображений, видео и аудио в момент их создания, минуя OCR

    METHOD OF AND SYSTEM FOR GENERATING METADATA (Метод и система генерации метаданных)
    2015 Индексация Патенты Яндекс Поиск по картинкам Структурированные данные

    Яндекс патентует метод автоматической генерации метаданных для медиаконтента. Когда в изображение, видео или аудио добавляется текст (например, аннотации, субтитры или синтез речи), система использует исходный машиночитаемый текст для создания метаданных файла. Это позволяет избежать ошибок и затрат на последующее распознавание (OCR или Speech-to-Text), гарантируя точность индексируемой информации.

    Описание

    Какую задачу решает

    Патент решает проблему точности и эффективности извлечения текста из медиафайлов (изображений, видео, аудио). Традиционный подход полагается на пост-обработку, такую как оптическое распознавание символов (OCR) для изображений или распознавание речи для аудио. Эти методы вычислительно затратны и подвержены ошибкам. Патент предлагает генерировать метаданные непосредственно в процессе создания или модификации контента, когда исходный текст уже известен системе в машиночитаемом виде.

    Что запатентовано

    Запатентован метод генерации метаданных для цифрового контента. Суть изобретения заключается в использовании известного, закодированного текста (согласно Character Encoding) в момент, когда этот текст преобразуется в нетекстовое представление (например, рендеринг в пиксели на изображении или синтез речи). Система одновременно генерирует медиаконтент и метаданные на основе этого известного текста, а затем ассоциирует их.

    Как это работает

    Механизм активируется при создании или редактировании медиафайла. Например, когда пользователь добавляет текстовую аннотацию к изображению, система получает этот текст в виде закодированных символов. Система выполняет две задачи: (1) Генерирует Image Representation текста (рендерит его визуально и встраивает в изображение) и (2) Одновременно использует исходный закодированный текст для заполнения полей метаданных (например, EXIF или iTXt в PNG). Затем метаданные ассоциируются с изображением. Аналогичный процесс применяется к видео (субтитры) и аудио (текст для синтеза речи и ID3 теги).

    Актуальность для SEO

    Средняя. Принципы встраивания метаданных в момент создания контента широко используются в современных системах управления контентом и графических редакторах. Хотя прогресс в области OCR и AI улучшил возможности анализа медиа постфактум, описанный метод остается предпочтительным для обеспечения 100% точности индексируемой информации.

    Важность для SEO

    Влияние на SEO низкое (3/10). Патент описывает инфраструктурные процессы инструментов создания контента и обработки медиафайлов, а не алгоритмы ранжирования Яндекса. Он не дает прямых рекомендаций по SEO-стратегии. Однако он подтверждает фундаментальную важность наличия точных метаданных, ассоциированных с медиафайлами, что является необходимым условием для их успешной индексации и ранжирования в поиске по картинкам или видео.

    Детальный разбор

    Термины и определения

    Character Encoding (Кодировка символов)
    Стандарт (например, ASCII, Unicode, UTF-8) для представления текста в виде числовых кодов, однозначно интерпретируемых компьютером. Это ключевой элемент патента, так как система использует текст именно в этом формате для генерации метаданных.
    Digital Content (Цифровой контент)
    Общий термин для медиафайлов, включая изображения, видео и аудиоклипы.
    Image Representation (Визуальное представление текста)
    Визуальное (пиксельное) представление текста на изображении или в кадре видео. В отличие от Character Encoding, это представление не является однозначно машиночитаемым без использования OCR.
    Audio Representation (Аудио представление текста)
    Текст, преобразованный в аудиозапись (например, с помощью Text-to-Speech). Для его обратного распознавания требуется технология преобразования речи в текст.
    Non-textual Representation (Нетекстовое представление)
    Общий термин для представления текста в медиаформате (пиксели в изображении, звуковые волны в аудио).
    OCR (Optical Character Recognition)
    Оптическое распознавание символов. Технология анализа изображения для извлечения текста. Патент направлен на то, чтобы избежать необходимости использования OCR.
    iTXt chunk
    Специфический блок данных в формате PNG, предназначенный для хранения текстовых метаданных в кодировке UTF-8. Упоминается как пример способа хранения метаданных.
    Unmodified Image (Немодифицированное изображение)
    Исходное изображение до того, как к нему был добавлен текст.

    Ключевые утверждения (Анализ Claims)

    Патент охватывает генерацию метаданных для трех типов контента: изображений, видео и аудио. Логика для всех типов схожа.

    Claim 1 (Независимый пункт): Метод генерации метаданных изображения.

    1. Система получает указание на текст, который должен быть включен в изображение. Текст поступает в виде символов, закодированных согласно Character Encoding (т.е. он машиночитаем).
    2. Система генерирует изображение, которое включает Image Representation этого текста (рендерит текст в пиксели).
    3. Система генерирует метаданные изображения, основываясь на исходном закодированном тексте.
    4. Система ассоциирует эти метаданные с изображением.

    Ядро изобретения — использование одного и того же источника (закодированного текста) для генерации как визуального представления, так и метаданных, что гарантирует их соответствие.

    Claim 2 (Зависимый пункт): Уточняет, что метод применим при модификации существующего (unmodified) изображения путем добавления текста.

    Claim 7 (Зависимый пункт): Описывает специфический сценарий для скриншотов.

    1. Получение инструкции на создание скриншота дисплея.
    2. Захват текста, который в данный момент отображается на дисплее, в качестве исходного закодированного текста (например, путем запроса к приложению, которое его отображает, а не через анализ пикселей).

    В сочетании с Claim 8, это означает, что система создает скриншот и генерирует метаданные, содержащие текст со скриншота, без необходимости распознавать этот текст по пикселям.

    Claim 17 (Независимый пункт): Метод генерации метаданных видео.

    Применяет логику Claim 1 к видео. Текст включается как минимум в один кадр видео. Метаданные генерируются из этого текста и ассоциируются с видеофайлом.

    Claim 23 (Независимый пункт): Метод генерации метаданных аудио.

    Применяет логику Claim 1 к аудио. Система генерирует аудиоклип, включающий Audio Representation текста (например, с помощью синтеза речи). Метаданные генерируются из исходного текста и ассоциируются с аудиоклипом.

    Зависимые пункты (Claims 14-16, 20-22, 26-28): Способы ассоциации.

    Детализируют, как метаданные ассоциируются с контентом:

    • Запись единого файла, включающего и контент, и метаданные (например, PNG с iTXt, MP3 с ID3).
    • Создание или модификация записи в базе данных, связывающей контент и метаданные.
    • Отправка коммуникации (например, сетевого пакета, email), включающей указания и на контент, и на метаданные.

    Где и как применяется

    Этот патент описывает технологию, которая применяется на этапе Создания или Модификации Контента, то есть до того, как контент попадает в основную поисковую систему. Он не является частью архитектуры ранжирования, но напрямую влияет на качество данных, поступающих в индекс.

    Применение возможно в различных продуктах Яндекса или сторонних инструментах:

    • Графические и видео редакторы (при добавлении аннотаций или субтитров).
    • Системы генерации скриншотов (встроенные в ОС или браузеры).
    • Платформы хостинга медиа при обработке загружаемого контента.
    • Системы синтеза речи.

    Взаимодействие с Поиском:

    CRAWLING – Сканирование и Сбор данных
    Краулеры (например, роботы для изображений или видео) при скачивании медиафайла получают доступ к метаданным, сгенерированным этим методом.

    INDEXING – Индексирование и извлечение признаков
    На этапе индексации (Parser Platform) система извлекает эти метаданные. Поскольку они были сгенерированы из известного закодированного текста, они являются точными и не требуют дополнительной обработки (OCR или Speech-to-Text) для интерпретации текста, содержащегося в медиа.

    На что влияет

    • Типы контента: Изображения (JPEG, PNG, TIFF), Видео (MPEG), Аудио (MP3). Влияет на любой медиаконтент, в который можно встроить текст и метаданные.
    • Индексируемость медиа: Основное влияние — повышение точности и полноты индексации текста, содержащегося в медиафайлах. Если инструмент создания контента использует этот метод, текст гарантированно попадает в индекс.
    • Специфические запросы: Улучшает возможность поиска этого контента в вертикальных поисках (Картинки, Видео) по текстовым запросам, соответствующим тексту внутри медиафайла.

    Когда применяется

    Алгоритм применяется в следующих сценариях:

    • Модификация существующего контента: Когда пользователь добавляет текст к изображению (Claim 2), цифровой фотографии (Claim 6) или скриншоту (Claims 4, 5).
    • Генерация нового контента на основе текста: Например, создание аудиоклипа с помощью Text-to-Speech (Claim 23) или создание видео с текстовыми вставками (Claim 17).
    • Генерация скриншотов (Claim 7): Когда пользователь делает скриншот, система может перехватить текст, который в этот момент отображается на экране (запросив его у ОС или приложения), и использовать его для генерации метаданных скриншота.

    Пошаговый алгоритм

    Описание процесса генерации метаданных.

    1. Получение Входных Данных:
      • Система получает исходный контент (например, Unmodified Image) или инструкцию на создание нового контента.
      • Система получает текст, который нужно добавить/использовать. Текст поступает в виде Character Encoding (например, через ввод с клавиатуры или из сети).
    2. Генерация Медиаконтента:
      • Система обрабатывает текст для создания его Non-textual Representation.
      • Для изображений/видео: Текст рендерится в пиксели (Image Representation) и встраивается в изображение или видеокадр.
      • Для аудио: Текст преобразуется в звуковые волны (например, через TTS).
    3. Генерация Метаданных (Параллельно с шагом 2):
      • Система использует исходный Character Encoding текста.
      • Текст (или его часть) помещается в соответствующие поля метаданных (например, Title, Description, Keywords).
      • При необходимости текст транслируется из одной кодировки в другую (например, из ASCII в UTF-8 для PNG iTXt chunk) (Claim 13).
    4. Ассоциация:
      • Сгенерированные метаданные ассоциируются с финальным медиаконтентом путем записи единого файла, обновления базы данных или отправки сетевого сообщения.

    Какие данные и как использует

    Данные на входе

    Патент фокусируется на инфраструктуре создания контента и не описывает конкретные SEO-факторы. Используемые данные ограничены процессом генерации:

    • Контентные факторы (Текст): Ключевой входной элемент — это текст в виде Character Encoding. Это может быть текст, введенный пользователем, полученный из сети или перехваченный из другого приложения (при скриншоте).
    • Исходный медиаконтент: Unmodified Image, видеопоток или аудиопоток, к которому добавляется текст.
    • Существующие метаданные: Если контент модифицируется, система может учитывать существующие метаданные и дополнять их (Claim 3).

    Какие метрики используются и как они считаются

    В патенте не упоминаются метрики ранжирования, оценки качества или алгоритмы машинного обучения. Описаны только технические процессы обработки данных:

    • Трансляция кодировок (Character Encoding Translation): Процесс перевода текста из одной кодировки (например, ASCII) в другую (например, Unicode/UTF-8), если формат метаданных этого требует (Claim 13).
    • Рендеринг текста: Преобразование закодированного текста в Image Representation (пиксели).
    • Синтез речи (Text-to-Speech): Преобразование закодированного текста в Audio Representation (упоминается в описании для аудио сценариев).
    • Форматы файлов и метаданных: Упоминаются PNG (iTXt), JPEG/TIFF (EXIF), MPEG-7, ID3.

    Выводы

    1. Патент инфраструктурный, не про ранжирование: Патент описывает механизм генерации метаданных на стороне клиента или сервера в момент создания/редактирования контента. Он не содержит информации о том, как Яндекс использует эти метаданные в алгоритмах ранжирования.
    2. Точность превыше всего: Ключевая идея — гарантировать 100% точность метаданных, описывающих текст в медиа, путем использования исходного закодированного текста. Это позволяет избежать ошибок и затрат, связанных с OCR или распознаванием речи.
    3. Универсальность подхода: Метод применим к изображениям, видео и аудио, охватывая различные сценарии от добавления аннотаций до генерации речи.
    4. Важность встроенных метаданных для индексации: Для SEO это подчеркивает важность наличия текстовой информации, ассоциированной с медиаконтентом. Хотя наличие метаданных не гарантирует высоких позиций, их отсутствие или неточность затрудняет индексацию и понимание контента поисковой системой.
    5. Индексация скриншотов без OCR: Патент описывает механизм (Claim 7), когда система может перехватывать отображаемый на экране текст (запрашивая его у приложения) и встраивать его в метаданные скриншота, делая растровое изображение индексируемым без OCR.

    Практика

    Best practices (это мы делаем)

    Хотя патент носит инфраструктурный характер, он подтверждает важность следующих практик для SEO медиаконтента:

    • Максимальное использование метаданных медиафайлов: При подготовке изображений и видео для публикации убедитесь, что в них встроены релевантные метаданные (EXIF, IPTC, XMP). Заполняйте поля Title, Description и Keywords. Этот патент показывает, что поисковые системы ожидают наличия этой информации и имеют инфраструктуру для ее обработки.
    • Обеспечение текстового сопровождения для аудио/видео: Для аудио и видео контента критически важно предоставлять текстовую информацию. Используйте структурированные субтитры (например, WebVTT) для видео и транскрипции для аудио. Это соответствует логике патента: предоставление машиночитаемого текста, ассоциированного с медиа.
    • Встраивание метаданных при динамической генерации медиа: Если ваш сайт автоматически генерирует изображения (например, графики, баннеры, превью с текстом), настройте систему так, чтобы она встраивала используемый текст непосредственно в метаданные файла.

    Worst practices (это делать не надо)

    • Публикация «слепых» медиафайлов: Загрузка изображений, видео или аудио без каких-либо ассоциированных метаданных или текстового описания (включая alt-атрибуты). Поисковая система вынуждена полагаться только на околоконтекстный текст или неточные методы распознавания.
    • Размещение важной информации только в виде текста на изображении: Полагаться на то, что Яндекс самостоятельно распознает текст на изображении с помощью OCR. Хотя Яндекс использует OCR, приоритет всегда отдается точным метаданным, полученным напрямую. Важная информация должна дублироваться в машиночитаемом виде.

    Стратегическое значение

    Стратегическое значение этого патента для SEO заключается в понимании того, как важна точность данных на входе в поисковую систему. Он подтверждает тренд на структурирование информации и важность медиаконтента как источника данных. Долгосрочная стратегия должна включать управление метаданными медиаактивов как неотъемлемую часть процесса SEO, гарантируя, что весь публикуемый контент максимально понятен и индексируем для поисковых систем.

    Практические примеры

    Сценарий 1: Подготовка инфографики к публикации

    1. Действие: SEO-специалист получает от дизайнера файл инфографики (например, PNG), содержащий важный текст и данные.
    2. Применение знаний из патента: Специалист понимает, что для надежной индексации текст должен быть доступен в машиночитаемом виде (чтобы не полагаться на OCR).
    3. Конкретные шаги: Специалист использует инструмент (например, Adobe Photoshop или онлайн-редактор метаданных), чтобы вручную скопировать ключевой текст из инфографики в поля метаданных файла (Title, Description). Дополнительно он размещает полный транскрипт инфографики на странице.
    4. Результат: При индексации изображения Яндекс извлекает точный текст из метаданных и/или транскрипта, что улучшает шансы инфографики ранжироваться по релевантным запросам в поиске по картинкам.

    Сценарий 2: Динамическая обработка изображений в E-commerce

    1. Задача: Интернет-магазин автоматически накладывает стикер «Скидка 20%» на фотографии товаров во время распродажи.
    2. Применение знаний из патента: SEO-специалист ставит задачу разработчикам: система обработки изображений должна не только рендерить текст «Скидка 20%» на изображении, но и одновременно обновлять метаданные файла (например, поле Keywords в IPTC), добавляя туда этот же текст.
    3. Результат: Яндекс при индексации изображения гарантированно получит информацию о скидке из метаданных, что повышает шансы на ранжирование этого изображения в Поиске по картинкам по запросам, связанным со скидками.

    Вопросы и ответы

    Описывает ли этот патент новый фактор ранжирования для изображений?

    Нет, этот патент не описывает факторы ранжирования. Он описывает инфраструктурный метод генерации метаданных в момент создания или редактирования медиафайла (изображения, видео, аудио). Он объясняет, как обеспечить точность метаданных, устраняя необходимость в OCR, но не раскрывает, как эти метаданные используются в формуле ранжирования Яндекса.

    В чем разница между «Character Encoding» (Кодировка символов) и «Image Representation» (Визуальное представление)?

    «Character Encoding» — это машиночитаемое представление текста (например, в UTF-8), которое однозначно интерпретируется компьютером. «Image Representation» — это визуальный рендеринг текста в виде пикселей на изображении. Компьютер не может прочитать пиксели напрямую и должен использовать OCR для их интерпретации. Патент предлагает использовать точный Character Encoding для генерации метаданных.

    Значит ли это, что Яндекс больше не использует OCR для анализа изображений?

    Нет, это не означает отказ от OCR. Яндекс по-прежнему использует OCR для индексации огромного количества изображений в интернете, у которых нет встроенных метаданных с текстом. Однако, если метаданные присутствуют и были сгенерированы точно (например, методом, описанным в патенте), система может предпочесть их как более надежный и быстрый источник информации.

    Как этот патент влияет на SEO для Яндекс.Картинок?

    Прямое влияние минимально, но косвенное важно. Патент подчеркивает важность наличия точного текста, ассоциированного с изображением. Для SEO это означает, что необходимо уделять внимание заполнению метаданных файлов (EXIF, IPTC), а не только атрибутов alt и title в HTML. Наличие релевантного текста в метаданных файла улучшает понимание изображения системой.

    Применяется ли этот метод к аудио и видео?

    Да, патент явно описывает применение к видео (Claim 17) и аудио (Claim 23). Для видео это может быть генерация метаданных из текста субтитров или аннотаций в кадре. Для аудио это генерация метаданных (например, ID3 тегов) из текста, который использовался для синтеза речи (Text-to-Speech). Это улучшает индексируемость подкастов и видеороликов.

    Что такое «Ассоциация» метаданных с контентом в контексте патента?

    Патент описывает несколько способов ассоциации. Самый распространенный — это сохранение контента и метаданных в одном файле (например, JPEG с EXIF или PNG с iTXt). Другие способы включают хранение их раздельно, но связывание через запись в базе данных, или отправку их вместе в одном сетевом сообщении (например, при стриминге).

    Как работает механизм для скриншотов, упомянутый в Claim 7?

    Это интересный сценарий. Когда пользователь делает скриншот, система (например, ОС или браузер) может перехватить текст, который в данный момент отображается на экране, запросив его у активного приложения (а не анализируя пиксели). Затем этот текст (в виде Character Encoding) используется для генерации метаданных скриншота. Таким образом, растровый скриншот получает точное текстовое описание без необходимости OCR.

    Должен ли я менять свою стратегию подготовки изображений на основе этого патента?

    Если вы уже следуете лучшим практикам и встраиваете релевантные метаданные в файлы изображений, то менять стратегию не нужно. Если же вы игнорировали метаданные файлов (EXIF/IPTC) и полагались только на HTML-атрибуты или околоссылочный текст, этот патент служит напоминанием о том, что встроенные данные важны для полноты индексации медиаконтента.

    Где реализуется эта технология – в поиске Яндекса или на моем сайте?

    Технология реализуется там, где создается или редактируется контент. Это может быть операционная система вашего устройства, программа для редактирования изображений или CMS вашего сайта (если она генерирует медиа). Поисковая система Яндекс лишь считывает результаты работы этой технологии – то есть извлекает уже готовые метаданные при индексации файла.

    Является ли атрибут alt тем же самым, что и метаданные, описанные в патенте?

    Нет, это разные вещи. Атрибут alt является частью HTML-кода страницы и описывает изображение в контексте этой страницы. Метаданные, описанные в патенте, являются частью самого файла изображения (например, данные EXIF или чанки PNG). Они предоставляют информацию о содержании файла независимо от того, на какой странице он размещен.