Как Google извлекает факты из изображений для наполнения Knowledge Graph

Термины и определения

Annotation (Аннотация)

Метка, присвоенная изображению или его части, которая идентифицирует сущность (Entity), содержащуюся в нем. Присваивается с помощью технологий распознавания объектов.

Attribute Entity (Сущность-Атрибут)

Сущность, обнаруженная в аннотированных изображениях, которая часто встречается вместе с Object Entity. Используется для вывода отношений.

Confidence Score (Оценка уверенности)

Метрика, отражающая вероятность того, что сущность, идентифицированная аннотацией, действительно присутствует на изображении. Может рассчитываться, например, с помощью алгоритма сопоставления шаблонов (template matching algorithm).

Entity (Сущность)

Человек, место, вещь или концепция, идентифицируемая в изображении (например, «Медведь Гризли», «Рыба», «Майкл Джордан»).

Fact Engine (Механизм извлечения фактов)

Компонент системы, отвечающий за изучение фактов из изображений. Включает Image Annotator, Inference Engine и Confidence Score Engine.

Inferring a relationship (Вывод отношения)

Процесс определения связи между Object Entity и Attribute Entity на основе косвенных факторов, таких как контекст изображения, пространственные отношения, известные факты в Knowledge Base, а не путем извлечения из явного текстового утверждения.

Knowledge Base (База Знаний)

Репозиторий структурированных и неструктурированных данных, хранящий сущности, факты о них и отношения между ними (например, Google Knowledge Graph).

Object Entity (Сущность-Объект)

Основная сущность, выбранная среди всех сущностей в наборе аннотированных изображений. Используется как основа для группировки изображений и изучения фактов об этой сущности.

Overall Confidence Score (Общая оценка уверенности)

Агрегированная оценка уверенности для конкретной сущности по набору изображений. Может рассчитываться как среднее значение Confidence Scores для этой сущности.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает систему для обогащения Knowledge Base.

1. Система присваивает аннотации изображениям, идентифицируя сущности.
2. На основе аннотаций выбирается Object Entity.
3. Идентифицируется подмножество изображений, содержащих этот Object Entity.
4. Определяется Attribute Entity из этого подмножества. Ключевой момент: Attribute Entity определяется как сущность (отличная от Object Entity), которая встречается наиболее часто в этом подмножестве изображений.
5. Выводится отношение (inferred fact) между Object Entity и Attribute Entity.
6. Отношение сохраняется в Knowledge Base.

Claim 10 (Независимый пункт): Описывает метод, схожий с Claim 1, но добавляет использование извлеченных фактов.

1. Процесс аналогичен Claim 1 (аннотирование, выбор объекта, выбор атрибута на основе частоты, вывод отношения, сохранение).
2. После сохранения система получает поисковый запрос от пользователя, который ссылается на Object Entity и отношение.
3. В ответ на запрос система идентифицирует контент, связанный с Attribute Entity, основываясь на сохраненном отношении.
4. Система предоставляет этот контент пользователю.

Claim 21 (Независимый пункт): Описывает метод изучения фактов из изображений с фокусом на пространственный анализ.

1. Идентификация Object Entity в аннотированных изображениях.
2. Определение Attribute Entity (как наиболее часто встречающейся сущности).
3. Вывод отношения между Object Entity и Attribute Entity основывается по крайней мере на одном spatial relationship (пространственном отношении) между ними в изображениях.
4. Сохранение отношения в Knowledge Base.

Где и как применяется

Изобретение применяется на этапах сбора и обработки данных для построения и обогащения Knowledge Graph.

CRAWLING – Сканирование и Сбор данных
Система может использовать краулер для сбора изображений из Интернета или использовать существующую базу данных изображений (например, индекс Google Images).

INDEXING – Индексирование и извлечение признаков
Основное применение патента происходит на этом этапе (или в аналогичном процессе построения Knowledge Graph):

1. Распознавание объектов (Object Recognition): Изображения обрабатываются для извлечения признаков и присвоения аннотаций (Annotations) с помощью Image Annotator.
2. Вычисление метрик: Рассчитываются Confidence Scores для аннотаций.
3. Извлечение фактов (Fact Extraction): Inference Engine анализирует аннотации, группирует изображения, идентифицирует Object Entities и Attribute Entities и выводит отношения между ними.
4. Сохранение данных: Новые факты сохраняются в Knowledge Base (Knowledge Graph).

RANKING / QUNDERSTANDING
Хотя патент не фокусируется на ранжировании, извлеченные факты, сохраненные в Knowledge Base, затем используются системами понимания запросов и ранжирования для предоставления ответов пользователям (например, в Knowledge Panels или прямых ответах).

Входные данные:

• Набор изображений (из базы данных или интернета).
• Опционально: поисковый запрос, использованный для получения изображений (например, "медведь гризли ест").
• Существующая Knowledge Base (для верификации и использования известных фактов при выводе новых).

Выходные данные:

• Новые отношения (факты) в формате (Object Entity, Отношение, Attribute Entity).
• Аннотации и Confidence Scores, привязанные к изображениям.

На что влияет

• Конкретные типы контента: В первую очередь влияет на изображения и данные в Knowledge Graph.
• Специфические запросы: Влияет на информационные запросы, ответы на которые могут быть найдены в Knowledge Graph (например, "Что едят медведи гризли?", "За какую команду играл Майкл Джордан?").
• Конкретные ниши или тематики: Наибольшее влияние в тематиках, где факты могут быть визуально представлены и легко распознаны: животный мир, спорт, знаменитости, достопримечательности, продукты.

Когда применяется

• Условия работы алгоритма: Применяется в процессе обработки больших массивов изображений для обогащения Knowledge Base. Это может быть непрерывный процесс или запускаться периодически.
• Триггеры активации: Активация процесса вывода отношений происходит, когда система идентифицирует Object Entity и обнаруживает статистически значимое совместное появление Attribute Entity в наборе изображений.
• Пороговые значения: Система использует пороги для Confidence Scores (чтобы убедиться в точности распознавания объектов) и пороги частоты совместного появления (чтобы определить значимость атрибута).

Пошаговый алгоритм

Процесс А: Обогащение Базы Знаний из набора изображений

1. Сбор данных: Получение набора изображений (например, путем краулинга или из базы данных).
2. Аннотирование: Присвоение аннотаций изображениям для идентификации содержащихся в них сущностей.
3. Расчет уверенности (Опционально): Вычисление Confidence Scores для каждой аннотации (например, с помощью template matching).
4. Выбор Object Entity: Анализ аннотаций по всему набору изображений. Выбор Object Entity, например, как сущности, которая встречается в наибольшем количестве изображений (и, опционально, имеет Overall Confidence Score выше порога).
5. Группировка: Фильтрация и группировка изображений, которые содержат выбранный Object Entity.
6. Определение Attribute Entity: Анализ сгруппированных изображений. Определение Attribute Entity как сущности (отличной от Object Entity), которая встречается наиболее часто в этой группе.
7. Вывод отношения (Inference): Определение отношения между Object Entity и Attribute Entity. Это может включать:
   • Анализ пространственных отношений (spatial relationship) между сущностями на изображениях.
   • Использование известных фактов из Knowledge Base (например, если известно, что Объект А связан с Б, и Б связан с В, можно вывести связь А с В).
8. Верификация (Опционально): Проверка валидности выведенного отношения с использованием известных фактов в Knowledge Base (например, проверка, что "рыба" является типом "еды", если выведено отношение "ест").
9. Сохранение: Сохранение нового отношения (факта) в Knowledge Base.

Процесс Б: Целенаправленный поиск фактов (Альтернативный вариант)

1. Поиск изображений: Выполнение поиска изображений с использованием запроса, включающего Object Entity и предполагаемое отношение (например, "медведь гризли ест").
2. Аннотирование результатов: Аннотирование полученных изображений.
3. Определение Attribute Entity: Идентификация часто встречающихся Attribute Entities в результатах.
4. Вывод отношения: Вывод отношения на основе текста поискового запроса и идентифицированных атрибутов (например, вывод, что медведь ест рыбу, если рыба часто встречается в результатах поиска по запросу "медведь ест").
5. Сохранение: Сохранение отношения в Knowledge Base.

Какие данные и как использует

Данные на входе

• Мультимедиа факторы (Изображения): Основной источник данных. Анализируются пиксельные данные изображений.
• Контентные факторы (Текст запроса): В одном из вариантов реализации используется текст поискового запроса (например, "grizzly bear eats fish") для поиска изображений и помощи в выводе отношений.
• Системные данные (Knowledge Base): Существующие данные в Knowledge Base (известные сущности и факты) используются для помощи в распознавании и, что более важно, для вывода и верификации новых отношений.

Какие метрики используются и как они считаются

• Confidence Score: Вероятность корректности аннотации. Патент упоминает возможность использования template matching algorithm, который сравнивает аннотированное изображение с эталонным изображением (template image), например, на основе количества совпадающих пикселей.
• Overall Confidence Score: Агрегированная метрика уверенности по набору изображений. Упоминается возможность усреднения Confidence Scores.
• Частота появления (Frequency): Количество изображений, в которых появляется сущность. Используется для выбора Object Entity (наиболее частая сущность в общем наборе) и Attribute Entity (наиболее частая сопутствующая сущность в группе).
• Пороговые значения (Thresholds): Используются для фильтрации. Например, порог для Confidence Score (чтобы использовать только надежные аннотации) или порог для частоты появления (чтобы атрибут считался значимым).
• Spatial Relationship (Пространственное отношение): Метрика, оценивающая расположение сущностей относительно друг друга на изображении (например, близость, включение). Используется для вывода типа отношения (например, "держит в руке", "ест", "находится рядом").

1. Изображения как источник фактов: Google активно использует анализ изображений не только для поиска по картинкам, но и как самостоятельный источник для извлечения структурированных фактов и наполнения Knowledge Graph.
2. Статистический анализ совместного появления: Основной механизм идентификации связей — это анализ того, какие сущности часто появляются вместе на изображениях. Сущность, которая чаще всего появляется рядом с главным объектом, выбирается в качестве атрибута.
3. Важность контекста и пространственных отношений: Система не просто фиксирует наличие сущностей, но и анализирует, как они расположены относительно друг друга (spatial relationships). Это позволяет выводить конкретные типы отношений (например, разницу между «стоит рядом» и «ест»).
4. Итеративное обогащение и верификация: Система может использовать существующие факты в Knowledge Base для вывода и верификации новых фактов. Также новые факты могут использоваться для запуска нового поиска изображений и дальнейшего обогащения базы.
5. Роль Confidence Scores: Для обеспечения качества данных система использует Confidence Scores, чтобы отсеивать ошибки распознавания объектов и фокусироваться только на надежно идентифицированных сущностях.

Best practices (это мы делаем)

• Визуализация связей между сущностями: При создании контента используйте изображения, которые четко демонстрируют взаимодействие между ключевыми сущностями вашей тематики. Если вы пишете о медведях гризли, используйте изображения, где они взаимодействуют с рыбой, водой, травой, как описано в патенте. Это помогает Google установить фактические связи.
• Использование четких и качественных изображений: Поскольку система полагается на распознавание объектов и Confidence Scores, необходимо использовать высококачественные, недвусмысленные изображения, где ключевые сущности легко идентифицируются. Это повышает вероятность того, что Image Annotator корректно распознает объекты.
• Оптимизация изображений для распознавания (Image SEO): Убедитесь, что основные сущности (продукты, люди, локации) являются центральными объектами на фотографиях. Это увеличивает вероятность их выбора в качестве Object Entity или значимого Attribute Entity.
• Согласованность мультимедиа и текста: Убедитесь, что изображения на странице подтверждают и визуализируют факты, описанные в тексте. Это создает согласованный сигнал для поисковой системы как при анализе текста, так и при анализе изображений для наполнения Knowledge Base.

Worst practices (это делать не надо)

• Использование стоковых или нерелевантных изображений: Использование общих изображений, которые не демонстрируют специфических связей между сущностями, не помогает Google извлекать факты. Система ищет статистически значимые паттерны, которые не возникают при использовании случайных иллюстраций.
• Изображения с низким качеством или «зашумленным» фоном: Изображения, на которых сложно распознать объекты или отделить их от фона, могут привести к низким Confidence Scores и игнорированию изображения системой.
• Манипуляция визуальными связями: Попытки искусственно создать несуществующие связи путем фотомонтажа (например, размещение продукта рядом со знаменитостью, которая его не использует) могут быть неэффективны, если это противоречит другим источникам или если манипуляция снижает Confidence Score распознавания.

Стратегическое значение

Патент подтверждает стратегическую важность Knowledge Graph и стремление Google использовать все доступные сигналы, включая визуальные, для его наполнения. Для SEO это означает, что оптимизация выходит за рамки текста. Стратегия должна включать управление визуальным представлением сущностей (бренда, продуктов, авторов) в интернете. То, как сущность изображена и с чем она взаимодействует на фотографиях, напрямую влияет на граф знаний о ней.

Практические примеры

Сценарий: Оптимизация карточки товара для нового устройства

1. Задача: Помочь Google понять, какие аксессуары совместимы с новым устройством.
2. Действие (на основе патента): Разместить на сайте и в материалах для прессы серию высококачественных фотографий, где устройство (Object Entity) четко показано вместе с совместимым аксессуаром (Attribute Entity). На нескольких фото показать процесс подключения или совместного использования (визуализация spatial relationship).
3. Механизм работы: Google сканирует изображения. Image Annotator распознает устройство и аксессуар. Из-за частого совместного появления на разных изображениях Inference Engine определяет связь. Анализ пространственных отношений помогает вывести тип связи (например, "совместим с" или "использует").
4. Ожидаемый результат: В Knowledge Graph или в результатах поиска по товарам Google быстрее установит факт совместимости устройства и аксессуара.

Сценарий: Укрепление связи автора с тематикой (E-E-A-T)

1. Задача: Усилить ассоциацию эксперта с его профессиональной областью.
2. Действие (на основе патента): Регулярно публиковать фотографии эксперта (Object Entity) в контексте его работы: на конференциях (Attribute Entity - Логотип конференции), с его книгами (Attribute Entity - Книга), в лаборатории или офисе.
3. Механизм работы: Система анализирует изображения эксперта, найденные в сети. Частое появление эксперта с атрибутами его профессиональной деятельности позволяет системе вывести отношения (например, "работает в", "автор", "выступал на").
4. Ожидаемый результат: Обогащение Knowledge Panel эксперта релевантными фактами, что укрепляет его авторитетность в глазах Google.