Как Google использует жесты (Drag-and-Drop) для поиска общих связей между сущностями или изображениями

Термины и определения

Attribute (Атрибут)

Характеристика, связанная с сущностью или отображаемым объектом. Для сущности это может быть пара свойство-значение (например, "Дата рождения": "18790314") или связь с другой сущностью (например, "Отец": Сущность Б). Для изображения это могут быть визуальные характеристики (цвет, текстура, форма).

Attribute Determination System (Система определения атрибутов)

Компонент поисковой системы, который идентифицирует общие атрибуты между двумя или более объединенными объектами, используя данные из Entity Data Repository.

Display Object / Non-textual Display Object (Отображаемый объект / Нетекстовый отображаемый объект)

Элемент пользовательского интерфейса, представляющий сущность или ресурс. В патенте акцент делается на нетекстовых объектах, таких как изображения, фотографии или иконки.

Entity (Сущность)

Элемент данных, который представляет человека, место, вещь или концепцию. Сущности хранятся в Entity Data Repository (Knowledge Graph) и имеют связанные с ними атрибуты.

Entity Data Repository (Хранилище данных сущностей)

База данных, хранящая сущности и их атрибуты. Соответствует Knowledge Graph.

Threshold Score (Пороговая оценка)

Метрика, используемая для оценки степени связи между первым и вторым объектом. Может использоваться для определения, следует ли предоставлять динамическую обратную связь во время жеста.

User Input Gesture (Жест пользовательского интерфейса)

Действие пользователя для взаимодействия с интерфейсом. В контексте патента это преимущественно жест объединения, такой как перетаскивание (drag), наложение (overlap) и отпускание (release).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной процесс инициирования поиска через жест.

1. Система получает данные с устройства пользователя о жесте, объединяющем первый нетекстовый отображаемый объект со вторым.
2. Определяются первые атрибуты для первого объекта и вторые атрибуты для второго объекта.
3. Идентифицируются атрибуты, которые присутствуют в обоих наборах (общие атрибуты).
4. В ответ на идентификацию общих атрибутов система автоматически отправляет в веб-поисковую систему запрос, содержащий поисковые термины из каждого из идентифицированных (общих) атрибутов.
5. Система получает результаты веб-поиска и предоставляет их для отображения на устройстве пользователя.

Claim 2 (Зависимый): Уточняет природу жеста. Жест включает перетаскивание первого объекта до наложения на второй объект и отпускание первого объекта во время наложения.

Claim 3 и 5 (Зависимые): Детализируют связь между объектами и сущностями.

• Объекты ассоциированы с Entities (человек, место, вещь, концепция).
• Идентификация атрибутов заключается в идентификации атрибутов, связанных с обеими сущностями.
• Данные для сущностей включают индексированные ресурсы (веб-страницы).

Claim 4 (Зависимый): Описывает альтернативный вариант реализации, где объекты являются изображениями, а атрибуты — визуальными сходствами.

• Идентификация атрибутов включает определение визуальных сходств (цвет, текстура, форма) между первым и вторым изображением.

Claim 6 (Зависимый): Расширяет механизм на объединение более двух объектов. Система может обрабатывать дополнительные жесты, и поиск будет выполняться на основе атрибутов, общих для всех объединенных объектов.

Claim 7 (Зависимый): Описывает механизм обратной связи.

1. Определяется Threshold Score (мера того, как связан первый объект со вторым).
2. Определяется, что один или несколько результатов поиска удовлетворяют этой пороговой оценке.
3. Система отправляет на устройство пользователя данные об этом определении, которые отображаются в виде визуальной индикации (например, количество общих связей).

Где и как применяется

Этот патент описывает механизм взаимодействия с пользователем и способ интерпретации этого взаимодействия как поискового запроса.

Client-Side (Устройство пользователя)
На этом уровне происходит обнаружение и интерпретация User Input Gesture (перетаскивание, наложение, отпускание). Устройство отправляет данные о жесте и идентификаторы вовлеченных объектов в поисковую систему.

INDEXING – Индексирование (Entity Data Repository)
Система критически зависит от данных, собранных на этом этапе. Entity Data Repository (Knowledge Graph) хранит Entities и их Attributes. Без этих данных система не сможет найти общие связи.

QUNDERSTANDING – Понимание Запросов
Основное применение патента на стороне сервера. Attribute Determination System получает данные о жесте и выполняет следующие действия:

1. Идентифицирует Entities, связанные с отображаемыми объектами.
2. Извлекает атрибуты для каждой сущности из Entity Data Repository.
3. Определяет пересечение атрибутов (общие связи).
4. Формулирует поисковый запрос на основе этих общих атрибутов.

RANKING – Ранжирование
Сформулированный запрос обрабатывается стандартным поисковым движком (Search Engine) для нахождения и ранжирования релевантных ресурсов на основе общих атрибутов.

Входные данные:

• Данные о жесте пользователя (тип жеста, координаты).
• Идентификаторы первого и второго (и последующих) отображаемых объектов.

Выходные данные:

• Результаты веб-поиска, основанные на общих атрибутах объединенных объектов.
• (Опционально) Данные для динамической обратной связи (например, количество общих связей), отправляемые до завершения жеста.

На что влияет

• Конкретные типы контента: Влияет на контент, который тесно связан с известными сущностями — биографии, фильмографии, дискографии, каталоги продуктов, информация о компаниях и местах.
• Специфические запросы: Влияет на составные (конъюнктивные) запросы, направленные на поиск пересечений и связей между сущностями.

Когда применяется

• Условия работы: Применяется, когда пользователь взаимодействует с интерфейсом, отображающим распознаваемые Display Objects (представляющие Entities или изображения), и использует специфический жест объединения (Drag-and-Drop).
• Триггеры активации: Жест пользователя, при котором один объект перетаскивается и накладывается на другой.

Пошаговый алгоритм

Процесс А: Обработка жеста и выполнение поиска

1. Обнаружение жеста: Пользовательское устройство обнаруживает начало жеста (например, касание и удержание первого объекта).
2. Отслеживание и динамическая обратная связь (Опционально): Пользователь перетаскивает первый объект. Если он накладывается на второй объект:
   1. Система идентифицирует атрибуты обоих объектов.
   2. Система выполняет предварительный поиск или подсчет общих атрибутов.
   3. Рассчитывается Threshold Score для оценки степени связи.
   4. Если порог достигнут, пользователю отображается визуальная индикация (например, счетчик связей).
3. Завершение жеста: Пользователь отпускает первый объект, когда он наложен на второй объект (или выбирает несколько объектов в альтернативном режиме).
4. Передача данных: Устройство отправляет данные о завершенном жесте и идентификаторы объединенных объектов в поисковую систему.
5. Идентификация Сущностей/Характеристик: Attribute Determination System идентифицирует Entities, связанные с объектами, или анализирует визуальные характеристики, если это изображения.
6. Определение общих атрибутов: Система извлекает атрибуты из Entity Data Repository и находит пересечения (атрибуты, общие для всех объединенных сущностей).
7. Формирование запроса: Система генерирует поисковый запрос, включающий термины из общих атрибутов.
8. Выполнение поиска: Запрос отправляется в Search Engine, который возвращает ранжированные результаты веб-поиска.
9. Отображение результатов: Результаты предоставляются пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании данных о сущностях и визуальных характеристиках.

• Структурные факторы (Данные о Сущностях): Критически важные данные. Используется Entity Data Repository (Knowledge Graph). Система использует идентификаторы Entities, их типы (человек, фильм, место) и связанные с ними Attributes (свойства и отношения).
• Мультимедиа факторы (Визуальные характеристики): В одной из реализаций (Claim 4) система может анализировать сами изображения (Display Objects), используя данные о визуальных сходствах: цвет, текстура, форма.
• Пользовательские факторы: Данные о жестах пользователя (User Input Gesture), полученные с устройства.

Какие метрики используются и как они считаются

• Пересечение атрибутов: Основной механизм — это нахождение набора атрибутов, которые ассоциированы со всеми объединенными сущностями.
• Threshold Score: Упоминается как мера того, насколько связаны два объекта. Патент не детализирует формулу расчета, но указывает, что она используется для определения, удовлетворяют ли результаты поиска этому порогу, что, в свою очередь, используется для динамической обратной связи. Вероятно, это может быть функция от количества общих атрибутов или релевантности результатов предварительного поиска.

1. Интерфейс для исследования Knowledge Graph: Патент описывает не алгоритм ранжирования, а новый способ взаимодействия пользователя с поисковой системой. Это UI-механизм, позволяющий интуитивно исследовать связи внутри Knowledge Graph с помощью жестов.
2. Автоматическая генерация составных запросов: Система интерпретирует жест объединения как сложный конъюнктивный запрос (Найти X, связанное с A И B И C) и автоматически генерирует соответствующий текстовый запрос на основе общих атрибутов.
3. Зависимость от данных о Сущностях: Функциональность полностью зависит от качества и полноты Entity Data Repository. Если сущности не распознаны или их атрибуты неполны, механизм работать не будет.
4. Мультимодальность и нетекстовый поиск: Патент демонстрирует подход к поиску, который не требует ввода текста, полагаясь вместо этого на взаимодействие с визуальными объектами, представляющими сущности.
5. Вариативность реализации (Сущности vs Визуальные сходства): Система может работать в двух режимах: поиск связей между Entities (основной вариант) или поиск визуальных сходств между изображениями (альтернативный вариант).

Best practices (это мы делаем)

Хотя патент описывает UI-механизм, его зависимость от данных о сущностях дает четкие указания для стратегии SEO, ориентированной на Knowledge Graph (Entity Optimization).

• Обеспечение распознавания сущностей: Убедитесь, что ключевые сущности вашего бизнеса (бренд, продукты, ключевые сотрудники, контент) распознаются Google как Entities. Это достигается через согласованное упоминание на авторитетных ресурсах (включая Википедию/Викиданные) и на собственном сайте.
• Максимизация полноты атрибутов: Работайте над тем, чтобы ваши сущности имели максимально полное и точное описание атрибутов и связей в Knowledge Graph. Используйте структурированные данные (Schema.org), чтобы явно указывать на отношения (например, [Продукт] brand [Бренд], [Персона] worksFor [Организация]).
• Оптимизация изображений, связанных с сущностями: Поскольку Display Objects часто являются изображениями, важно, чтобы канонические изображения ваших сущностей были высокого качества, четко распознавались и были правильно ассоциированы с соответствующей сущностью (например, через image в Schema.org, alt-тексты, подписи).
• Укрепление связей между сущностями: Создавайте контент, который подчеркивает связи между релевантными сущностями (например, совместные проекты, обзоры нескольких продуктов, интервью с несколькими экспертами). Это увеличивает вероятность появления общих атрибутов, которые может использовать система.

Worst practices (это делать не надо)

• Игнорирование оптимизации сущностей: Фокусировка исключительно на традиционном SEO по ключевым словам и игнорирование того, как ваш бизнес представлен в Knowledge Graph. Если вы не являетесь распознанной сущностью с атрибутами, вы не сможете участвовать в подобных интерфейсах поиска.
• Несогласованные данные о сущностях: Предоставление противоречивой информации о сущностях (разные названия, адреса, характеристики) на разных платформах затрудняет формирование точных атрибутов.

Стратегическое значение

Патент подтверждает долгосрочную стратегию Google по переходу от "строк к вещам" (from strings to things). Он показывает, что Google рассматривает Entities как фундаментальные единицы информации и разрабатывает интерфейсы для прямого взаимодействия с ними. Для Senior SEO-специалистов это сигнал о том, что видимость в поиске все больше зависит от того, насколько хорошо структурированы и взаимосвязаны данные о бизнесе в базе знаний Google. Инвестиции в построение и оптимизацию собственного графа знаний (на сайте) и его интеграция с глобальным Knowledge Graph являются стратегическим приоритетом.

Практические примеры

Сценарий: Оптимизация для E-commerce (Связи между продуктами)

Представим, что Google использует подобный интерфейс в Google Shopping, где отображаются карточки товаров.

1. Цель: Добиться того, чтобы при объединении двух ваших продуктов пользователь увидел релевантные аксессуары или обзоры.
2. Действия:
   1. Убедиться, что оба продукта распознаны как отдельные Entities (используя GTIN и разметку Product).
   2. Использовать структурированные данные (например, isRelatedTo, isAccessoryOrSparePartFor) для явного указания связей между этими продуктами и аксессуарами.
   3. Создать качественный контент (например, статью "Сравнение Модели А и Модели Б"), который также будет проиндексирован и связан с обеими сущностями.
3. Ожидаемый результат: Когда пользователь в интерфейсе перетаскивает "Модель А" на "Модель Б", система находит общие атрибуты (например, общий бренд, общая категория, связанный контент "Сравнение Модели А и Модели Б") и отображает результаты поиска по этим связям, повышая видимость связанного контента и аксессуаров.