Как Google использует кластеризацию контента и результаты поиска для определения авторства и формирования профилей сущностей

Термины и определения

Entity (Сущность)

Представляет одного или нескольких людей (конкретного человека, группу людей, компанию, организацию). Может быть как общей (например, «президент США»), так и конкретной (например, «Джордж Вашингтон»).

Resource (Ресурс)

Любой тип цифровой информации, доступной по сети (документы, научные статьи, веб-страницы, видео, изображения, книги, патенты, сообщения в социальных сетях и т.д.).

Resource Group / Document Group (Группа ресурсов / Группа документов)

Кластер ресурсов, сгруппированных на основе общих признаков (например, предполагаемого авторства). Каждая группа ассоциирована с именем собственным (Proper Name).

Profile (Профиль)

Коллекция ресурсов, которая подтверждена (вручную или автоматически) как связанная с конкретной сущностью. Например, список публикаций автора.

Entity Query (Запрос о сущности)

Запрос, который идентифицирует как минимум одну сущность, часто по имени собственному. Может включать дополнительную информацию (аффилиацию, email).

Resource Clusterer (Кластеризатор ресурсов)

Компонент системы, который анализирует ресурсы в индексной базе и группирует их в Resource Groups.

Correspondence Score (Оценка соответствия)

Метрика, определяющая уровень соответствия между ресурсами в Resource Group и ресурсами, уже включенными в Profile. Используется для автоматического обновления профилей.

Name Matching Score (Оценка совпадения имен)

Метрика, представляющая сходство между именем, связанным с Resource Group, и именем, указанным в запросе или связанным с Profile.

Ключевые утверждения (Анализ Claims)

Патент содержит несколько групп независимых пунктов, описывающих процесс идентификации информации для добавления в профиль автора.

Claim 1 (Независимый пункт): Описывает метод идентификации информации для профиля автора путем предоставления ранжированных групп документов для выбора автором.

1. Кластеризация: Множество первых документов кластеризуется в одну или несколько Document Groups. Каждая группа связана с именем автора.
2. Получение информации и генерация запроса: После кластеризации система получает информацию от автора и генерирует запрос, включающий имя автора и полученную информацию.
3. Получение результатов поиска: Генерируется список документов, удовлетворяющих запросу, ранжированных по Document Rank.
4. Ранжирование групп: Document Groups ранжируются на основе того, сколько документов из списка результатов поиска содержится в каждой группе. Предпочтение отдается группам с большим количеством совпадений.
5. Предоставление данных: Данные, описывающие Document Groups, предоставляются в порядке ранжирования для выбора автором с целью включения в его профиль.

Claim 25 (Независимый пункт): Описывает метод автоматического назначения групп документов профилю автора на основе ранжирования.

1. Назначение документов в группы: Документы назначаются в Document Groups, каждая из которых связана с именем автора.
2. Получение ввода и генерация запроса: От пользователя принимается ввод имени автора и дополнительная информация (аффилиации и т.д.). Генерируется запрос.
3. Получение результатов поиска: Получаются результаты поиска, идентифицирующие документы, удовлетворяющие запросу.
4. Ранжирование групп: Document Groups ранжируются на основе количества документов из результатов поиска, включенных в каждую группу.
5. Назначение профилю: Одна или несколько Document Groups назначаются профилю автора на основе этого ранжирования.

Claim 3 и Claim 26 (Зависимые): Детализируют механизм автоматического обновления профиля после его первоначального создания.

После создания профиля (как описано в Claim 1 или 25), система кластеризует новый набор документов. Для каждой новой группы вычисляется Correspondence Score относительно существующего профиля автора. Если этот показатель превышает порог, документы из новой группы добавляются в профиль автора.

Claim 4, 20, 27 (Зависимые): Определяют основу для расчета Correspondence Score.

Оценка основана на: (i) количестве документов, присутствующих и в группе, и в профиле; (ii) количестве документов в группе, которые никогда не были в профиле; (iii) количестве документов в группе, которые были удалены из профиля.

Где и как применяется

Изобретение затрагивает несколько этапов поиска, в основном фокусируясь на обработке данных для построения связей между сущностями и контентом.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит извлечение ключевых признаков из ресурсов, необходимых для кластеризации: имена авторов, аффилиации, email адреса, названия публикаций, данные о цитировании (кто цитирует и кого цитируют). Это Feature Extraction.

(Вне стандартного real-time pipeline) – Офлайн обработка и кластеризация
Система (в частности, Resource Clusterer) использует извлеченные признаки для выполнения кластеризации. Это ресурсоемкий офлайн-процесс, результатом которого являются Resource Groups. Этот процесс может быть частью построения или обновления Knowledge Graph.

QUNDERSTANDING – Понимание Запросов / RANKING – Ранжирование
Когда поступает Entity Query, стандартные механизмы поиска используются для генерации первичного списка ранжированных ресурсов, релевантных запросу.

RERANKING – Переранжирование / Специализированный Поиск
Основное применение патента происходит здесь или в рамках специализированного поискового вертикала (например, Google Scholar, Поиск по Людям). Система использует результаты стандартного ранжирования для оценки и ранжирования предварительно рассчитанных Resource Groups. Это не столько переранжирование существующих результатов, сколько генерация нового типа результата — агрегированного профиля сущности.

Входные данные:

• Индексированные ресурсы с извлеченными признаками (авторы, аффилиации, цитаты).
• Entity Query (имя, дополнительная информация).
• Существующие Profiles (для механизма обновления).

Выходные данные:

• Ранжированные Resource Groups, предложенные для ассоциации с сущностью.
• Обновленные Profiles сущностей.

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, где авторство является ключевым признаком: научные статьи (основной пример в патенте), новостные статьи, книги, патенты, блоги. Также упоминаются ресурсы социальных сетей (фото, видео, посты).
• Специфические запросы: Запросы, связанные с именами людей (авторов, экспертов), особенно распространенными именами, где требуется разрешение неоднозначности.
• Конкретные ниши или тематики: Академическая сфера, журналистика, YMYL-тематики, где авторитетность автора (E-E-A-T) имеет критическое значение.

Когда применяется

• Триггеры активации (Real-time): Получение запроса, который система идентифицирует как поиск сущности (Entity Query), особенно если запрос направлен на создание или подтверждение профиля (например, автор подтверждает свои работы в Google Scholar).
• Триггеры активации (Офлайн): Периодическое обновление индекса и появление новых ресурсов запускают процесс перекластеризации и последующего автоматического обновления профилей (Profile Update).
• Пороговые значения: Механизм автоматического обновления активируется, только если Correspondence Score между группой и профилем превышает установленный порог.

Пошаговый алгоритм

Процесс А: Кластеризация ресурсов (Офлайн)

1. Извлечение признаков: Система анализирует ресурсы и извлекает признаки: название, место публикации, имена авторов, email авторов, аффилиации авторов, цитируемые документы, цитирующие документы.
2. Определение ассоциаций: Анализируются признаки для определения связей между ресурсами.
3. Кластеризация: Используется алгоритм кластеризации для группировки ресурсов в Resource Groups на основе выявленных ассоциаций. Каждая группа ассоциируется с именем собственным.

Процесс Б: Ранжирование групп по запросу (Real-time или по требованию)

1. Получение запроса: Система получает Entity Query (например, от автора, желающего создать профиль), включающий имя и, возможно, дополнительную информацию.
2. Генерация результатов поиска: Система выполняет поиск по запросу и генерирует ранжированный список релевантных ресурсов (Result List).
3. Сопоставление (Mapping): Система сопоставляет ресурсы из Result List с ресурсами в предварительно созданных Resource Groups.
4. Расчет оценок для групп: Для каждой группы вычисляется оценка на основе:
   • Количества совпадающих ресурсов.
   • Ранга совпадающих ресурсов в Result List.
   • Name Matching Score (сходство имени группы с именем в запросе).
5. Ранжирование групп: Resource Groups сортируются по рассчитанным оценкам.
6. Предоставление результатов: Ранжированные группы предоставляются пользователю (например, для выбора и создания профиля) или используются системой для автоматического назначения профилю.

Процесс В: Автоматическое обновление профиля (Офлайн/Периодически)

1. Идентификация профиля: Система идентифицирует существующий Profile сущности.
2. Расчет Correspondence Score: Для новых или обновленных Resource Groups вычисляется Correspondence Score относительно профиля. Расчет учитывает совпадения, новые документы и ранее удаленные документы.
3. Проверка порога: Система определяет, превышает ли Correspondence Score установленный порог.
4. Обновление профиля: Если порог превышен, ресурсы из Resource Group добавляются в Profile.

Какие данные и как использует

Данные на входе

Патент явно указывает на использование следующих факторов для кластеризации и ассоциации:

• Контентные факторы: Название ресурса (title), место публикации (place of publication).
• Ссылочные факторы (Цитирования): Документы, на которые ссылается ресурс (documents referenced by the first documents), и документы, которые ссылаются на ресурс (documents that reference the first documents).
• Факторы сущностей (Авторские): Имена собственные авторов (proper names of authors), email адреса авторов (author email addresses), аффилиации авторов (author affiliations).
• Поведенческие факторы (Обратная связь): Данные о том, какие ресурсы пользователь вручную добавил или удалил из своего профиля. Это используется для корректировки алгоритма кластеризации.
• Данные социальных сетей: Упоминается кластеризация ресурсов из социальных сетей (фото, видео, посты), включая взаимодействия (просмотры, лайки, теги).

Какие метрики используются и как они считаются

• Name Matching Score ($X_4$): Оценка сходства имен. Использует эвристики для реструктуризации имен (например, перестановка имени и фамилии, использование инициалов) для поиска наилучшего совпадения. Может рассчитываться как взвешенная сумма совпадений по компонентам имени (фамилия, имя).
• Ranking Score (для Resource Groups): Рассчитывается как функция от количества совпадающих ресурсов между группой и результатами поиска, ранга этих ресурсов в поиске и Name Matching Score.
• Correspondence Score (CS): Метрика для автоматического обновления профиля. Оценивает соответствие между Resource Group и Profile.

  Определяются переменные:

  • $X_1$: Количество ресурсов в группе И в профиле.
  • $X_2$: Количество ресурсов в группе, которые были УДАЛЕНЫ из профиля.
  • $X_3$: Количество ресурсов в группе, которые НИКОГДА не были в профиле.

  Пример формулы:

  $CS = C_1X_1 - C_2X_2 - C_3X_3$−C2​X2​−C3​X3​ (где $C_i$ — константы).

  Это показывает, что совпадения ($X_1$) увеличивают оценку, а ранее удаленные ресурсы ($X_2$) сильно ее уменьшают.

• Assignment Score (AS): Используется для разрешения конфликтов, если ресурс из профиля встречается в нескольких группах. Ресурс назначается группе, максимизирующей AS. Пример формулы:

  $AS = W_1X_4 + W_2X_1 - W_3X_2 - W_4(X_3 - W_5X_4)$+W2​X1​−W3​X2​−W4​(X3​−W5​X4​) (где $W_i$ — веса).

1. Ассоциация контента с сущностями — это процесс кластеризации: Google не просто ищет упоминания имени. Система активно кластеризует контент в Resource Groups на основе множества сигналов, пытаясь воссоздать корпус работ конкретного автора.
2. Ключевые сигналы для кластеризации: Для успешной ассоциации контента с автором критически важны не только имена, но и контекстуальные данные: аффилиации, email адреса, а также сеть цитирования (кто ссылается на работу и на кого ссылается автор).
3. Результаты поиска как валидатор кластеров: Система использует результаты поиска в реальном времени (Result List) для валидации и ранжирования предварительно рассчитанных кластеров. Если кластер содержит много высокоранжирующихся документов по запросу имени автора, этот кластер считается релевантным.
4. Автоматизация и обратная связь: Система стремится автоматизировать обновление профилей (Profiles) с помощью Correspondence Score, но при этом учитывает историю взаимодействий. Ресурсы, которые автор ранее удалил из профиля ($X_2$), имеют сильный негативный вес, что предотвращает повторное добавление неверного контента.
5. Важность разрешения неоднозначности (Disambiguation): Весь механизм направлен на то, чтобы отличить одного автора от другого, даже если у них одинаковые имена, используя контекстные сигналы и структуру связей.

Best practices (это мы делаем)

• Обеспечение консистентности данных об авторе (NAP Consistency для людей): Используйте консистентное написание имени автора, его аффилиации (места работы, учебы) и контактной информации (email, профили в соцсетях) во всех публикациях и на всех платформах. Это облегчает системе задачу кластеризации (Resource Clustering).
• Использование разметки Schema.org (Author): Тщательно размечайте контент, используя Person, author, affiliation, email, sameAs (для связи с профилями в Knowledge Graph, соцсетях, ORCID). Это предоставляет системе четкие признаки для кластеризации.
• Управление цитированием и совместной работой: Поощряйте цитирование ваших работ авторитетными источниками и участвуйте в совместных проектах. Сеть цитирования и соавторства является сильным сигналом для кластеризации и помогает разрешить неоднозначность авторов.
• Активное управление профилями сущностей: Если возможно (например, в Google Scholar или через Knowledge Panel), активно управляйте профилем автора. Подтверждайте правильный контент и удаляйте ошибочно ассоциированный. Это дает системе обратную связь, которая учитывается в Correspondence Score (переменная $X_2$) при будущих обновлениях.
• Создание централизованной страницы автора: Создайте авторитетную страницу автора на сайте (Author Page), которая агрегирует все его работы, аффилиации и связи. Это поможет системе сформировать точный Resource Group.

Worst practices (это делать не надо)

• Неконсистентное представление автора: Использование разных вариантов имени (например, John Smith, J. A. Smith, John A. Smith) без явной связи между ними, частая смена аффилиаций без обновления биографии. Это затрудняет кластеризацию и может привести к фрагментации профиля автора.
• Игнорирование контекстных сигналов: Публикация контента без указания аффилиации, биографии или связей с предыдущими работами, особенно если у автора распространенное имя.
• Попытки манипуляции авторством (Authorship Hijacking): Попытки ассоциировать свой контент с авторитетным автором путем имитации его сигналов. Механизмы кластеризации, учитывающие сеть цитирования и обратную связь от реального автора (Correspondence Score), направлены на борьбу с этим.

Стратегическое значение

Этот патент подчеркивает стратегическую важность управления сущностями (Entity Management) как ключевого компонента SEO, особенно в контексте E-E-A-T. Google стремится понять, кто стоит за контентом, и использует сложные механизмы кластеризации для построения профилей авторов. Для SEO-специалистов это означает, что работа над авторитетностью автора должна включать не только создание качественного контента, но и обеспечение максимальной четкости и консистентности сигналов, позволяющих Google корректно ассоциировать этот контент с автором.

Практические примеры

Сценарий: Разрешение неоднозначности авторов в YMYL-нише (Медицина)

Задача: Обеспечить корректную ассоциацию статей медицинского эксперта Dr. Maria Garcia, работающего в Cleveland Clinic, и отличить ее от другого автора Maria Garcia, работающего в сфере финансов.

1. Действия (Кластеризация): Во всех статьях Dr. Garcia последовательно указывается ее имя, ученая степень и аффилиация (Cleveland Clinic). Используется разметка Schema.org/author с указанием affiliation.
2. Действия (Цитирование): Ее медицинские статьи цитируют друг друга и другие работы в области кардиологии.
3. Результат (Системный процесс): Система Google формирует два отдельных Resource Groups. Группа 1 (Медицина) кластеризуется вокруг имени «Dr. Maria Garcia», аффилиации «Cleveland Clinic» и сети медицинских цитирований. Группа 2 (Финансы) кластеризуется вокруг других сигналов.
4. Результат (Поиск): При запросе «Dr. Maria Garcia Cardiology», система генерирует Result List, который сильно пересекается с Группой 1. Эта группа получает высокий ранг и используется для формирования Knowledge Panel и ассоциации сигналов E-E-A-T с правильной сущностью.