Как Google использует анкорный текст входящих ссылок для определения синонимов и псевдонимов сущностей в Knowledge Graph

Термины и определения

Anchor Synset (Набор кандидатов из анкоров)

Коллекция кандидатов в синонимы, сгенерированная путем обработки анкорных текстов.

Anchor Text (Анкорный текст)

Текст гиперссылки, расположенный между открывающим и закрывающим тегами анкоря. Используется как основной источник данных для генерации синонимов.

Black List (Черный список)

Коллекция текстов, которые часто используются в анкорах, но не связаны с темой целевого документа (например, "кликните здесь", "скачать"). Используется для фильтрации шума.

Entity (Сущность)

Реальный или вымышленный человек, место, организация или объект, который представлен Object в репозитории.

Fact (Факт)

Единица информации о сущности, хранящаяся в репозитории. Состоит из атрибута (например, "Дата рождения") и значения (например, "22 февраля 1732 г.").

Fact Repository (Репозиторий фактов)

База данных, хранящая факты о сущностях. Аналог Google Knowledge Graph.

Linking Document (Ссылающийся документ)

Документ, содержащий гиперссылку на Source Document.

Object (Объект)

Логическая структура в репозитории, объединяющая коллекцию фактов, связанных с одной сущностью.

Source Document (Исходный документ)

Документ (например, веб-страница), из которого был извлечен один или несколько фактов о сущности.

White List (Белый список)

Коллекция текстов, которые с высокой вероятностью являются действительными синонимами (например, список названий компаний или имен людей).

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод определения синонимичного названия для сущности.

1. Система идентифицирует исходный документ (Source Document), из которого были извлечены факты о сущности.
2. Идентифицируются ссылающиеся документы (Linking Documents), имеющие гиперссылки на исходный документ, и их анкорные тексты (Anchor Texts).
3. Генерируется коллекция кандидатов в синонимы на основе этих анкорных текстов.
4. Происходит выбор синонимичного названия из коллекции кандидатов. Этот выбор включает:
   • Определение оценки (Score) для каждого кандидата на основе функции оценки (Score Function).
   • Функция оценки учитывает частоту встречаемости (Frequency of Occurrence) кандидата и его долю (Proportion) в общей коллекции кандидатов.
   • Выбор синонима на основе этих оценок.
5. Синонимичное название сохраняется в репозитории в дополнение к существующему названию объекта.

Claim 3 и 4 (Зависимые): Детализируют процесс генерации кандидатов, включающий нормализацию анкорных текстов. Нормализация может включать применение специфичных для языка правил (Normalization Rules for the Language) на основе определенного языка ссылающегося документа.

Claim 5 (Зависимый): Уточняет, что генерация кандидатов может включать извлечение именной группы (Noun Phrase) из анкорного текста. Это помогает отделить описательную часть анкора от потенциального названия сущности.

Claim 6 (Зависимый): Уточняет, что генерация кандидатов может включать удаление префиксов или суффиксов из анкорных текстов (например, удаление "статья о" из анкора "статья о Короле").

Claim 7 и 8 (Зависимые): Описывают использование Black List и White List. Если анкор совпадает с черным списком, он удаляется из кандидатов. Если совпадает с белым списком, он добавляется в коллекцию кандидатов.

Claim 9 и 11 (Зависимые): Описывают выбор синонимов на основе пороговых значений частоты. Выбираются кандидаты, частота которых не ниже минимального порога (Minimum Threshold) и не выше максимального порога (Maximum Threshold).

Claim 13 (Зависимый): Уточняет, что выбор синонима может основываться на качестве (Quality) ссылающихся документов. Синонимы, полученные из анкоров на более качественных сайтах, получают преимущество.

Где и как применяется

Изобретение применяется в первую очередь на этапе обработки и обогащения данных в репозитории фактов.

INDEXING – Индексирование и извлечение признаков
Основная активность происходит здесь, но не во время первичного сканирования, а во время последующей обработки данных (в патенте упоминаются процессы Janitor). Система использует уже извлеченные факты и данные о происхождении этих фактов (Source Documents). Также используется полный ссылочный граф веба, включая анкорные тексты.

QUNDERSTANDING – Понимание Запросов
Результаты работы этого патента напрямую влияют на этот этап. Зная синонимы сущности, система может лучше интерпретировать запрос пользователя, содержащий псевдоним, и связать его с соответствующим объектом в Knowledge Graph.

METASEARCH – Метапоиск и Смешивание
Улучшенное понимание сущностей позволяет более точно формировать блоки Knowledge Panel и другие функции выдачи, связанные с сущностями.

Входные данные:

• Идентификатор объекта (Object ID).
• Факты, связанные с объектом, и URL-адреса их исходных документов (Source Documents).
• Ссылочный граф интернета (данные о том, какие документы ссылаются на исходные документы и с каким Anchor Text).
• Списки фильтрации (Black List, White List).
• Метрики качества документов (например, PageRank для Linking Documents, который упоминается в описании патента).

Выходные данные:

• Новые факты типа "Имя" (Name facts), содержащие обнаруженные синонимы, ассоциированные с исходным Object ID.

На что влияет

• Конкретные типы контента: Влияет на любой контент, связанный с именованными сущностями (люди, организации, места, продукты, произведения искусства и т.д.).
• Специфические запросы: Наиболее сильно влияет на запросы, содержащие названия сущностей, особенно брендовые, навигационные и информационные запросы о конкретных сущностях. Улучшает обработку запросов, использующих редкие или неофициальные названия.
• Конкретные ниши или тематики: Влияет на все тематики, но особенно заметно в нишах с большим количеством псевдонимов (например, шоу-бизнес, спорт, технологии, где часто используются аббревиатуры).

Когда применяется

• При каких условиях работает алгоритм: Алгоритм применяется для объектов, у которых есть факты, извлеченные из исходных документов, и на эти исходные документы есть входящие ссылки с анкорным текстом.
• Временные рамки и частота применения: Это не процесс реального времени, а фоновый процесс обслуживания и очистки данных (Janitor process). Он выполняется периодически по мере обновления репозитория фактов и индекса ссылок, чтобы отражать изменения в том, как сущности упоминаются в интернете.

Пошаговый алгоритм

Процесс определения синонимов для сущности:

1. Идентификация объекта: Выбирается объект (сущность) в Fact Repository для анализа.
2. Идентификация исходных документов: Система извлекает список всех Source Documents, из которых были получены факты для данного объекта.
3. Фильтрация источников (Опционально): Могут быть удалены источники, которые связаны с несколькими разными сущностями (т.е. не являются тематически сфокусированными).
4. Идентификация входящих ссылок и анкоров: Для каждого исходного документа система находит все Linking Documents и извлекает соответствующие Anchor Texts.
5. Нормализация анкоров: Анкорные тексты приводятся к стандартному формату (удаление пунктуации, приведение к нижнему регистру, удаление стоп-слов). Может применяться языкозависимая нормализация.
6. Генерация кандидатов (Anchor Synset):
   • Очистка: Удаление стандартных префиксов/суффиксов (например, "статья о"). Извлечение именных групп (Noun Phrases).
   • Фильтрация: Удаление анкоров, совпадающих с Black List. Включение анкоров, совпадающих с White List.
7. Оценка и Скоринг Кандидатов: Для каждого уникального кандидата рассчитывается оценка (Score). Функция оценки учитывает:
   • Частоту встречаемости кандидата.
   • Долю кандидата в общем наборе.
   • Качество (Quality) ссылающихся документов, из которых был получен кандидат.
8. Выбор синонимов: Кандидаты выбираются на основе их оценок. Могут применяться пороги:
   • Минимальный порог частоты/оценки (для отсева случайных совпадений).
   • Максимальный порог частоты (для отсева слишком общих фраз).
9. Сохранение результатов: Выбранные синонимы сохраняются в Fact Repository как новые факты типа "Имя" для исходного объекта.

Какие данные и как использует

Данные на входе

Патент фокусируется на использовании ссылочных данных для семантического обогащения.

• Ссылочные факторы: Критически важны. Используются Anchor Texts входящих ссылок, направленных на Source Documents. Также используется структура ссылочного графа для идентификации Linking Documents.
• Технические факторы: URL-адреса Source Documents и Linking Documents.
• Контентные факторы: Существующие факты об объекте используются для определения списка Source Documents.
• Языковые факторы: Язык Linking Document может использоваться для применения специфических правил нормализации.

Какие метрики используются и как они считаются

• Frequency of Occurrence (Частота встречаемости): Количество раз, когда конкретный кандидат в синонимы появляется в обработанном наборе анкоров.
• Proportion (Доля): Отношение частоты встречаемости кандидата к общему количеству анкоров в наборе.
• Quality of Linking Document (Качество ссылающегося документа): Метрика авторитетности Linking Document. Хотя патент не указывает конкретную метрику в Claims, в описании упоминается, что качество может быть определено на основе PageRank.
• Score (Оценка): Агрегированная метрика для каждого кандидата. Рассчитывается с помощью Score Function, которая учитывает частоту, долю и, возможно, качество источника (Claim 1, 14).
• Thresholds (Пороги): Минимальные и максимальные значения частоты (Minimum/Maximum Threshold), используемые для фильтрации кандидатов.

1. Анкорный текст как сигнал для определения псевдонимов: Патент подтверждает, что Anchor Text является одним из основных сигналов, используемых Google для понимания того, как интернет ссылается на сущность, и для выявления ее альтернативных названий.
2. Анализ ссылок на авторитетные источники: Ключевым моментом является то, что анализируются ссылки не обязательно на собственный сайт сущности, а на Source Documents, из которых были извлечены факты. Часто это авторитетные сторонние ресурсы (например, Википедия, официальные реестры).
3. Важность качества ссылающихся сайтов: Система учитывает качество (Quality, например, PageRank) сайтов, которые ссылаются на исходные документы. Псевдонимы, полученные из анкоров на авторитетных сайтах, считаются более надежными.
4. Фильтрация шума и нормализация: Google активно фильтрует анкорный текст, используя нормализацию, извлечение именных групп, удаление префиксов и черные списки, чтобы отличить реальные названия от описательного или служебного текста в ссылках.
5. Валидация через частотность: Частота использования анкора является важным фактором валидации. Слишком редкие (возможно, ошибки или личное мнение) или слишком частые (возможно, слишком общие фразы) анкоры могут быть отброшены.

Best practices (это мы делаем)

• Оптимизация сущности (Entity Optimization): Необходимо обеспечить существование четко определенных и авторитетных источников (Source Documents) о вашей сущности (бренд, ключевые сотрудники). Это включает наличие страниц в Википедии, профилей в авторитетных отраслевых базах данных и официальных социальных сетях.
• Мониторинг и влияние на Off-Site Anchor Text: Анализируйте, как сторонние сайты ссылаются на ваши авторитетные профили (не только на ваш основной сайт). При естественном взаимодействии (PR, outreach) поощряйте использование разнообразных, релевантных названий вашей сущности (полное имя, бренд, общепринятые аббревиатуры) в качестве Anchor Text.
• Повышение качества ссылочного профиля авторитетных источников: Работайте над тем, чтобы высококачественные и релевантные сайты ссылались на ваши авторитетные профили. Поскольку качество Linking Documents учитывается при валидации синонимов, ссылки с авторитетных ресурсов помогут Google быстрее принять нужные вам синонимы.
• Консистентность упоминаний: Убедитесь, что различные формы названия вашего бренда консистентно используются в интернете. Это повысит частоту (Frequency of Occurrence) нужных кандидатов и ускорит их принятие в качестве синонимов.

Worst practices (это делать не надо)

• Манипуляция анкорным текстом (Anchor Text Spamming): Попытки агрессивно манипулировать этим механизмом путем создания большого количества ссылок с низкокачественных сайтов с нужными анкорами неэффективны. Система учитывает качество Linking Documents и использует пороги частотности, что затрудняет спам.
• Игнорирование Off-Site профилей: Фокусироваться только на оптимизации собственного сайта и игнорировать то, как сущность представлена и как на нее ссылаются на авторитетных внешних площадках.
• Использование только одного варианта названия: Использование исключительно официального названия и избегание общепринятых псевдонимов или аббревиатур может замедлить их распознавание Google как синонимов.

Стратегическое значение

Этот патент является важной частью перехода Google к entity-based search. Он демонстрирует механизм, с помощью которого строится семантическое понимание мира. Для SEO это означает, что стратегия должна охватывать весь цифровой след сущности (оптимизация под Knowledge Graph), а не только принадлежащий ей веб-сайт. То, как интернет "говорит" о вашей сущности (через Anchor Text), напрямую влияет на то, как Google ее идентифицирует и ранжирует.

Практические примеры

Сценарий: Улучшение распознавания аббревиатуры компании

Компания "Российские Железные Дороги" хочет убедиться, что Google четко ассоциирует аббревиатуру "РЖД" с их основной сущностью.

1. Анализ источников: Google извлекает факты о компании из Википедии, официального сайта rzd.ru и новостных порталов. Это Source Documents.
2. Цель SEO: Увеличить количество и качество ссылок на эти Source Documents, использующих анкор "РЖД".
3. Действия:
   • При публикации пресс-релизов или новостей на внешних площадках убедиться, что ссылки на официальный сайт или профиль компании используют как полное название, так и аббревиатуру "РЖД" в качестве анкора.
   • Стимулировать партнеров и СМИ ссылаться на авторитетные источники (например, статью в Википедии о компании) с использованием анкора "РЖД".
4. Результат: Система Google видит, что множество качественных сайтов ссылаются на источники о "Российских Железных Дорогах", используя анкор "РЖД". Частота этого кандидата превышает порог, и система добавляет "РЖД" как подтвержденный синоним в Knowledge Graph.