Как Google объединяет данные из RSS-фидов, веб-страниц и профилей авторов для индексации и ранжирования блогов

Термины и определения

Blog (Блог)

Публикация личных мыслей, часто обновляемая новыми записями (постами).

Post (Пост)

Отдельная запись (journal entry) в блоге.

Feed (Фид)

Структурированное представление информации о блоге и его обновлениях. Упоминаются форматы RSS (Rich Site Summary) и Atom.

Hybrid Document (Гибридный документ)

Внутреннее представление блога или поста, созданное путем объединения информации, извлеченной из фида, веб-документов блога/поста и связанных документов. Этот документ не доступен пользователю напрямую, а используется поисковой системой для индексации и определения релевантности.

Blogroll (Блогролл)

Список ссылок на другие блоги, часто размещаемый на странице блога (например, в сайдбаре).

Author Profile (Профиль автора)

Информация об авторе блога, которая может включать географическое положение, возраст, пол и т.д. Может быть размещена непосредственно в блоге или на отдельной связанной странице.

IR Score (Information Retrieval Score)

Оценка релевантности документа (в данном случае, гибридного документа) поисковому запросу.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает основной метод создания и использования гибридного документа для отдельного поста.

1. Получение первой информации из поста блога (который содержит несколько постов).
2. Извлечение второй информации, связанной с блогом, из источника, отличного от постов этого блога.
3. Создание Hybrid Document путем объединения первой и второй информации.
4. Использование Hybrid Document для определения релевантности поста поисковому запросу.

Ядро изобретения заключается в том, что для ранжирования поста используется не только его собственное содержимое (Первая информация), но и контекст, извлеченный из других источников (Вторая информация).

Claim 2, 3, 4 (Зависимые): Уточняют источники и типы Второй информации.

• Источником может быть RSS или Atom фид.
• Вторая информация может включать заголовок блога, автора блога, профиль автора (извлеченные из фида или из самого блога), или блогролл (извлеченный из блога).

Claim 5, 6 (Зависимые): Уточняют еще один источник Второй информации.

• Источником может быть документ, на который ссылается блог (например, страница профиля автора).

Claim 11 (Независимый пункт): Описывает процесс поиска с использованием индекса, созданного из гибридных документов.

1. Получение поискового запроса.
2. Определение релевантности блога или поста запросу с использованием поискового индекса.
3. Индекс формируется путем объединения информации, извлеченной из поста, и информации, извлеченной из источника, который связан с блогом, но не связан (т.е. не является частью) ни с одним из постов блога.
4. Предоставление информации о блоге или посте, если он признан релевантным.

Claim 24 (Независимый пункт): Описывает метод индексации последующих постов на основе данных, полученных с главной страницы.

1. Парсинг главной страницы блога для получения Первой информации (из поста) и Второй информации (из источника, отличного от постов).
2. Индексирование впоследствии полученного поста блога на основе его содержимого, а также ранее полученной Первой и Второй информации.
3. Определение релевантности поста запросу на основе этого индексирования.

Этот пункт описывает, как контекстная информация, собранная ранее (например, при сканировании главной страницы), может быть применена к новым постам при их индексации.

Claim 25 (Независимый пункт): Описывает комплексный процесс индексации и поиска.

1. Получение фидов блогов.
2. Извлечение Первой информации (из фидов).
3. Извлечение Второй информации (из блогов и постов).
4. Извлечение Третьей информации (из документов, на которые ссылаются блоги, причем эта информация не специфична для конкретного поста).
5. Создание поискового индекса путем объединения Первой, Второй и Третьей информации.
6. Получение запроса и определение релевантности на основе этого индекса.

Где и как применяется

Изобретение применяется на ранних этапах поискового конвейера, формируя основу для последующего ранжирования.

CRAWLING – Сканирование и Сбор данных
Система активно получает данные из разных источников: принимает или загружает фиды (RSS/Atom), сканирует веб-документы блога и поста, а также переходит по ссылкам на связанные документы (например, профиль автора).

INDEXING – Индексирование и извлечение признаков
Основное применение патента. На этом этапе происходит:

• Извлечение признаков (Feature Extraction) из всех полученных источников (фиды, документы).
• Верификация данных: сравнение информации из фида и веб-документа для обнаружения спама.
• Создание Hybrid Document путем синтеза извлеченной информации.
• Индексирование Hybrid Document и сохранение его (или индекса на его основе) в базе данных.

RANKING – Ранжирование
Алгоритмы ранжирования используют индекс, созданный на основе Hybrid Documents. Оценка релевантности (IR Score) рассчитывается с учетом обогащенной информации, содержащейся в гибридном документе.

Входные данные:

• Фиды блога (RSS, Atom).
• Веб-документы блога (например, главная страница).
• Веб-документы отдельных постов.
• Связанные документы (например, страница полного профиля автора).

Выходные данные:

• Hybrid Documents, представляющие собой обогащенное внутреннее представление блогов и постов.
• Поисковый индекс, построенный на основе Hybrid Documents.
• Сигналы о спаме (в случае расхождения данных в фиде и документе).

На что влияет

• Конкретные типы контента: Патент напрямую сфокусирован на блогах и отдельных постах блогов.
• Специфические запросы: Механизм повышает точность для запросов, где важен контекст, извлекаемый извне поста. Например, запросы с локальным интентом (если из профиля автора извлечено местоположение) или запросы, требующие оценки экспертизы автора.

Когда применяется

Алгоритм применяется в процессе индексирования (или переиндексирования) контента, идентифицированного как блог или пост блога. Сравнение данных и создание Hybrid Document происходит каждый раз, когда система обрабатывает фид блога или сканирует его веб-страницы.

Пошаговый алгоритм

Процесс создания Гибридного Документа

1. Получение фида: Система получает фид (RSS, Atom), ассоциированный с блогом. Фид содержит информацию об обновлениях, включая новые посты.
2. Получение документов: Система загружает документы, относящиеся к посту, включая документ самого поста и документ блога (например, главную страницу).
3. Извлечение информации из фида: Из фида извлекаются данные: временные метки (создание/обновление поста), контент поста, заголовок поста, автор поста, автор блога, заголовок блога, профиль автора (если доступен в фиде).
4. Извлечение информации из документов блога и поста: Из документов блога и поста извлекаются данные: профиль автора, контент поста, блогролл.
5. Верификация контента (Опционально): Информация, извлеченная из фида, сравнивается с информацией из документов. Например, сравнивается контент поста. Если контент не совпадает, это может быть индикатором попытки спама (например, для повышения рейтинга). В этом случае Hybrid Document может не создаваться или ему присваивается очень низкий рейтинг.
6. Извлечение информации из связанных документов: Если документ блога содержит ссылки на другие релевантные документы (например, страницу полного профиля автора), система загружает их и извлекает дополнительную информацию (например, географическое положение, возраст, пол автора).
7. Создание гибридного документа: Вся извлеченная информация из фида, документов блога/поста и связанных документов комбинируется для создания Hybrid Document.
8. Индексирование: Hybrid Document (или информация из него) сохраняется в поисковом индексе.

Какие данные и как использует

Данные на входе

Система использует широкий спектр данных, извлеченных из разных источников:

• Контентные факторы: Контент поста, заголовок поста, заголовок блога (извлекаются из фидов и/или документов).
• Технические факторы: Данные фида (структура RSS/Atom). URL документов блога, поста и связанных страниц.
• Ссылочные факторы: Блогролл (Blogroll) – исходящие ссылки на другие блоги, извлеченные со страницы блога. Ссылки на полные профили авторов.
• Временные факторы: Временные метки (Timestamps) создания, модификации и публикации поста (извлекаются преимущественно из фида).
• Структурные факторы: Расположение информации на странице (например, идентификация блогролла или краткого профиля автора на странице блога).
• Географические факторы: Географическое положение автора (извлекается из профиля автора, который может находиться в блоге или на отдельной связанной странице).
• Пользовательские факторы (Авторы): Имя автора поста, имя автора блога, профиль автора (возраст, пол, описание).

Какие метрики используются и как они считаются

Патент не предоставляет конкретных формул или метрик ранжирования, но описывает следующие механизмы оценки:

• Оценка релевантности (IR Score): Релевантность поисковому запросу определяется путем сопоставления терминов запроса с индексом, построенным на основе Hybrid Documents. Упоминаются стандартные методы расчета IR Score (количество вхождений терминов, местоположение терминов, вес терминов, близость терминов).
• Оценка легитимности (Spam Detection): Метрика основана на сравнении данных из разных источников. Если контент поста, извлеченный из фида, не совпадает с контентом поста, извлеченным из веб-документа, система может посчитать это попыткой спама.

1. Обогащение индекса за счет множества источников: Ключевая идея патента — Google не индексирует блог-посты изолированно. Система активно собирает данные из RSS/Atom фидов, страниц постов, главной страницы блога и даже внешних связанных страниц (профилей авторов) для создания внутреннего представления (Hybrid Document).
2. Контекст влияет на ранжирование поста: Информация, расположенная за пределами основного контента поста, индексируется и ассоциируется с этим постом. Это означает, что элементы сайдбара (блогролл) или информация об авторе могут влиять на релевантность отдельного поста.
3. Важность информации об авторе (Прото-E-E-A-T): Патент явно указывает на извлечение профиля автора, включая его географическое положение, даже если эта информация находится на отдельной странице. Это раннее подтверждение важности авторства и контекста автора для ранжирования.
4. Использование фидов для верификации контента: Система использует RSS/Atom фиды не только как источник данных, но и как средство верификации. Сравнение контента в фиде и на веб-странице используется для обнаружения спама или клоакинга.
5. Гибридный документ как единица ранжирования: Ранжирование происходит на основе обогащенного Hybrid Document, а не просто сырого HTML страницы. Это позволяет учитывать все собранные контекстные сигналы при расчете IR Score.

Best practices (это мы делаем)

• Обеспечение полных и доступных профилей авторов: Поскольку информация об авторе (включая местоположение, возраст, пол) извлекается и используется в Hybrid Document, необходимо предоставлять полные и точные данные об авторах. Убедитесь, что профили легко обнаруживаются и доступны для сканирования, даже если они находятся на отдельных страницах "Об авторе" или "Команда".
• Поддержание консистентности данных (Feed vs HTML): Убедитесь, что контент и основные метаданные (заголовки, авторы) в ваших RSS/Atom фидах полностью соответствуют контенту на результирующих веб-страницах. Расхождения могут быть интерпретированы как попытка манипуляции.
• Использование контекстных элементов на уровне блога: Помните, что элементы, присутствующие на уровне всего блога (например, в сайдбаре или футере), могут быть извлечены и использованы как контекст для отдельных постов.
• Оптимизация под локальный поиск через профили: Если контент имеет локальную привязку, убедитесь, что географическое положение авторов или организации четко указано в профилях. Это может помочь в ранжировании по локальным запросам, даже если сам пост не оптимизирован под конкретный город.

Worst practices (это делать не надо)

• Feed Spam или Cloaking: Предоставление разного контента в RSS-фиде и на веб-странице (например, включение большего количества ключевых слов в фид). Патент описывает механизм обнаружения таких расхождений.
• Скрытие информации об авторе: Удаление или обфускация профилей авторов лишает поисковую систему важного контекста, который может быть использован для формирования Hybrid Document и определения релевантности (и оценки E-E-A-T).
• Игнорирование технических ошибок в RSS/Atom фидах: Некорректные или устаревшие фиды могут привести к ошибкам при извлечении данных и негативно повлиять на формирование Hybrid Document.

Стратегическое значение

Этот патент демонстрирует ранние усилия Google по выходу за рамки простого анализа контента страницы и переходу к контекстному индексированию. Он подтверждает стратегическую важность сущностей (в данном случае, авторов) и их атрибутов (профили, местоположение) для понимания контента. Для SEO-стратегии это подчеркивает необходимость обеспечения чистого, консистентного и семантически богатого представления данных для поисковых систем, охватывающего как сам контент, так и его контекст.

Практические примеры

Сценарий: Улучшение локального ранжирования блога о путешествиях

1. Ситуация: Блогер из Сиэтла пишет пост "Лучшие кофейни для работы". Пост содержит обзоры кофеен.
2. Применение патента:
   • Google сканирует пост (Вторая информация).
   • Google сканирует главную страницу блога и находит ссылку "Обо мне".
   • Google переходит по ссылке на отдельную страницу профиля автора, где указано: "Живу в Сиэтле" (Третья информация).
   • Google анализирует RSS-фид (Первая информация) и проверяет соответствие контента.
3. Формирование Hybrid Document: Google создает Hybrid Document, который включает контент обзора кофеен И атрибут автора "Местоположение: Сиэтл".
4. Результат: Благодаря обогащенному Hybrid Document, пост имеет высокие шансы ранжироваться по запросу "Лучшие кофейни для работы Сиэтл", даже если слово "Сиэтл" не часто упоминается в самом посте.