Как поисковые системы могут использовать пользовательские закладки браузера для ранжирования сайтов и определения ключевых слов

Описание

Какую задачу решает

Патент решает проблему определения субъективной важности веб-страниц для пользователей. Он критикует методы ранжирования, основанные только на анализе контента/ссылок или на поведенческих факторах типа кликов и времени просмотра. Утверждается, что такие просмотры могут быть случайными и не отражать реальной ценности контента. Изобретение предлагает использовать более сильный и явный сигнал пользовательского интереса — сознательное добавление страницы в закладки (bookmark data) — для определения ее важности.

Что запатентовано

Запатентована система сбора, агрегации и использования данных о закладках пользователей для улучшения поисковой выдачи. Система отслеживает добавление, удаление и классификацию URL в закладках у группы пользователей. Эти данные используются двояко: для расчета Importance Weight (Веса Важности) URL, который влияет на ранжирование, и для извлечения пользовательских классификаций (например, названий папок закладок), которые добавляются как ключевые слова (Keywords) к соответствующим URL в поисковом индексе.

Как это работает

Система функционирует через взаимодействие трех компонентов:

• Клиентский монитор (Bookmark Monitor): Программное обеспечение (например, плагин), установленное с согласия пользователя (часто в обмен на стимулы). Оно отслеживает изменения в локальном файле закладок и отправляет их на сервер. Альтернативой является Bookmark Toolbar, где закладки хранятся централизованно.
• Сервер сбора данных (Bookmark Gatherer Server): Агрегирует данные о закладках от множества пользователей, анонимизирует их и формирует списки: добавленные URL, удаленные URL и пары URL/классификация.
• Поисковый сервер (Search Engine Server): Получает эти списки и обновляет свой индекс (URL Index). Он увеличивает Importance Weight для добавленных URL, уменьшает для удаленных и добавляет термины классификации в поле Keywords. При выполнении поиска результаты сортируются по Importance Weight.

Актуальность для SEO

Средняя. Патент подан в 2000 году компанией IBM. Описанный метод сбора данных (установка специального ПО для мониторинга локальных файлов) устарел. Однако сама концепция использования данных браузера (включая закладки) для оценки качества и важности контента остается крайне актуальной. Современные поисковые системы, обладающие собственными браузерами (например, Google Chrome с функцией Sync), имеют техническую возможность реализовать подобные механизмы без установки стороннего ПО. Идея использования пользовательских тегов/категорий для расширения семантики также релевантна.

Важность для SEO

Патент имеет высокое концептуальное значение для SEO (7/10). Хотя он не описывает текущие системы Google, он иллюстрирует, как явные данные о сохранении контента пользователями могут напрямую влиять на ранжирование и индексацию. Это подчеркивает стратегическую важность создания контента исключительной полезности, который пользователи захотят сохранить (сделать закладку). Также это вводит концепцию индексации на основе пользовательского восприятия (через классификации), а не только на основе контента страницы.

Детальный разбор

Термины и определения

Bookmark Data (Данные закладок)

Сохраненные пользователем сетевые адреса (URL). Включает сам URL, а также любые пользовательские классификации (категории, папки).

Bookmark File (Файл закладок)

Локальный файл, поддерживаемый веб-браузером, хранящий Bookmark Data пользователя.

Bookmark Gatherer Server (Сервер сбора закладок)

Сервер, который агрегирует Bookmark Data от множества пользователей, обрабатывает и передает их поисковой системе.

Bookmark Monitor (Монитор закладок)

Клиентское приложение (например, плагин для браузера), которое отслеживает изменения в Bookmark File и передает их на Bookmark Gatherer Server.

Bookmark Toolbar (Панель закладок)

Альтернативный механизм, описанный в патенте, где закладки хранятся централизованно на сервере, а не локально.

Classification / Classification Terms (Классификация / Термины классификации)

Пользовательские категории, папки или теги, используемые для организации закладок (например, «Рецепты», «SEO блоги»). Эти термины могут быть добавлены в Keyword Field.

Importance Weight / Importance Rating (Вес Важности / Рейтинг Важности)

Ключевая метрика патента. Числовое значение в URL Index, отражающее совокупную важность URL для пользователей. Рассчитывается на основе агрегированного количества добавлений и удалений URL из закладок.

Keywords / Keyword Field (Ключевые слова / Поле ключевых слов)

Термины, связанные с URL в поисковом индексе. В контексте патента могут включать как термины со страницы, так и пользовательские Classifications.

URL Index (Индекс URL)

База данных поисковой системы, содержащая URL, связанные с ними Keywords и Importance Weight.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает метод сбора информации о предпочтениях с акцентом на клиентскую сторону и использование данных.

1. Поддержание поискового индекса, включающего сетевые адреса, ключевые слова и рейтинг важности (importance rating).
2. Получение модификаций данных закладок (bookmark data), включая ассоциацию сетевого адреса с классификацией (classification).
3. Передача этих модификаций на сервер через сеть.
4. Переданные данные используются для обновления importance rating в индексе, который используется для упорядочивания результатов поиска.
5. Ключевой элемент: Добавление классификации, связанной с сетевым адресом, в поле ключевых слов (keyword field) для этого адреса.

Ядро изобретения здесь — это не только использование закладок для ранжирования, но и конкретный механизм использования пользовательских категорий (classifications) в качестве индексируемых ключевых слов.

Claim 7 (Независимый пункт): Описывает метод сбора данных с акцентом на серверную сторону и инфраструктуру сбора (бизнес-модель).

1. Поддержание поискового индекса.
2. Регистрация пользователей интернета для участия в сервисе.
3. Передача прикладной программы (Bookmark Monitor) зарегистрированным пользователям.
4. Получение данных закладок от этой программы.
5. Уточняется, что данные используются для обновления importance rating и добавления classification в keyword field.

Этот пункт защищает способ распространения ПО для сбора данных о закладках и последующего использования этих данных в поиске.

Claim 10 (Независимый пункт): Описывает метод генерации поискового индекса с использованием агрегированных данных.

1. Поддержание поискового индекса.
2. Получение данных закладок, собранных от множества пользователей.
3. Определение importance rating для сетевых адресов на основе этих данных и включение его в индекс.
4. Выполнение поиска и упорядочивание результатов на основе importance rating.

Это базовый механизм использования совокупных данных о закладках для влияния на порядок сортировки результатов поиска.

Claims 12, 13, 14 (Зависимые от 10): Детализируют расчет метрик.

• Claim 12: Importance rating увеличивается, если сетевой адрес был добавлен в закладки.
• Claim 13: Importance rating уменьшается, если сетевой адрес был удален из закладок.
• Claim 14: Термины классификации, связанные с адресом в данных закладок, добавляются в keyword field для этого адреса в индексе.

Где и как применяется

Изобретение затрагивает несколько этапов работы поисковой системы, преимущественно сбор данных, индексирование и ранжирование.

CRAWLING (Data Acquisition) – Сбор данных
Механизм вводит новый источник данных, отличный от стандартного краулинга веб-страниц. Он описывает инфраструктуру для сбора Bookmark Data напрямую с клиентских устройств (через Bookmark Monitor или Bookmark Toolbar) с согласия пользователя.

INDEXING – Индексирование и извлечение признаков
На этом этапе происходит обработка собранных данных:

1. Агрегация: Bookmark Gatherer Server анонимно агрегирует данные о добавлениях, удалениях и классификациях.
2. Извлечение признаков (Feature Extraction): Система извлекает два типа сигналов:
   1. Сигналы важности: Агрегированные счетчики добавлений и удалений для расчета Importance Weight.
   2. Семантические сигналы: Пользовательские классификации (названия папок), которые добавляются в Keyword Field. Это обогащает семантику на основе пользовательского восприятия.
3. Обновление Индекса: Search Engine Server обновляет URL Index, пересчитывая метрики и добавляя ключевые слова.

RANKING – Ранжирование
На этапе ранжирования система использует предварительно рассчитанный Importance Weight.

• После выполнения запроса и отбора кандидатов, система определяет Importance Weight для каждого результата.
• Результаты упорядочиваются (сортируются) в соответствии с этим весом. Патент предполагает использование этого веса как основного фактора сортировки.

Входные данные:

• Данные от Bookmark Monitor: Добавленные URL, Удаленные URL, Пары URL/Классификация.
• Существующий URL Index.

Выходные данные:

• Обновленный URL Index с новыми значениями Importance Weight и дополненными Keywords.
• Отсортированный набор результатов поиска (SERP).

На что влияет

• Конкретные типы контента: Наибольшее влияние оказывается на контент, который пользователи склонны сохранять для повторного использования: справочники, инструменты, подробные руководства, уникальные исследования, избранные товары или часто посещаемые ресурсы.
• Специфические запросы: Влияет на информационные и транзакционные запросы, где пользовательская оценка важности (полезности) может сильно отличаться от стандартных метрик релевантности или авторитетности.

Когда применяется

• Триггеры активации: Сбор данных происходит постоянно у пользователей, которые согласились на участие в программе и установили Bookmark Monitor. Активируется при любом изменении файла закладок.
• Временные рамки: Обновление индекса (пересчет Importance Weight и добавление Keywords) происходит периодически по мере обработки агрегированных данных. Ранжирование применяется при каждом поисковом запросе.
• Исключения: В патенте упоминается возможность для пользователя пометить определенные закладки как приватные (private), которые не будут переданы на сервер.

Пошаговый алгоритм

Процесс А: Сбор данных (Клиентская сторона)

1. Инициализация: Пользователь регистрируется в сервисе и устанавливает Bookmark Monitor.
2. Первичная передача: Монитор передает текущий файл закладок на Bookmark Gatherer Server.
3. Мониторинг изменений: Монитор отслеживает операции записи в файл закладок (добавление, удаление, изменение категории).
4. Фильтрация: (Опционально) Система проверяет, не помечена ли закладка как приватная.
5. Передача изменений: Содержание операции записи передается на Bookmark Gatherer Server.

Процесс Б: Агрегация данных (Bookmark Gatherer Server)

1. Получение данных: Сервер получает файлы закладок или модификации от клиентских мониторов.
2. Анонимизация и агрегация: Данные от разных пользователей объединяются анонимно.
3. Формирование списков: Создаются три списка:
   1. Список всех добавленных URL (включая первичную передачу и новые добавления).
   2. Список всех удаленных URL.
   3. Список пар URL и связанных с ними классификаций.
4. Передача в поиск: Списки отправляются на Search Engine Server.

Процесс В: Обновление индекса (Search Engine Server)

1. Получение списков: Поисковый сервер получает списки от сервера сбора данных.
2. Обновление важности (Добавления): Для каждого URL в списке добавленных, Importance Weight для этого URL в индексе увеличивается (инкрементируется, например, на единицу).
3. Обновление важности (Удаления): Для каждого URL в списке удаленных, Importance Weight для этого URL уменьшается (декрементируется).
4. Обновление ключевых слов: Для каждой пары URL/классификация, термины классификации добавляются в поле Keywords для соответствующего URL в индексе.

Процесс Г: Ранжирование (Search Engine Server)

1. Получение запроса: Система получает поисковый запрос.
2. Выполнение поиска: Поиск выполняется по URL Index с использованием ключевых слов запроса.
3. Определение важности: Для каждого найденного URL извлекается его Importance Weight.
4. Сортировка: Результаты поиска упорядочиваются в соответствии с Importance Weight.
5. Выдача результатов: Отсортированный список возвращается пользователю.

Какие данные и как использует

Данные на входе

Патент фокусируется исключительно на данных, генерируемых пользователем через взаимодействие с системой закладок.

• Поведенческие факторы (Явные):
  • Добавление URL в закладки (Additions).
  • Удаление URL из закладок (Deletions).
• Пользовательские данные (User-Generated Metadata):
  • Классификация URL пользователем (Classification) — например, названия папок или теги, которые пользователь назначает закладке.

Другие стандартные факторы (ссылочные, технические, контентные на странице) в этом патенте не рассматриваются, хотя они используются поисковой системой для базовой индексации.

Какие метрики используются и как они считаются

• Importance Weight (Вес Важности): Основная метрика патента.
  • Метод расчета: Агрегированный подсчет. Каждое добавление URL в закладки увеличивает его вес (инкремент). Каждое удаление уменьшает его вес (декремент). Вес представляет собой совокупное количество активных закладок (или чистую активность: добавления минус удаления) для данного URL среди участвующей популяции пользователей.
• Keywords (Ключевые слова): Расширение существующих ключевых слов.
  • Метод расчета: Извлечение текстовых строк из пользовательских классификаций (названий папок). Эти строки добавляются в индекс как ключевые слова, связанные с URL.

Выводы

1. Закладки как прямой сигнал важности и полезности: Патент предлагает использовать добавление в закладки как явный и сильный сигнал пользовательского намерения сохранить контент для повторного использования. Это позиционируется как более надежный сигнал, чем косвенные (клики или время просмотра), которые могут быть случайными.
2. Динамическая оценка важности (Учет удалений): Importance Weight является динамическим. Он не только растет при добавлении закладок, но и уменьшается при их удалении. Это позволяет системе отслеживать потерю актуальности или полезности контента со временем.
3. Пользовательская классификация как источник семантики (User-Perceived Relevance): Ключевым инсайтом является использование названий папок закладок в качестве ключевых слов для индексации. Это позволяет поисковой системе понять, как пользователи категоризируют контент своими словами, и использовать этот язык для улучшения поиска, даже если этих слов нет на самой странице.
4. Зависимость от инфраструктуры сбора данных: Реализация системы зависит от сбора данных напрямую от пользователей (через браузеры или плагины), что требует согласия пользователя (opt-in) и механизмов обеспечения приватности.
5. Анонимность и агрегация: Система полагается на агрегацию данных от множества пользователей для определения глобальной важности и подчеркивает необходимость анонимизации данных.

Практика

Best practices (это мы делаем)

Хотя патент принадлежит IBM и описывает устаревшую реализацию, его концепции актуальны, если предположить, что современные поисковые системы (например, Google через Chrome) могут использовать аналогичные сигналы.

• Создание контента, достойного сохранения (Bookmark-worthy content): Фокусируйтесь на создании исключительно полезного, «вечнозеленого» контента, инструментов, утилит, справочников или подробных руководств, к которым пользователи захотят возвращаться. Высокий Importance Weight достигается за счет массового добавления в закладки.
• Поощрение добавления в закладки: Можно использовать ненавязчивые призывы к действию (CTA), предлагающие пользователям сохранить страницу в закладки для дальнейшего использования, если это уместно в контексте контента (например, в конце длинного руководства или на странице инструмента).
• Анализ пользовательской категоризации (User-Generated Classification): Изучайте, как пользователи описывают и категоризируют ваш контент на внешних платформах (социальные сети, отзывы). Это дает представление о том, в какие «ментальные папки» пользователи помещают ваш контент. Эти термины следует интегрировать в SEO-стратегию, так как они могут стать индексируемыми Keywords согласно логике патента.
• Поддержание актуальности и долгосрочной ценности: Поскольку удаление из закладок снижает Importance Weight, необходимо регулярно обновлять контент, чтобы он не терял актуальности и пользователи не удаляли его из своих закладок.

Worst practices (это делать не надо)

• Искусственное стимулирование закладок: Использование обманных техник или спама для принуждения пользователей к добавлению страницы в закладки. Это приведет к быстрому удалению закладок, что снизит Importance Weight, а также может быть распознано как манипуляция.
• Фокус на краткосрочном трафике (Кликбейт): Создание контента, который генерирует много кликов, но не представляет долгосрочной ценности. Такой контент редко добавляют в закладки, и он не получит преимуществ от этого механизма.
• Игнорирование пользовательского языка: Оптимизация только под формальные ключевые слова без учета того, как реальные пользователи классифицируют информацию. Это может привести к упущенным возможностям ранжирования по терминам из пользовательских Classifications.

Стратегическое значение

Патент подчеркивает стратегическую важность явных сигналов пользовательского удовлетворения (User Satisfaction Signals). Он демонстрирует один из самых чистых сигналов ценности — желание пользователя сохранить доступ к ресурсу. Для SEO это означает необходимость смещения фокуса с оптимизации для разового «потребления» контента на оптимизацию для его «сохранения» и «повторного использования». Это подтверждает важность построения долгосрочных отношений с аудиторией и создания исключительного пользовательского опыта.

Практические примеры

Сценарий 1: Использование пользовательских классификаций как ключевых слов

1. Контент: Сайт предлагает сложный онлайн-калькулятор ипотеки.
2. Действия пользователя: 1000 пользователей добавили его в закладки. 800 из них поместили его в папку с названием «Финансовый помощник» или «Покупка дома».
3. Действия системы (по патенту): Система извлекает эти классификации. Термины «Финансовый помощник» и «Покупка дома» добавляются в поле Keywords для URL калькулятора.
4. Результат: Калькулятор начинает ранжироваться по запросам «финансовый помощник для покупки дома», даже если этих точных фраз нет на самой странице калькулятора.

Сценарий 2: Влияние Importance Weight на ранжирование и актуальность

1. Ситуация: Есть две страницы (А и Б) по теме «лучшие практики Python». Страница А — подробный и актуальный справочник. Страница Б — устаревшая статья.
2. Данные о закладках: Страница А активно добавляется в закладки (Net +4900). Страница Б ранее была популярна, но сейчас пользователи удаляют ее из закладок (Net -200).
3. Действия системы (по патенту): Система рассчитывает Importance Weight. Страница А получает значительно более высокий вес, а вес Страницы Б снижается.
4. Результат: При прочих равных условиях, Страница А будет ранжироваться значительно выше Страницы Б, так как система считает ее более важной и актуальной для пользователей.

Вопросы и ответы