Как Google использует префиксный индекс для формирования подсказок URL и запросов в Autocomplete

Термины и определения

Character-combination (Комбинация символов)

Последовательность из одного или более символов. Является подмножеством Item of content (префиксом). Используется как ключ в индексе подсказок и как вариант завершения запроса.

Enumeration Module (Модуль перечисления)

Компонент системы, отвечающий за разделение Item of content на последовательность префиксов. Например, слово "fish" делится на "f", "fi", "fis", "fish".

Item of content (Элемент контента)

Текст, репрезентативный для сетевого расположения. Источниками могут быть анкорные тексты ссылок, заголовок страницы, URL, доменное имя или поисковые запросы, по которым сайт находится в выдаче.

Network Location (Сетевое расположение)

Ресурс в сети, например, веб-страница или веб-сайт.

Prefix & Network Location Index (Индекс префиксов и сетевых расположений)

Репозиторий (база данных), хранящий пары: Префикс и список URL, наиболее релевантных этому префиксу.

Query Prefix (Префикс запроса)

Символы, введенные пользователем в реальном времени.

Relevance Determination Module (Модуль определения релевантности)

Компонент, вычисляющий оценку (score), представляющую уровень релевантности (level of relevance) между префиксом и сетевым расположением.

Selection Module (Модуль выбора)

Компонент, который выбирает набор популярных сетевых расположений для включения в систему подсказок. Выбор основан на таких факторах, как ранг (например, PageRank, упомянутый в описании), количество ссылок, частота доступа.

Suggestion Module (Модуль предложений)

Компонент, который сравнивает введенный Query Prefix с индексом и извлекает подсказки.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный цикл работы системы, включающий создание репозитория и его использование для генерации подсказок.

Часть А: Создание репозитория (Офлайн)

1. Идентификация множества сетевых расположений (сайтов).
2. Идентификация элементов контента (items of content), связанных с каждым сайтом.
3. Разделение контента на комбинации символов (префиксы).
4. Определение оценки (score) релевантности каждого префикса для связанного с ним сайта.
5. Определение наиболее релевантных сайтов для каждого префикса на основе оценок.
6. Сохранение пар: (Префикс + Список релевантных URL).

Часть Б: Использование репозитория (Онлайн)

1. Получение префикса запроса (query prefix) на входе.
2. Идентификация в репозитории комбинаций символов, совпадающих с префиксом.
3. Идентификация в репозитории URL, символы которых совпадают с префиксом.
4. Предложение (suggesting) идентифицированных комбинаций символов И идентифицированных URL.

Ядро изобретения — это предварительное вычисление и хранение связей между префиксами и релевантными URL для обеспечения быстрых интерактивных подсказок. Система предлагает как завершение текста запроса, так и прямые ссылки, используя единый индекс.

Claim 4 (Зависимый от 1): Уточняет, что именно может быть "элементом контента" (items of content). Это критически важный пункт для SEO.

Идентификация элементов контента включает идентификацию как минимум одного из:

• (i) Анкорный текст (anchor text), связанный со ссылками, указывающими на сетевое расположение.
• (ii) Доменное имя (domain name).
• (iii) Поисковый запрос (search query), в ответ на который поисковая система предоставила этот ресурс.
• (iv) Текст URL (text of a uniform resource locator).

Этот пункт прямо указывает, что внешние сигналы (анкоры) и поведение пользователей (поисковые запросы, ведущие на сайт) используются для определения того, с какими префиксами должен ассоциироваться сайт в системе подсказок.

Где и как применяется

Изобретение затрагивает этапы индексирования для подготовки данных и этап понимания запросов для генерации подсказок в реальном времени.

INDEXING – Индексирование и извлечение признаков (Офлайн-обработка)
На этом этапе происходят процессы подготовки данных для системы подсказок:

• Selection Module использует данные о популярности сайтов (ранг, ссылки, трафик), собранные из основного индекса, для выбора кандидатов.
• Система собирает и анализирует Items of content (анкоры из ссылочного графа, заголовки и URL из индекса, данные из логов запросов).
• Enumeration Module генерирует префиксы.
• Relevance Determination Module рассчитывает оценки.
• Результатом является создание Prefix & Network Location Index.

QUNDERSTANDING – Понимание Запросов (Онлайн / Время запроса)
Это основной этап применения патента в реальном времени (компонент Autocomplete).

• Система фиксирует ввод пользователя (Query Prefix).
• Suggestion Module выполняет быстрый поиск в Prefix & Network Location Index.
• Система мгновенно возвращает подсказки (URL и завершения запросов) в пользовательский интерфейс до начала основного процесса ранжирования.

Входные данные:

• Метрики популярности (ранг, ссылки, частота доступа).
• Anchor texts (Анкорные тексты).
• Network location titles (Заголовки страниц).
• Доменные имена и URL.
• Логи поисковых запросов.

Выходные данные:

• Список предложенных URL и character-combinations, релевантных введенному префиксу.

На что влияет

• Специфические запросы: Наибольшее влияние оказывается на навигационные и брендовые запросы, где намерение пользователя состоит в поиске конкретного, известного сайта.
• Типы контента: Влияет на сайты, которые могут быть идентифицированы как популярные и имеют сильные ассоциации с определенными терминами.
• Поведение пользователей: Может направлять трафик прямо на URL, позволяя пользователю миновать SERP.

Когда применяется

• Триггеры активации: Активируется мгновенно, как только пользователь вводит первый символ в строку поиска или адресную строку браузера.
• Условия работы: Работает интерактивно (interactively), обновляя предложения при каждом изменении ввода, при условии, что ввод соответствует префиксу в индексе. Обнаружение ввода не требует его отправки (например, нажатия Enter).
• Исключения: В описании упоминается, что если скорость ввода слишком высока, система может приостановить выдачу подсказок до паузы.

Пошаговый алгоритм

Процесс А: Офлайн-создание Индекса Подсказок (Repository Creation)

1. Выбор сайтов (Selection): Идентификация множества сетевых расположений для включения в систему. Используются критерии популярности (ранг, ссылки, частота доступа, выбор пользователем).
2. Сбор контента (Extraction): Для каждого выбранного сайта идентификация репрезентативных элементов контента (Items of content). Источники: анкорные тексты, доменное имя, URL, заголовки страниц, поисковые запросы, ведущие на сайт.
3. Генерация префиксов (Enumeration): Разделение каждого элемента контента на последовательность всех возможных префиксов (character-combinations).
4. Оценка релевантности (Relevance Scoring): Определение оценки (score), представляющей уровень релевантности каждого префикса для соответствующего сетевого расположения. Учитывается частота, уникальность, позиция (например, префикс в доменном имени имеет больший вес).
5. Фильтрация и Индексация: Для каждого префикса определение списка наиболее релевантных сетевых расположений на основе оценок. Сохранение пар (Префикс -> Список релевантных URL) в Prefix & Network Location Index.

Процесс Б: Онлайн-генерация подсказок (Interactive Suggestion)

1. Обнаружение ввода: Детектирование ввода пользователем префикса запроса (Query Prefix) в реальном времени.
2. Сравнение с Индексом: Сравнение ввода с комбинациями символов, хранящимися в индексе.
3. Поиск совпадений: Определение, совпадает ли ввод с одним или несколькими сохраненными префиксами.
4. Извлечение данных: Если совпадение найдено, извлечение соответствующих сохраненных URL и других подходящих комбинаций символов (завершений запроса) из индекса.
5. Предоставление подсказок: Отображение извлеченных данных пользователю в интерфейсе.
6. Обновление: При обнаружении дополнительного ввода процесс повторяется с шага 1.

Какие данные и как использует

Данные на входе

Патент явно разделяет данные, используемые для выбора сайтов для индексации, и данные, используемые для ассоциации этих сайтов с префиксами.

Факторы для выбора сайтов (Selection Module):

• Ссылочные факторы: Ранг сетевого расположения (rank of a network location, например, PageRank), количество ссылок (number of links).
• Поведенческие факторы: Частота доступа к расположению (number of times the network location is accessed), выбор расположения пользователем (selection of the network location by a user).
• Технические факторы: Длина URL (length of an identifier).

Факторы для ассоциации с префиксами (Items of Content):

• Ссылочные факторы: Анкорные тексты входящих ссылок (anchor texts residing at identifiers pointing to the network location). (Claim 4).
• Контентные факторы: Заголовок сетевого расположения (network location title).
• Технические факторы: Доменное имя (domain name) (Claim 4), текст URL (text of a uniform resource locator) (Claim 4).
• Поведенческие/Логи запросов: Поисковые запросы, которые приводят к показу сетевого расположения в результатах поиска (search query) (Claim 4).

Какие метрики используются и как они считаются

• Score representing a level of relevance (Оценка уровня релевантности): Метрика, определяющая силу связи между префиксом и сайтом. Патент не приводит формулу, но указывает факторы, влияющие на расчет:
  • Частота появления слова на сайте.
  • Количество других слов с тем же префиксом.
  • Уникальность слова для данного сайта.
  • Местоположение слова (например, префикс в доменном имени считается более релевантным).
• Весовые коэффициенты: Система может применять веса к оценкам релевантности. Например, в зависимости от длины префикса (более короткие могут получать меньший вес) или если префикс полностью совпадает со словом.

1. Autocomplete как источник прямого трафика: Патент описывает механизм, позволяющий Google предлагать прямые URL в подсказках, минуя SERP. Это подтверждает важность оптимизации под Autocomplete для получения навигационного трафика.
2. Популярность и Авторитетность как критерий включения: Чтобы сайт попал в индекс подсказок, он должен быть предварительно отобран Selection Module. Отбор основан на сигналах популярности и авторитетности (PageRank, ссылки, частота доступа пользователей).
3. Ключевые источники данных для ассоциаций: Критически важный вывод для SEO — это источники данных (Items of content), используемые для связи сайта с префиксами. Это не только контент сайта (Title, URL, домен), но и внешние сигналы:
   • Анкорные тексты входящих ссылок.
   • Реальные поисковые запросы пользователей, по которым сайт появляется в выдаче.
4. Важность брендинга и SERM: Сильная и позитивная ассоциация бренда с определенными терминами в анкорах и запросах пользователей напрямую влияет на то, как он будет представлен в подсказках.
5. Префиксная индексация: Система заранее анализирует все возможные префиксы ассоциированных терминов, что обеспечивает скорость работы. Релевантность рассчитывается для каждого префикса отдельно.

Best practices (это мы делаем)

• Укрепление ассоциации Бренд/Запрос: Необходимо добиваться сильной ассоциации между названием бренда и ключевыми запросами в поведении пользователей. Если пользователи часто ищут "[Бренд] + [Услуга]", эта фраза станет Item of content (источник: search query), что приведет к показу вашего URL в подсказках при вводе префиксов этой фразы.
• Оптимизация анкорного профиля: Поскольку Anchor texts являются прямым источником данных, критически важно иметь чистый, релевантный и брендированный анкорный профиль. Ссылки с анкорами, соответствующими названию сайта или его ключевым услугам, напрямую помогают системе связать эти префиксы с вашим URL.
• Оптимизация Заголовков (Titles) и URL: Четкие и релевантные заголовки страниц и URL важны, так как они также являются Items of content и влияют на формирование подсказок.
• Повышение общей популярности и авторитетности сайта: Так как система фокусируется на популярных сайтах (используя ранг, ссылки, трафик), необходимо вести постоянную работу над повышением общего авторитета домена и улучшением поведенческих метрик для включения в индекс подсказок.

Worst practices (это делать не надо)

• Спам в анкорных текстах: Использование переоптимизированных анкоров для влияния на ассоциации может привести к санкциям со стороны основных алгоритмов ранжирования, что перевесит любую выгоду от подсказок.
• Манипуляция поисковыми запросами: Попытки искусственно накрутить количество поисковых запросов с упоминанием бренда для влияния на подсказки рискованны и могут быть отфильтрованы.
• Использование неясных доменных имен: Доменное имя является сильным сигналом (Item of content). Сложные или не отражающие суть бренда домены могут реже появляться в подсказках по брендовым префиксам.

Стратегическое значение

Патент подтверждает стратегическую важность построения бренда и управления репутацией (SERM). Он демонстрирует, как сигналы авторитетности, контентные сигналы и сигналы поведения пользователей агрегируются для работы Autocomplete. Для узнаваемых брендов это ключевой канал навигационного трафика. SEO-стратегия должна включать мониторинг подсказок и активную работу над тем, чтобы URL сайта предлагался как можно раньше, что достигается через комплексное SEO.

Практические примеры

Сценарий: Усиление подсказки для интернет-магазина "ElectroZone"

1. Задача: Добиться того, чтобы при вводе "Elec" в строке поиска Google предлагал URL electrozone.com.
2. Действия на основе патента:
   • Популярность: Увеличить общее количество качественных ссылок и упоминаний сайта для повышения его ранга и частоты доступа, чтобы гарантировать включение в индекс (работа Selection Module).
   • Анкоры (Item of content): Провести кампанию по получению естественных ссылок с анкорами "ElectroZone", "Магазин ElectroZone".
   • Заголовки (Item of content): Убедиться, что Title главной страницы начинается с "ElectroZone".
   • Ассоциация с запросами (Item of content): Стимулировать пользователей искать сайт по названию (например, через офлайн-рекламу), увеличивая количество брендовых запросов, ведущих на сайт.
3. Ожидаемый результат: Система извлекает "ElectroZone" из всех этих источников. Enumeration Module разбивает его на префиксы ("E", "El", "Elec"...). За счет высокой популярности сайта и частого повторения фразы в разных источниках, Relevance Determination Module устанавливает высокую оценку релевантности префикса "Elec" к electrozone.com, и URL попадает в топ подсказок.