Как Google классифицирует вакансии и запросы с помощью векторов и таксономии профессий для улучшения поиска работы

Термины и определения

Confidence Score (Оценка уверенности)

Метрика, рассчитываемая Similarity Engine, которая указывает на вероятность того, что Query Vector правильно классифицирован в рамках определенной профессии в таксономии.

Inverse Occupation Frequency (IDF) (Обратная частота по профессиям)

Весовой коэффициент, основанный на количестве профессий в таксономии, в которых присутствует данный термин. Отражает, насколько специфичен термин для конкретной профессии.

Job Identification Model (Модель идентификации вакансий)

Основная система, описанная в патенте, которая классифицирует запросы и вакансии для улучшения поиска работы.

Job Posting Index (Индекс вакансий)

База данных, которая индексирует известные вакансии на основе типа профессии, используя Occupation Taxonomy.

Occupation Derivative (DD) (Производная по профессиям)

Весовой коэффициент, основанный на плотности термина по всем профессиям в таксономии. Отражает, насколько сильно термин может дифференцировать (различать) профессии.

Occupation Taxonomy (Таксономия профессий)

Структурированный список предопределенных профессий и соответствующих им кодов (Occupation Codes). Используется для классификации обучающих данных и поисковых запросов.

Occupation Vector (Вектор профессии)

Числовое представление размеченного обучающего элемента (например, названия вакансии), сгенерированное с использованием специализированных весовых коэффициентов (IDF, DD). Используется для обучения модели.

Query Vector (Вектор запроса)

Числовое представление поискового запроса пользователя, сгенерированное тем же методом, что и Occupation Vector.

Similarity Engine (Механизм оценки схожести)

Компонент системы, который сравнивает Query Vector с Occupation Vectors в таксономии для расчета Confidence Scores.

Term Frequency (TF) (Частота термина)

Весовой коэффициент, основанный на количестве появлений термина в названии вакансии.

Text Normalization Unit (Блок нормализации текста)

Компонент, отвечающий за очистку и стандартизацию названий вакансий и запросов. Удаляет шум, такой как информация о зарплате, графике работы, локации, названии компании и т.д.

Vector Vocabulary (Словарь векторов)

Набор терминов (униграммы, биграммы и т.д.), используемых для генерации векторов. Определяется во время обучения и фиксируется для использования в продакшене.

Ключевые утверждения (Анализ Claims)

Claim 1 (Независимый пункт): Описывает полный цикл работы системы для поиска работы.

1. Определение словаря векторов и таксономии профессий.
2. Получение размеченных обучающих данных (Название вакансии + Профессия).
3. Генерация Occupation Vector для каждого элемента. Ключевой момент: весовой коэффициент (feature weight) рассчитывается на основе двух значений: (i) Inverse Occupation Frequency (IDF) и (ii) Occupation Derivative (DD).
4. Ассоциация каждого Occupation Vector с профессией в таксономии (обучение).
5. Получение поискового запроса.
6. Генерация Query Vector (первого вектора) на основе запроса.
7. Расчет Confidence Score для каждой профессии в таксономии, указывающего, насколько вектор запроса соответствует профессии.
8. Выбор профессии с наивысшим Confidence Score.
9. Получение вакансий, используя выбранную профессию.
10. Предоставление результатов поиска.

Ядро изобретения заключается в использовании комбинации IDF и DD для взвешивания признаков при генерации векторов в контексте классификации коротких текстов (вакансий).

Claim 4 (Зависимый от 1): Уточняет формулу расчета весового коэффициента.

Весовой коэффициент основан на сумме (i) значения, представляющего Inverse Occupation Frequency, и (ii) одной трети значения, представляющего Occupation Derivative.

Формула расчета веса признака: $FW = IDF + DD/3$. Это конкретная реализация, направленная на оптимизацию классификации коротких текстов вакансий.

Где и как применяется

Этот патент описывает архитектуру специализированной поисковой системы (вертикального поиска), конкретно предназначенной для поиска работы. Он затрагивает несколько этапов стандартной архитектуры поиска.

CRAWLING – Сканирование и Сбор данных
Система собирает данные о вакансиях (Job Posting Data) из множества источников в интернете.

INDEXING – Индексирование и извлечение признаков
Этот этап критически важен и делится на две части: Обучение модели и Индексирование вакансий.

Обучение (Офлайн):

1. Сбор и разметка: Получение обучающих данных (labeled training data items) и их хранение в Text Corpus.
2. Нормализация: Обработка названий вакансий с помощью Text Normalization Unit для удаления шума.
3. Генерация признаков и векторов: Vector Generation Unit создает Occupation Vectors, используя словарь и специфические веса (IDF+DD/3).
4. Обучение таксономии: Векторы ассоциируются с профессиями в Occupation Taxonomy.

Индексирование (Офлайн/Около-реалтайм):
Новые вакансии обрабатываются, классифицируются с использованием обученной модели и сохраняются в Job Posting Index, организованном по профессиям.

QUNDERSTANDING – Понимание Запросов
Основное применение патента в реальном времени.

1. Нормализация запроса: Входящий запрос обрабатывается Text Normalization Unit.
2. Генерация вектора запроса: Vector Generation Unit создает Query Vector.
3. Классификация запроса: Similarity Engine использует Query Vector и обученную Occupation Taxonomy для определения наиболее вероятной профессии (Occupation) и расчета Confidence Score.

RANKING – Ранжирование (Отбор кандидатов)
На этом этапе система использует результат этапа QUNDERSTANDING (выбранную профессию) для быстрого отбора кандидатов из Job Posting Index. Это заменяет традиционный поиск по ключевым словам.

Входные данные:

• Обучающие данные (Названия вакансий, Коды профессий).
• Поисковый запрос пользователя.
• Сырые данные о вакансиях из интернета.

Выходные данные:

• Обученная Occupation Taxonomy с ассоциированными Occupation Vectors.
• Классификация запроса (Выбранная профессия).
• Набор релевантных вакансий.

На что влияет

• Конкретные типы контента: Влияет исключительно на контент, связанный с трудоустройством: вакансии (Job Postings), резюме (упоминаются как возможный источник обучающих данных) и поисковые запросы о работе.
• Специфические запросы: Наибольшее влияние оказывается на запросы, где используется нестандартная, креативная или неоднозначная терминология для описания должностей (например, "Гуру", "Ниндзя", "Самурай" в названиях).
• Конкретные ниши или тематики: Влияет на все ниши в контексте поиска работы.

Когда применяется

• Триггеры активации: Алгоритм активируется при получении поискового запроса, который система идентифицирует как запрос о поиске работы (Job Search Query).
• Временные рамки: Обучение модели происходит офлайн периодически. Классификация запросов и извлечение вакансий происходит в реальном времени при каждом запросе.

Пошаговый алгоритм

Процесс А: Обучение модели (Training Phase - Офлайн)

1. Определение словаря и таксономии: Определяется Vector Vocabulary (на основе корпуса текстов) и Occupation Taxonomy (список профессий).
2. Сбор данных: Получение размеченных обучающих данных (labeled training data), где каждая запись содержит название вакансии и код профессии.
3. Нормализация текста: Text Normalization Unit обрабатывает названия вакансий. Удаляется информация о зарплате, графике, локации, компании, знаки препинания, числа и т.д.
4. Генерация векторов профессий: Vector Generation Unit создает Occupation Vector для каждой записи.
   • Рассчитывается Inverse Occupation Frequency (IDF) для каждого термина.
   • Рассчитывается Occupation Derivative (DD) для каждого термина.
   • Вес признака (Feature Weight) вычисляется по формуле (например, IDF + DD/3).
5. Ассоциация и обучение: Каждый Occupation Vector связывается с соответствующим кодом профессии в Occupation Taxonomy.

Процесс Б: Обработка запроса (Execution Phase - Онлайн)

1. Получение запроса: Система получает запрос о работе от пользователя.
2. Нормализация запроса: Запрос обрабатывается Text Normalization Unit.
3. Генерация вектора запроса: Vector Generation Unit создает Query Vector, используя тот же словарь и методы взвешивания, что и при обучении.
4. Расчет схожести и уверенности: Similarity Engine сравнивает Query Vector с Occupation Vectors в таксономии. Для каждой профессии рассчитывается Confidence Score (например, на основе векторного расстояния).
5. Выбор профессии: Выбирается профессия с наивысшим Confidence Score (или несколько, если они превышают порог).
6. Извлечение вакансий: Система запрашивает Job Posting Index, используя выбранную профессию, для получения релевантных вакансий.
7. Предоставление результатов: Полученные вакансии предоставляются пользователю в виде результатов поиска.

Какие данные и как использует

Данные на входе

Патент фокусируется на обработке текстовых данных, связанных с вакансиями.

• Контентные факторы: Ключевыми данными являются названия вакансий (Job Titles) из обучающих данных и текст поискового запроса (Search Query). В патенте также упоминается, что обучающие данные могут включать описания работы из резюме.
• Структурные данные (Разметка): Используются метки профессий (Occupation Codes), присвоенные обучающим данным вручную или автоматически.

Какие метрики используются и как они считаются

Система использует несколько ключевых метрик для генерации векторов и классификации.

1. Term Frequency (TF)

• Описание: Частота появления термина в названии вакансии.
• Расчет: Количество вхождений термина W в текст.

2. Inverse Occupation Frequency (IDF)

• Описание: Метрика, показывающая, насколько специфичен термин для профессии.
• Расчет: Логарифм отношения общего числа профессий (D) к числу профессий, в которых встречается термин (df). $idf_i = log(D/df_i)$.

3. Occupation Derivative (DD)

• Описание: Метрика, показывающая, насколько хорошо термин различает профессии.
• Расчет: Анализируется плотность термина (DS) в каждой профессии (отношение числа примеров с термином к общему числу примеров в профессии). Плотности сортируются по убыванию. DD определяется как наибольшая разница между соседними значениями плотности.

4. Feature Weight (Вес признака)

• Описание: Итоговый вес термина в векторе.
• Расчет: Комбинация IDF и DD. Патент предлагает несколько вариантов, включая FW = IDF + DD, FW = IDF + 3*DD, и конкретно защищает вариант FW = IDF + DD/3 (Claim 4).

5. Confidence Score

• Описание: Вероятность того, что запрос принадлежит к определенной профессии.
• Расчет: Основан на анализе расстояния между Query Vector и Occupation Vectors в числовом пространстве признаков. Чем меньше расстояние, тем выше оценка уверенности.

1. Переход от ключевых слов к классификации: В контексте поиска работы Google не полагается на традиционное сопоставление ключевых слов. Вместо этого используется сложная модель машинного обучения (Job Identification Model) для классификации как запроса, так и контента вакансии в рамках стандартизированной Occupation Taxonomy.
2. Специфические веса для коротких текстов: Патент подчеркивает, что стандартные методы взвешивания (вероятно, имеется в виду TF-IDF) неэффективны для очень коротких документов, таких как названия вакансий. Google разработал и запатентовал специфический гибридный подход, комбинирующий Inverse Occupation Frequency (IDF) и Occupation Derivative (DD).
3. Важность дифференциации терминов: Occupation Derivative (DD) играет ключевую роль. Эта метрика измеряет, насколько хорошо термин помогает отличить одну профессию от другой. Термины с высоким DD имеют больший вес в классификации.
4. Нормализация критична: Система агрессивно очищает названия вакансий и запросы от "шума" (зарплата, тип занятости, локация, название компании). Это означает, что основная классификация происходит на основе оставшихся терминов, непосредственно описывающих суть работы.
5. Таксономия как источник истины: Релевантность определяется тем, насколько хорошо контент соответствует профессии в Occupation Taxonomy. Если вакансия или запрос не могут быть уверенно классифицированы, они могут не появиться в релевантной выдаче.

Best practices (это мы делаем)

Рекомендации применимы к оптимизации сайтов вакансий (Job Boards) и корпоративных разделов карьеры для вертикали Google Jobs.

• Используйте четкие и стандартизированные названия должностей: Несмотря на то, что система умеет распознавать креативные названия ("Ниндзя", "Гуру"), использование стандартных, общепринятых названий должностей повышает вероятность правильной классификации (более высокий Confidence Score). Название должно четко отражать суть профессии.
• Фокусируйтесь на дифференцирующих терминах в названии: Включайте в название термины, которые имеют высокий Occupation Derivative – те, которые четко отличают эту роль от смежных. Например, "Патентный поверенный" лучше, чем просто "Юрист".
• Обеспечьте чистоту данных в JobTitle: Убедитесь, что в поле названия вакансии (и в соответствующем поле микроразметки JobPosting) нет посторонней информации. Зарплата, город, тип занятости (Full-time/Part-time), название компании должны быть вынесены в соответствующие поля. Text Normalization Unit удалит их, но лучше предоставить чистые данные изначально.
• Используйте семантически богатые описания: Хотя патент фокусируется на названиях для обучения, полное описание вакансии также важно для общей релевантности и может использоваться системой для подтверждения классификации. Используйте терминологию, синонимы и описания задач, соответствующие стандартному пониманию профессии в Occupation Taxonomy.
• Внедряйте полную микроразметку JobPosting: Используйте схему JobPosting максимально полно. Это помогает Google корректно извлекать и интерпретировать данные о вакансии, снижая зависимость от текстовой нормализации.

Worst practices (это делать не надо)

• Перегружать название вакансии дополнительной информацией: Включение в название таких элементов как "($100k)", "(Remote)" или "Срочно!" не поможет ранжированию, так как эта информация будет удалена на этапе нормализации и не повлияет на генерацию вектора.
• Использовать слишком общие или неоднозначные названия: Названия вроде "Менеджер" или "Специалист" без уточнения области имеют низкий Occupation Derivative и могут быть неправильно классифицированы или получат низкий Confidence Score.
• Пытаться манипулировать ключевыми словами (Keyword Stuffing): Повторение ключевых слов в названии (если не используется чисто TF) не даст значительного преимущества, так как веса основаны на IDF и DD, а не только на частоте термина в документе.
• Использовать исключительно креативные/брендовые названия без контекста: Если вы называете продавца "Sales Samurai", убедитесь, что остальной контент вакансии четко указывает на то, что это роль в продажах, чтобы помочь системе корректно классифицировать вакансию.

Стратегическое значение

Патент подтверждает стратегию Google по структурированию данных и использованию машинного обучения для понимания контента в специализированных вертикалях. Для поиска работы ключевым фактором успеха является alignment (соответствие) контента вакансии той таксономии профессий, которую использует Google. Долгосрочная стратегия должна фокусироваться на качестве данных, четкости описаний и использовании структурированных данных (Schema.org) для минимизации неопределенности при классификации вакансий.

Практические примеры

Сценарий: Оптимизация названия вакансии для Google for Jobs

Плохой пример названия: "(Срочно!) Ищем Junior/Mid-Level SEO Специалиста в Москве, $1500 (Бонусы)"

Процесс обработки системой:

1. Нормализация: Text Normalization Unit удаляет шум (пунктуацию, локацию, зарплату, уровень, призывы).
2. Результат нормализации (вероятный): "SEO Специалист".
3. Векторизация и Классификация: Система генерирует вектор для "SEO Специалист" и классифицирует его.

Хороший пример названия (в поле title разметки JobPosting): "SEO Специалист (Специалист по поисковой оптимизации)"

Действия SEO-специалиста:

• Разместить чистое название в поле title.
• Разместить "Москва" в поле jobLocation.
• Разместить информацию о зарплате в baseSalary.
• Указать уровень (Junior/Mid-Level) в описании.

Ожидаемый результат: Вакансия точно классифицируется по профессии и содержит всю необходимую информацию для сниппета, не мешая работе Job Identification Model.