Метрики качества поиска

Яндекс патентует метод оценки важности предложений в тексте для создания резюме (сниппетов) и определения тематики документа без использования внешних словарей. Система разбивает текст на «концептуальные фразы» и оценивает их значимость …
Яндекс патентует метод выявления вредоносных или нежелательных сайтов путем анализа логов браузера и истории поиска. Система отслеживает подозрительные автоматические открытия сайтов (не инициированные пользователем) и сравнивает их частоту с популярностью …
Яндекс патентует метод интеграции блоков с похожими запросами (Suggests) непосредственно в основную выдачу. Чтобы ранжировать эти блоки наравне с обычными результатами, система рассчитывает метрику «Related Long Click». Она оценивает вероятность …
Яндекс патентует метод оценки изменений в поиске через A/B тесты. Система объединяет метрики, показывающие направление изменений (хорошо/плохо, например, DAU), с метриками, чувствительными к малым изменениям (например, CTR). Это позволяет Яндексу …
Яндекс патентует систему для автоматической проверки фактов в контенте, созданном генеративными моделями (например, YandexGPT) для поисковой выдачи. Система использует специальную NLP-модель для перекрестной проверки сгенерированных фрагментов текста (сниппетов). Она оценивает, …
Яндекс патентует метод оценки результатов A/B тестирования, который фокусируется на тренде вовлеченности пользователя, а не только на средних значениях. Используя Дискретное Преобразование Фурье, система вычисляет метрики «Амплитуда» (величина изменения) и …
Яндекс патентует метод генерации обучающих данных для ML-алгоритмов (например, ранжирования или Proxima). Система отказывается от поиска единой «истинной метки» релевантности, признавая субъективность оценок. Вместо этого рассчитывается «Консенсусное распределение меток», учитывающее …
Яндекс использует трехуровневую систему машинного обучения для оптимизации смешивания (блендинга) вертикальных результатов (Колдунщиков) и органической выдачи. Система независимо прогнозирует CTR Колдунщика («Win») и CTR следующего за ним результата («Loss»). Третья …
Яндекс патентует метод создания краткого изложения текста (например, для сниппетов в SERP) путем анализа самого текста без внешних онтологических словарей. Система выделяет «концептуальные фразы» и оценивает их важность на основе …
Яндекс патентует метод проверки фактической точности контента, созданного генеративными моделями (например, для объектных карточек). Система не сверяет факты с внешними источниками, а ищет внутренние противоречия в сгенерированном тексте. Специально обученная …
Яндекс использует алгоритм для кластеризации документов (например, новостных статей), освещающих одну тему. Система рассчитывает «Обобщенную Метрику», основанную на том, насколько документы дополняют друг друга (Первая Метрика) и насколько они «разбавляют» …
Яндекс использует систему приоритизации (Triage Server) для управления индексацией. Сразу после сканирования страницы система предсказывает ее будущую полезность как «свежего» результата (Importance Score) на основе доступных разреженных данных. Если оценка …
Яндекс патентует метод автоматического реферирования контента (текст, аудио, видео). Система сегментирует контент, оценивает «полезность» (Utility) каждого фрагмента и определяет смысловые зависимости (Linkage) между ними. В резюме (например, сниппет) включаются не …
Яндекс патентует метод повышения достоверности автоматически сгенерированных сводок (Карточек Объектов). Система проверяет фактическую точность отдельного сниппета, анализируя, подтверждается ли он другими сниппетами в той же сводке (внутренняя согласованность). Для этого …
Яндекс патентует метод обучения ранжирующих моделей (например, CatBoost), позволяющий напрямую оптимизировать сложные метрики качества (NDCG, ERR), которые обычно не поддаются стандартным методам градиентного бустинга. Для этого в процессе обучения в …
Яндекс патентует математический метод для оценки результатов A/B тестов. Метод "линеаризации" преобразует сложные поведенческие метрики-отношения (например, клики на запрос) в более простую линейную форму. Это позволяет быстрее, точнее и с …
Яндекс патентует механизм, который изменяет визуальное расположение результатов поиска в зависимости от устройства или приложения пользователя (например, десктоп или мобильное приложение). Система предсказывает, в каком порядке пользователи будут взаимодействовать с …
Яндекс патентует механизм оптимизации функции автодополнения (Search Suggest). Чтобы ускорить поиск, система может заранее загружать страницу результатов (SERP) для самой вероятной подсказки. Патент описывает, как Яндекс определяет, когда стоит выполнять …
Патент описывает метод обучения моделей машинного обучения (Ordered Boosting), лежащий в основе алгоритма CatBoost. Для предотвращения «утечки данных» и переобучения, система упорядочивает обучающие данные и при расчете качества прогноза использует …
Яндекс патентует метод для повышения чувствительности A/B тестирования при оценке изменений в поиске. Вместо анализа средних значений поведенческих метрик, система анализирует тренды вовлеченности пользователей во времени. Для этого используются дискретные …