Система мультимодального поиска Google, которая одновременно обрабатывает визуальные данные с камеры и аудиоданные с микрофона. Система извлекает визуальные признаки, транскрибирует речь и анализирует звуковые сигнатуры. Это позволяет пользователям задавать контекстные вопросы об объектах в кадре (например, «[Фото платья] + Найди такое же синее») или диагностировать проблемы по звуку и изображению (например, шум неисправного прибора), получая релевантные результаты из веб-поиска, поиска по картинкам или от генеративных моделей.
Автор: Виктор Репин
Google использует анализ поисковых логов для защиты пользователей от контента с ложной маркировкой (например, взрослого контента, маскирующегося под детский). Система анализирует, на какие результаты (например, «безопасные» или «неприемлемые») пользователи кликают чаще по конкретному запросу. Если поведение пользователей указывает на то, что запрос связан с неприемлемым контентом, система автоматически перемаркирует «безопасные» результаты как неприемлемые, тем самым исправляя ошибки классификации.
Анализ фундаментального патента Google, описывающего систему перехода от поиска по ключевым словам к поиску по концепциям. Система автоматически определяет семантически значимые фразы и вычисляет, насколько одна фраза предсказывает появление другой (Information Gain). Документы индексируются и ранжируются на основе сети связанных фраз, которые они содержат, что позволяет оценивать глубину проработки темы, а не просто плотность ключевых слов.
Google может переписывать поисковые запросы прямо на устройстве пользователя, добавляя контекст из локальной приватной базы знаний (например, предпочтения контактов, данные из переписки или голосовых взаимодействий). Это позволяет поисковой системе предоставлять высоко персонализированные результаты, используя данные, которые хранятся локально и выборочно передаются на сервер.
Система сбора данных о взаимодействии пользователей с отображаемыми документами (на бумаге или экране). Система рассчитывает метрику популярности (Readership Value) на основе этих взаимодействий и явно заявляет о возможности использования этих данных для корректировки релевантности или приоритета результатов поиска, а также для анализа авторитетности пользователей (User Value Metric).
Google использует систему машинного обучения для оценки качества предлагаемых альтернативных запросов. Система анализирует исторические данные о поведении пользователей, используя «длинные клики» (Long Clicks) как индикатор удовлетворенности. На основе этого анализа модель предсказывает вероятность успеха (Confidence Measure) для каждой предложенной ревизии запроса, что позволяет выбирать и ранжировать наиболее полезные варианты.
Google использует систему машинного обучения для анализа визуальных характеристик изображения (цвета, текстуры, формы) и определения наиболее релевантных текстовых запросов. Система сопоставляет характеристики изображения с тысячами моделей релевантности. Каждая модель обучена на исторических данных поиска, чтобы понять, как выглядит контент, который пользователи считают релевантным для конкретного ключевого слова.
Google патентует метод «Pairwise Ranking Prompting» (PRP) для использования генеративных моделей (LLM) в ранжировании. Вместо оценки релевантности отдельных документов или ранжирования всего списка сразу, LLM получает запрос и пару документов, определяя, какой из них лучше отвечает запросу. Эти попарные сравнения затем агрегируются для формирования финального рейтинга.
Система Google фрагментирует контент на части («content pieces») и хронологически отслеживает их первое появление для идентификации первоисточника. На основе оригинальности и частоты копирования контента рассчитывается репутация автора (Author Rank). Этот ранг влияет как на позиции документов автора в поиске, так и на частоту и глубину сканирования его ресурсов.
Google использует механизм для ранжирования документов, по которым нет истории взаимодействий (например, личные email или новые веб-страницы). Вместо анализа кликов по конкретному документу, система анализирует, как пользователи взаимодействовали с другими документами, имеющими схожие признаки (например, шаблоны, категории, структуру). Это позволяет обобщать поведенческие данные и повышать релевантность в условиях дефицита информации.
Патент Google, описывающий систему управления отображением профилей пользователей в поиске. Она оценивает профили по метрикам популярности, качества и социальной близости (Affinity). Система решает, показывать ли блок с профилями, основываясь на частоте запроса и качестве профилей (для борьбы со спамом). Если профиль значительно авторитетнее других или близок пользователю, он визуально выделяется (например, увеличивается фото).
Google использует механизм для персонализации поисковой выдачи на основе истории взаимодействия пользователя с результатами поиска. Система отслеживает, какие сайты пользователь выбирает, как долго он на них остается (Dwell Time), частоту и контекст выбора. Основываясь на этих данных, предпочитаемые пользователем ресурсы повышаются в ранжировании при его последующих запросах.
Google анализирует сущности на странице для определения «Topical Entity» (главной темы). Для этого используются графы сущностей, основанные на совместной встречаемости, и анализ результатов поиска. Присутствие сущности в Title/URL и активация специальных SERP features (Shopping, Maps) могут подтвердить главную тему, даже если страница ранжируется низко. Это понимание используется для генерации релевантного дополнительного контента.
Google автоматически генерирует семантически обогащенные структурированные документы из видео и изображений, объединяя транскрипцию аудио (ASR), текст с экрана (OCR) и данные о спикерах. Большие Языковые Модели (LLM) используют эти документы как контекст для глубокого понимания контента, генерации саммари и ответов на конкретные вопросы пользователей.
Google использует механизм для оценки качества и авторитетности изображений, даже если на них нет прямых ссылок. Система создает «виртуальные ссылки» между изображениями на основе их визуального сходства, данных о кликах пользователей и авторитетности хост-страниц. Затем применяется алгоритм, подобный PageRank, который вычисляет итоговый рейтинг качества изображения на основе этой сети виртуальных связей.
Google использует метод для эффективного обнаружения почти дубликатов документов. Система генерирует компактный цифровой отпечаток (fingerprint) для каждого документа путем выборки перекрывающихся блоков текста (shingling), вычисления контрольных сумм и их сжатия. Сравнивая эти отпечатки с использованием расстояния Хэмминга, Google может быстро определить, являются ли два документа практически идентичными, что критично для каноникализации и экономии ресурсов индекса.
Google использует статистический механизм для определения географической релевантности документов или запросов, содержащих неоднозначные названия мест. Система создает «Профили гео-релевантности» (Geo-relevance Profiles) для терминов на основе их близости к известным адресам в обучающей выборке. Затем эти профили комбинируются для устранения неоднозначности и точного определения местоположения контента.
Google использует механизм для персонализации поисковых подсказок (Autocomplete). Система анализирует предыдущий запрос пользователя и определяет, какие другие запросы статистически часто встречаются в одной сессии с ним (на основе данных многих пользователей). Затем эти связанные запросы повышаются в списке подсказок для текущего вводимого префикса, делая подсказки более релевантными контексту сессии.
Google использует механизм для автоматического обнаружения идентификаторов сессий в URL-адресах во время сканирования. Система анализирует подстроки, которые выглядят случайными и повторяются в нескольких URL с одного сайта. Эти идентификаторы удаляются для создания «чистых» версий URL. Это позволяет поисковой системе распознавать дублирующийся контент и избегать повторного сканирования одних и тех же страниц, оптимизируя краулинговый бюджет.
Google использует систему рекомендаций, анализирующую элементы (людей, объекты, места), отмеченные тегами непосредственно внутри видео. Система находит связанный контент, содержащий те же элементы. Если в видео отмечен человек, система может рекомендовать контент, который этот человек одобрил (смотрел, лайкнул), учитывая силу социальной связи между ним и зрителем, при строгом соблюдении настроек конфиденциальности.