Google использует метод автоматической группировки изображений на основе визуального сходства. Система идентифицирует ключевые точки (interest-points), описывает регионы вокруг них и строит граф, связывая похожие регионы в разных изображениях и пересекающиеся регионы в одном изображении. Это позволяет кластеризовать изображения, изображающие один и тот же объект или сцену.
Автор: Виктор Репин
Google анализирует всплески поисковых запросов в реальном времени и сопоставляет их с транслируемым медиаконтентом (например, телешоу или спортивными событиями). Сопоставляя термины запроса с метаданными (субтитрами) или анализируя аудио-отпечатки с устройств пользователей, Google определяет точный «момент», вызвавший интерес, и упаковывает его в автоматический «Гид по моментам».
Яндекс патентует систему оптимизации рекламной выдачи. Система в реальном времени перебирает различные шаблоны (стенсилы) размещения рекламы, наполняет их наиболее ценными объявлениями (на основе ставок, CTR, релевантности) и выбирает тот шаблон, который приносит максимальную общую ценность. Это определяет, сколько рекламы увидит пользователь и насколько сильно будут смещены органические результаты.
Google анализирует последовательные запросы пользователя в рамках сессии, чтобы понять полный контекст. Система объединяет текущий запрос с предыдущими и добавляет внешние данные (например, местоположение, тип устройства), формируя «Структурированный Запрос». Этот обогащенный запрос используется для выбора релевантного контента (например, рекламы) и передается владельцу сайта при клике, позволяя направить пользователя на максимально точную посадочную страницу (диплинкинг).
Google использует модель машинного обучения для ранжирования рекомендуемого контента, смещая фокус с вероятности клика на прогнозируемое время потребления. Система учитывает не только время просмотра конкретного видео, но и время просмотра всех последующих видео в этой же сессии (Sub-tree Consumption Time). Приоритет отдается контенту, который инициирует длительные сессии вовлечения.
Google применяет систему для выявления неявного локального интента в запросах без указания местоположения (например, «пицца»). Система проверяет запрос по двум разным «Белым спискам» (Whitelists). В зависимости от того, известно ли местоположение пользователя (из профиля или cookie), система либо автоматически добавляет локальные результаты (Local Pack), либо сначала запрашивает у пользователя его локацию.
Патент Google описывает систему выбора контента (например, рекламы), которая интерпретирует запросы и критерии таргетинга как семантические графы сущностей. Вместо ключевых слов система сопоставляет топологию и содержание этих графов. Также описан механизм автоматического предложения семантических критериев таргетинга на основе анализа целевого контента (например, лендинга) с использованием статистических метрик.
Google использует систему для автоматического создания описательного текста для изображений, изучая структуру веб-сайта. Система анализирует известные качественные описания («начальные дескрипторы») и определяет их расположение относительно изображения в HTML-коде. На основе этого создается шаблон, который затем применяется к другим страницам того же сайта с аналогичной структурой для масштабного извлечения описаний, улучшая индексацию и релевантность в поиске по картинкам.
Патент описывает механизм пользовательского интерфейса (UI) для приложений, работающих со структурированными данными (например, Google Sheets). Система позволяет пользователю кликнуть на ячейку, чтобы открыть скрытый интерфейс, который показывает, откуда были извлечены данные (URL, сниппет), или предлагает запустить новый поиск для заполнения или обновления ячейки.
Google использует механизм для повышения точности понимания сложных или специализированных запросов. Если система обнаруживает неоднозначность при интерпретации запроса для Базы Знаний, она может интерактивно запросить у пользователя уточнение или идентификацию специализированных терминов. Эти термины добавляются в динамический словарь, что позволяет системе скорректировать интерпретацию и улучшить обработку будущих запросов без ресурсоемкого переобучения основной языковой модели.
Google измеряет, насколько полно сгенерированы «быстрые данные для предпросмотра» (сниппеты, превью) для страниц, которые реально показываются пользователям. Патент описывает статистический метод сэмплирования и взвешивания по показам, который позволяет эффективно оценить это «покрытие», уделяя больше внимания популярным страницам.
Google использует систему для автоматического выбора наилучшего изображения, представляющего содержание статьи или веб-страницы. Система анализирует все изображения на странице, оценивая их характеристики (размер, формат, расположение, контекст) и присваивая им оценку (Image Data Score). Цель – отличить содержательные фотографии от элементов дизайна или иконок. Изображение с наивысшей оценкой выбирается в качестве репрезентативного для показа в SERP, Новостях или Discover.
Google использует гибридную технику компьютерного зрения для оценки возраста людей на изображениях. Комбинируя результаты нескольких простых бинарных классификаторов возраста (например, «ребенок или взрослый») с помощью регрессора, Google генерирует конкретные оценки возраста. Эти демографические данные используются для понимания визуального контента и адаптации поисковой выдачи или рекламы.
Google использует систему неконтролируемого обучения для автоматического распознавания достопримечательностей (Landmarks). Анализируя текст, визуальное сходство, геоданные и информацию об авторах в больших коллекциях фотографий, система определяет надежные названия объектов (N-граммы). На основе этого создаются модели распознавания (Appearance Models), которые позволяют аннотировать новые изображения и оценивать популярность мест.
Яндекс патентует метод эффективного обучения системы исправления опечаток без ручной разметки данных. Система автоматически генерирует «реалистичные» и «нереалистичные» опечатки, анализируя частотность символов в логах запросов и физическое расположение клавиш. Затем алгоритм машинного обучения (MLA) учится отличать правильные исправления, используя такие признаки, как присутствие слов в URL, на веб-страницах и историю выбора исправлений пользователями.
Google анализирует, какие изображения предпочитают пользователи из разных регионов и говорящие на разных языках. Если предпочтения локальной группы сильно отличаются от глобальных трендов для данного запроса, Google переранжирует выдачу по картинкам, чтобы показать этой группе более релевантные для них изображения, основываясь на истории кликов похожих пользователей.
Google использует систему для идентификации событий (спорт, концерты) в запросах и генерации «Интегрированного представления события» (Integrated Event View). Эта система агрегирует фактические данные, результаты веб-поиска и контент из социальных сетей. Ключевой особенностью является фильтрация социальных сообщений с использованием семантического сходства (например, LSA) и геолокации для обеспечения релевантности.
Яндекс патентует метод генерации визуальных подсказок (image-based suggestions). Система использует два параллельных ранжирования: одно основано на частотности (популярности) запросов, а второе — на «скрытом интересе» (высокая релевантность независимо от частоты). Финальный список смешивает результаты из обоих списков, чтобы предложить пользователю не только очевидные, но и неочевидные, релевантные темы для дальнейшего изучения.
Google использует систему для определения веб-страниц, где выполнение скриптов (например, JavaScript) не меняет основной контент, ссылки или структуру. Такие страницы помечаются как «контентно-нейтральные». Это позволяет браузерам (и системам индексации Google) пропускать выполнение скриптов на этих страницах, значительно ускоряя рендеринг и экономя ресурсы.
Google интегрирует данные из библиотек и научных учреждений для улучшения поисковой выдачи (преимущественно в Google Scholar). Система получает от библиотек информацию о доступных документах (holding information) и список авторизованных пользователей (affiliation list). При поиске система идентифицирует пользователя (например, по IP-адресу) и, если он авторизован, добавляет в результаты поиска прямую ссылку для доступа к закрытым материалам через его библиотеку.