Google использует систему для обработки мультимодальных запросов (текст + изображение), позволяя LLM отвечать на вопросы об изображениях. Система анализирует изображение с помощью вспомогательных моделей (распознавание объектов, VQA) и выполняет обратный поиск по картинкам для извлечения текста с найденных веб-ресурсов. Вся эта информация объединяется в структурированный текстовый промт, который позволяет LLM понять визуальный контекст и сгенерировать релевантный ответ.
Автор: Виктор Репин
Google использует систему для идентификации «spoofy» изображений (сатирических, юмористических или оскорбительных модификаций, таких как мемы). Система сравнивает пары визуально похожих изображений, игнорирует артефакты сжатия и изменения размера, и точно локализует области изменений контента. Если обнаружены манипуляции с лицами или добавлен текст, изображение классифицируется как «spoofy» и понижается в выдаче по общим информационным запросам.
Google использует механизм для генерации сниппетов в поисковой выдаче, основанный не только на терминах запроса, но и на профиле интересов пользователя. Система анализирует документ, находит термины, соответствующие интересам пользователя, и выделяет их в сниппете. Это призвано повысить релевантность сниппета для конкретного пользователя и лучше отразить содержание документа в контексте его интересов.
Патент Google описывает двухэтапную систему для определения географического контекста запросов без явного указания локации. Сначала система анализирует исторические клики по гео-специфичным запросам, чтобы вычислить вероятность связи веб-сайтов с конкретными локациями. Затем, при обработке нового запроса, система агрегирует эти вероятности для сайтов в топе выдачи, взвешивая их по CTR, чтобы определить наиболее вероятное подразумеваемое местоположение запроса.
Google стандартизирует разные упоминания местоположений (адреса, города, индексы) в унифицированные «семантические геотокены». Система оценивает важность упоминаний по их расположению на странице и точности. Ресурсы индексируются не только по основной локации, но и по соседним территориям (с учетом расстояния), а географическая привязка может распространяться на все страницы сайта.
Google патентует механизм для улучшения визуального поиска (например, Google Lens). Система генерирует единое векторное представление (Image Embedding) для изображения-запроса и использует его для одновременного поиска визуально похожих результатов в нескольких разных базах данных (например, в общем веб-индексе и специализированном индексе товаров или локаций). Контекст пользователя (местоположение, история) помогает системе выбрать, какие специализированные базы активировать для поиска.
Google использует механизм динамической смены сниппетов для улучшения взаимодействия пользователя с поиском. Если один и тот же результат появляется повторно в ответ на разные запросы в рамках одной сессии, система генерирует альтернативный сниппет. Это достигается за счет применения отрицательного веса к уже показанному контенту, чтобы предоставить новую информацию о документе.
Детальный анализ патента, описывающего фундаментальные технологии визуального поиска (Content-Based Image Retrieval). Патент раскрывает полный цикл обработки изображений: сегментацию объектов, выравнивание, извлечение локальных и глобальных визуальных признаков (цвет, форма, текстура) и их индексацию в виде сигнатур. Описаны механизмы поиска по визуальному сходству и интерфейсы для уточнения запросов, критически важные для SEO в e-commerce.
Google патентует систему для генерации контента (например, объявлений или SGE-ответов) в реальном времени с помощью языковых моделей. Ключевая особенность — механизм «заземления» (grounding), который гарантирует, что ИИ не галлюцинирует, а строго опирается на факты с целевой страницы. Для этого система выбирает ограниченный, наиболее важный фрагмент контента, основываясь на поведении пользователей (просмотры, клики) и свежести данных, и использует его как единственный источник истины для генерации.
Google использует многоступенчатую систему для выбора наиболее авторитетного изображения (например, официального портрета) для человека. Система оценивает качество веб-страниц, на которых размещено изображение (используя сигналы, не зависящие от контента), и анализирует, насколько часто визуально похожие версии этого изображения используются другими высококачественными сайтами. Итоговый балл авторитетности также учитывает четкость распознавания лица и качество кадрирования.
Система Google для анализа информации, захваченной из различных источников (вводимый текст, изображения документов, аудиопотоки) в реальном времени. Система автоматически распознает контент, выделяет ключевые фрагменты, формирует поисковые запросы и мгновенно предоставляет пользователю релевантный цифровой контент или связанные действия без явных запросов. Это механизм, лежащий в основе технологий визуального (Lens) и голосового поиска.
Google использует систему для анализа структуры поисковых запросов в e-commerce. Система идентифицирует известные бренды и атрибуты, а затем выявляет неизвестные термины, которые часто появляются рядом с конкретным брендом. Если эти термины соответствуют шаблонам названий продуктовых линеек и статистически связаны с брендом, Google классифицирует их как новую линейку продуктов этого бренда.
Google анализирует поведение сайтов на предмет массовых редиректов на сторонние организации. Сайты, состоящие преимущественно из таких редиректов («Bounce Pads» или Дорвеи), пессимизируются в процессе каноникализации. Это гарантирует, что при наличии дубликатов контента, сайт-прокладка никогда не будет выбран в качестве канонической версии для индексации и показа в поиске.
Google использует систему для оптимизации функции автозаполнения (Autocomplete). При вводе частичного запроса система определяет широкий набор потенциальных навигационных ссылок (Superset) и фильтрует его до узкого подмножества (Subset) на основе сигналов, таких как история поиска, популярность и тип документа. Интерфейс может динамически изменять отображаемые подсказки, если пользователь делает паузу при вводе.
Google создает детальные профили интересов пользователей на основе истории поиска, поведения и взаимодействия с контентом. Эти профили используются для персонализации выдачи, в частности, для изменения порядка показа рекламы (Placed Content). Система вычисляет показатель сходства между профилем пользователя и профилем рекламы, корректируя стандартный рейтинг (CTR * Ставка), чтобы показывать пользователю наиболее релевантные объявления.
Google использует систему для агрегации и выбора репрезентативной выборки отзывов о продуктах или компаниях. Система рассчитывает общий рейтинг и адаптирует выборку к нему (показывая смесь мнений при среднем рейтинге). Также применяются алгоритмы оценки качества текста (грамотность, длина, информативность через TF-IDF), кластеризация по темам и генерация сниппетов из наиболее ценных предложений.
Google использует систему для автоматического пополнения Графа Знаний. Когда в тексте обнаруживается новая сущность, система анализирует соседние известные сущности и лексический контекст (n-граммы), связывающий их. Комбинируя классы известных сущностей и классы, ассоциированные с контекстом, система вычисляет наиболее вероятный класс для новой сущности и добавляет ее в базу данных.
Google использует технику нормализации для объединения разнородных результатов поиска (например, бесплатных и платных приложений, или разных вертикалей поиска) в единый список. Система анализирует распределение популярности внутри каждой группы, вычисляет «типичную популярность» (используя Геометрическое Среднее наиболее частого диапазона) и применяет повышающий коэффициент (Ranking Boost) к группам с низкими абсолютными показателями. Это позволяет справедливо ранжировать элементы в смешанной выдаче.
Google использует технологию цифровых отпечатков для автоматической идентификации пользовательских фото, видео и аудио, записанных на живых мероприятиях. Система внедряет незаметные сигналы (аудио, визуальные, световые) непосредственно во время события. При загрузке контента эти сигналы распознаются, что позволяет автоматически тегировать медиа, управлять цифровыми правами (DRM) и агрегировать контент для поиска.
Патент Google описывает систему для учета динамического местоположения мобильных бизнесов (например, фудтраков) в локальном поиске. Система получает данные о локации через GPS-трекинг, ручные чекины или расписание маршрута и использует текущее положение бизнеса в момент запроса для расчета его позиции в ранжировании, основываясь на близости к пользователю.