Индексация в Google: разборы патентов
Детальные разборы патентов Google, связанные с индексацией
Как Google создает, управляет и использует Репозиторий Фактов (Fact Repository) для поиска по сущностям
Патент описывает архитектуру Google для создания и использования Репозитория Фактов. Система извлекает факты из интернета, связывает их с объектами (сущностями), очищает и нормализует данные. В ответ на запрос система находит релевантные факты и возвращает их в формате структурированного фида (например, XML/RSS). Это foundational-технология для поиска по сущностям и формирования Графа Знаний.
- US7454398B2
- 2006-02-17
Как Google автоматически находит похожие страницы внутри одного сайта, используя текст текущей страницы как запрос (Query by Example)
Анализ патента Google, описывающего технологию автоматического поиска связанного контента внутри одного веб-сайта. Система анализирует текст просматриваемой страницы, извлекает и взвешивает ключевые термины на основе их уникальности, а затем использует их как поисковый запрос (Query by Example) для нахождения тематически похожих документов на том же сайте. Используются классические формулы информационного поиска (TF-IDF/BM25).
- US8756212B2
- 2009-07-06
Как Google использует отзывы для сравнения, фильтрации и ранжирования сущностей в поиске
Патент Google описывает систему, которая позволяет пользователям искать внутри отзывов (UGR) сразу по нескольким сущностям (например, отелям или товарам) и сравнивать их в едином интерфейсе. Система индексирует отзывы как отдельные документы и использует их содержание для обнаружения сущностей, фильтрации результатов основного поиска и в качестве сигналов ранжирования веб-страниц.
- US11568004B2
- 2020-07-14
Как Google автоматически определяет и проверяет атрибуты, бренды и категории товаров, анализируя веб-контент и поведение пользователей
Google использует систему для автоматического извлечения и проверки «Структурных параметров» (бренды, атрибуты, категории, линейки продуктов) из неструктурированного веб-контента и логов запросов. Система валидирует классификацию с помощью анализа контекстуального сходства, целевого краулинга (поиск фраз типа «X является Y») и анализа распределения кликов. Это позволяет стандартизировать данные о товарах от разных продавцов и формировать структурированную E-commerce выдачу.
- US9171088B2
- 2011-04-06
Как Google формирует персонализированные поисковые подсказки (Autocomplete) на основе контента пользователя (например, в Gmail)
Google использует механизм для улучшения поисковых подсказок (Autocomplete) в таких сервисах, как Gmail. Система анализирует корпус документов пользователя, распознает сущности (например, email-адреса, имена) и предлагает их в качестве подсказок. Это помогает пользователю быстрее находить нужный контент, предлагая контекстуализированные подсказки (например, полный контакт) вместо отдельных слов.
- US20140201229A1
- 2013-08-19
Как Google использует институциональные подписки для предоставления доступа к закрытым документам в Google Scholar
Google интегрирует данные из библиотек и научных учреждений для улучшения поисковой выдачи (преимущественно в Google Scholar). Система получает от библиотек информацию о доступных документах (holding information) и список авторизованных пользователей (affiliation list). При поиске система идентифицирует пользователя (например, по IP-адресу) и, если он авторизован, добавляет в результаты поиска прямую ссылку для доступа к закрытым материалам через его библиотеку.
- US7526475B1
- 2006-05-10
Как Google находит ответы на фактологические вопросы, анализируя консенсус сущностей в топе поисковой выдачи
Google использует этот механизм для автоматического ответа на фактологические вопросы путем анализа неструктурированного текста топовых результатов поиска. Система определяет, какая сущность (например, человек, место) чаще всего упоминается на авторитетных страницах. Эта наиболее часто упоминаемая сущность, с учетом нормализации частоты и веса источника, выбирается в качестве ответа.
- US9477759B2
- 2013-03-15
Как Google определяет главные темы сайта ("Top Phrases") и позволяет вебмастерам уточнять их для улучшения индексации
Google использует систему фразовой индексации для определения "Топ Фраз" сайта на основе анализа совместного употребления связанных словосочетаний. Патент описывает механизм, позволяющий вебмастерам корректировать эти Топ Фразы. Система интегрирует эту обратную связь, обновляя семантические связи между фразами в индексе и улучшая понимание контента сайта.
- US8117223B2
- 2007-09-07
Как Google строит и динамически обновляет индекс на основе тем и векторных представлений для семантического поиска
Google индексирует документы, присваивая им семантическую "сигнатуру" — вектор, состоящий из абстрактных тем (Topics) и весов (Weights), определяющих их значимость. Патент описывает инфраструктуру для эффективного обновления этого тематического индекса при изменении контента или обновлении моделей NLP Google. Система использует эти векторы для быстрого определения схожести контента через Cosine Similarity.
- US8756236B1
- 2012-01-31
Как Google определяет сущности (например, болезни) по их атрибутам (например, симптомам), анализируя результаты поиска и аннотации индекса
Google использует систему для ответа на запросы, которые перечисляют атрибуты (например, симптомы), но ищут сущность (например, болезнь). Система определяет связь между ними, используя несколько методов: предварительное аннотирование индекса связями сущностей, анализ частоты упоминания сущностей в топе выдачи или генерацию комбинированных запросов. Также система предлагает дополнительные атрибуты для уточнения.
- US8856099B1
- 2011-09-27
Как Google встраивает синонимы и контекст непосредственно в поисковый индекс на этапе индексирования
Google использует механизм для повышения релевантности поиска путем определения синонимов на основе контекста документа во время индексирования. Система встраивает эти синонимы, включая сложные многословные замены (N-to-M), непосредственно в инвертированный индекс. Это позволяет поисковой системе находить релевантные документы, даже если они не содержат точных ключевых слов из запроса, без необходимости переписывать запрос на лету.
- US9037591B1
- 2012-04-30
Как Google определяет интент и позицию вертикальных результатов (например, картинок) для длиннохвостых (long-tail) запросов
Google использует механизм для определения интента пользователя по редким или новым (long-tail) запросам, когда исторические данные отсутствуют. Система эффективно "прощупывает" вертикальные индексы (например, картинки), чтобы решить, стоит ли проводить полный поиск. Для определения позиции блока с результатами используется "предполагаемый интент", унаследованный от характеристик найденных веб-страниц и сайтов, а не от истории самого запроса.
- US9183312B2
- 2013-03-12
Как Google использует машинное обучение для анализа содержания видео и динамического выбора релевантных тамбнейлов
Google использует систему машинного обучения для связывания аудиовизуальных признаков видео (цвет, текстура, звук) с ключевыми словами. Это позволяет системе понимать содержание каждого кадра и динамически выбирать для тамбнейла (миниатюры) тот кадр, который наилучшим образом соответствует запросу пользователя или общему содержанию видео.
- US20110047163A1
- 2009-08-24
Как Google индексирует расписание трансляций в местных заведениях, чтобы пользователи могли найти, где посмотреть конкретное событие
Google патентует систему, позволяющую местным заведениям (барам, ресторанам) указывать в своих бизнес-профилях, какие именно события (например, спортивные матчи) они будут транслировать. Эта информация индексируется и используется в Поиске и Картах, позволяя пользователям находить заведения по запросам типа «где посмотреть матч [Команда А] сегодня вечером».
- US20230308829A1
- 2023-03-28
Как Google использует визуальные доказательства из изображений для подтверждения информации о местах (POI) и повышения доверия к данным
Google разработал систему для повышения доверия к данным о точках интереса (POI). Система извлекает фактическую информацию (адреса, часы работы, услуги) из изображений (Street View, фото пользователей) с помощью компьютерного зрения и помечает её как «визуально проверяемую». При ответе на запрос система может показать исходное изображение и аннотировать (выделить или увеличить) ту его часть, которая подтверждает предоставленную информацию.
- US20230044871A1
- 2020-12-29
Как Google находит, классифицирует и ранжирует контент «Глубокой паутины» (Deep Web), скрытый за веб-формами
Google использует систему для доступа к контенту, скрытому за веб-формами («Глубокая паутина»). Система сканирует веб, идентифицирует формы, классифицирует их по тематикам (используя «Поисковую онтологию») и понимает, какие поля заполнять. При поиске Google анализирует запрос пользователя, находит релевантные формы, ранжирует их и может автоматически заполнить форму для пользователя или показать уже извлеченный контент.
- US8037068B2
- 2006-04-05
Как Google использует визуальное сходство для определения и уточнения ключевых слов изображений (VisualRank)
Google анализирует визуальные характеристики изображений и строит граф сходства. Релевантные ключевые слова распространяются от размеченных изображений к похожим, но неразмеченным или плохо размеченным изображениям. Это позволяет поисковой системе понять реальное содержание картинки, основываясь на визуальных данных, и отфильтровать шум в метаданных или окружающем тексте.
- US8356035B1
- 2007-04-10
Как Google объединяет данные из RSS-фидов, веб-страниц и профилей авторов для индексации и ранжирования блогов
Google создает "гибридный документ" для индексации блогов, объединяя информацию из разных источников: контент поста, данные из RSS/Atom фида, контекст всего блога (например, блогролл) и внешние связанные страницы (например, профиль автора). Это позволяет точнее определять релевантность и использовать контекстные сигналы для ранжирования отдельных постов.
- US7765209B1
- 2005-09-13
Как Google использует личные данные (Gmail, историю местоположений) для ответов на запросы о посещенных местах
Google анализирует личные данные пользователя (электронные письма, данные о местоположении, календари) для ответа на запросы типа «рестораны, которые я посетил в Атланте». Система определяет, является ли запрос «персональным локационным», извлекает релевантные взаимодействия из приватного индекса пользователя и обогащает их публичными данными о сущности (адрес, телефон), отображая эти персональные результаты над стандартной органической выдачей.
- US10089394B2
- 2013-07-11
Как Google использует одновременный ввод видео и аудио (Multimodal Search) для понимания сложных запросов
Google разрабатывает систему мультимодального поиска, позволяющую пользователям записывать видео и одновременно задавать вопрос голосом или записывать звук. Система использует продвинутые ML-модели для генерации видео-эмбеддингов, анализа временной информации и аудиосигнатур. Это позволяет поиску понимать сложные запросы, требующие визуального и аудиального контекста (например, диагностика поломок, обучение действиям), и находить релевантные ответы в виде видео, веб-страниц или AR.
- US20240403362A1 (Application)
- 2023-05-31
Как Google классифицирует вакансии и запросы с помощью векторов и таксономии профессий для улучшения поиска работы
Google использует модель идентификации вакансий для преодоления ограничений поиска по ключевым словам в сфере трудоустройства. Система обучается на основе таксономии профессий, генерируя векторы для вакансий с использованием специализированных весовых коэффициентов (Inverse Occupation Frequency и Occupation Derivative). Это позволяет системе понимать, что запросы вроде "Patent Guru" соответствуют профессии "Патентный поверенный", и возвращать релевантные вакансии, даже если ключевые слова не совпадают.
- US10643183B2
- 2016-10-18
Как Google определяет текстовое описание изображения для визуального поиска, анализируя похожие картинки и связанные с ними запросы
Google использует систему визуального поиска, которая позволяет пользователям отправлять изображение в качестве запроса. Для этого система создает индекс визуальных признаков и анализирует метаданные (запросы, по которым кликали на картинку, и текст на ссылающихся страницах). При получении изображения система находит визуально похожие картинки в индексе, анализирует связанные с ними текстовые фразы (n-граммы) и выбирает наилучшее описание. Затем выполняется стандартный поиск по этому текстовому описанию.
- US8761512B1
- 2010-12-03
Как Google планирует заменить статические веб-сайты страницами, генерируемыми ИИ на лету из «сырого» контента
Патент описывает радикально новую архитектуру веба («Generative Navigational Corpus»), где контент-провайдеры предоставляют «сырые» данные (Seed Content), а Большая Фундаментальная Модель (LFM) генерирует веб-страницы, UI и ссылки в реальном времени, адаптируя формат и структуру под конкретный интент пользователя и контекст навигации.
- US20250094521A1
- 2024-09-18
Как Google использует ваши личные данные (Gmail, Календарь, Фото) для генерации персонализированных подсказок в Autocomplete
Google анализирует активность пользователя и его контент в различных сервисах (таких как email, календарь, фотохостинг). На основе этих данных система генерирует персонализированные поисковые подсказки (Autocomplete), когда пользователь начинает вводить запрос. Это позволяет предлагать запросы типа «мои рейсы» или «мои фото», основываясь на реальных бронированиях или загруженных изображениях пользователя.
- US9317585B2
- 2013-03-15
Как Google определяет географическую релевантность документа, анализируя неоднозначные термины и названия мест
Google использует классификатор местоположений для определения географической привязки документа, даже если в нем нет точного адреса. Система анализирует неоднозначные термины (например, названия районов или улиц) и использует профили георелевантности (гистограммы), показывающие, где эти термины чаще всего используются. Перемножая эти профили, Google разрешает неоднозначность и вычисляет наиболее вероятное местоположение контента.
- US7716162B2
- 2004-12-30
Как Google определяет сущности (например, болезни) по списку признаков (например, симптомов) в запросе пользователя
Google использует различные методы для ответа на запросы, содержащие список признаков (атрибутов), но не называющие саму сущность. Система определяет, какой тип сущности ищет пользователь (например, медицинское состояние по симптомам), и идентифицирует наиболее релевантные сущности. Для этого анализируется частота упоминания сущностей в результатах поиска по исходному запросу или используются специально сгенерированные комбинированные запросы.
- US8843466B1
- 2011-09-27
Как Google создает видео-нарезки (Composite Videos) на лету, используя текстовый запрос и анализ аудиодорожек
Google может анализировать аудиодорожки (транскрипты) видео для идентификации конкретных сегментов, где произносятся слова из запроса пользователя. Система автоматически объединяет эти сегменты из разных видео в одно новое сводное видео (Composite Video). Для выбора сегментов используются метрики релевантности, популярности и свежести исходного контента.
- US9672280B2
- 2014-04-10
Как Google разбирает запрос на значимые фразы, предпочитая длинные концепции отдельным словам
Google использует систему для интерпретации поисковых запросов, которая разбивает текст запроса на все возможные комбинации фраз (фразификации). Система оценивает эти комбинации, используя вероятность существования фразы в индексе и предпочитая интерпретации с меньшим количеством длинных фраз. Это позволяет поисковой системе понимать запрос как набор концепций, а не просто набор ключевых слов.
- US8166021B1
- 2007-03-30
Как Google выборочно индексирует действия пользователя на локальном устройстве, основываясь на поведении и частоте событий
Анализ патента Google, описывающего инфраструктуру для клиентского поиска (например, Google Desktop). Система фиксирует действия пользователя (события) с контентом (статьями) и решает, индексировать ли их, используя критерии, основанные на частоте событий, доступных ресурсах и предполагаемых интересах пользователя (имплицитно выведенных из его поведения).
- US8346777B1
- 2004-03-31
Как Google распознает, структурирует и использует данные о сущностях для глубокого понимания контента
Патент Google, раскрывающий фундаментальные принципы обработки сущностей. Описано, как Google индексирует контент, распознает именованные сущности (NER) и структурирует данные о них в две категории: общие (Generic Entity Data) и специальные (Special Entity Data). Это дает ключевое понимание архитектуры Knowledge Graph.
- US9069744B2
- 2012-05-15