Краулинг в Google: разборы патентов

Google анализирует, как часто видео встраивается на внешних авторитетных (whitelisted) сайтах. Чем чаще видео встраивается в контент по определенной теме (сущности Knowledge Base), тем выше его «новостная ценность». Эта метрика используется для отправки персонализированных уведомлений пользователям, заинтересованным в данной теме (высокий Affinity Score).

Патент описывает систему (известную как "Google Subscribed Links"), позволяющую сторонним поставщикам контента определять шаблоны запросов и предоставлять структурированные данные (DataObjects) через XML-фиды. Если запрос пользователя соответствовал шаблону и пользователь был подписан на этого провайдера, система внедряла специализированный ответ непосредственно на страницу результатов поиска.

Google идентифицирует, когда результат поиска является частью дискуссионного треда (форума, блога). Система реконструирует весь тред, находя другие его страницы, даже если они не попали в выдачу. Затем извлекается агрегированная статистика (количество постов, авторов, дата последней активности), которая отображается в сниппете, предоставляя пользователю интегрированное представление дискуссии.

Google использует систему для определения «фактической свежести» (de facto fresh) кэшированного документа, анализируя историю его обновлений, а не полагаясь только на заголовки истечения срока действия. Если статистический анализ показывает, что контент, вероятно, не изменился, система отдает кэшированную версию, а затем проверяет обновление в фоновом режиме. Это оптимизирует ресурсы сканирования и ускоряет доставку.

Google разработал систему для идентификации контент-провайдеров, которые поддерживают стандартизированный процесс удаления контента (например, по DMCA или законам о приватности). Поисковая система обнаруживает эту возможность через Sitemap или проверку URL, помечает такие результаты в выдаче специальным индикатором и может ранжировать их выше. После запроса пользователя на удаление, система ускоряет повторное сканирование сайта и обновление индекса.

Google использует систему для эффективного сканирования контента мобильных приложений (App Indexing). Вместо фиксированных таймаутов система отслеживает жизненный цикл активности, потребление памяти и сетевые запросы приложения в эмуляторе. Когда эти показатели стабилизируются, Google определяет, что приложение загружено, и начинает сканирование контента.

Патент описывает инфраструктурную систему для эффективного сканирования социальных сетей. Контент разделяется на «Посты» (основной контент) и «Вовлеченность» (комментарии, ответы). Система адаптивно планирует сканирование: проверяет комментарии реже, если API социальной сети уведомляет об обновлениях, и чаще (по расписанию), если уведомлений нет. Это позволяет оптимизировать ресурсы и соблюдать лимиты API.

Google использует механизм для точного определения момента, когда нативное мобильное приложение полностью загрузило и отобразило контент. Система последовательно отслеживает завершение всех внешних сетевых запросов и состояние бездействия (idle) внутренних потоков приложения. Это гарантирует, что сканирование контента (App Indexing) начинается только тогда, когда экран приложения полностью сформирован.