Свежесть контента в Google: разборы патентов
Детальные разборы патентов Google, связанные со свежестью и актуальностью контента
Как Google определяет запросы, требующие свежего контента (QDF), анализируя темпы создания документов в интернете
Google использует анализ временных меток документов для определения "запросов, ищущих свежесть" (QDF). Система строит временную шкалу публикаций по теме и ищет резкие всплески (события). Если обнаружен значительный недавний всплеск, система повышает в ранжировании документы, созданные после этого события, и понижает более старые результаты.
- US20150169574A1
- 2011-10-20
Как Google использует графы уточнений запросов для бустинга документов и переписывания широких запросов
Google анализирует, как пользователи уточняют свои запросы, и строит «Граф Запросов». Этот граф используется двумя способами: 1) Для повышения ранжирования документов (особенно по заголовкам), которые точно соответствуют популярным кластерам запросов, даже если у них мало ссылок. 2) Для автоматического переписывания широкого запроса пользователя в его наиболее популярные конкретные уточнения и объединения результатов.
- US20150169589A1
- 2015-02-26 (Continuation of application filed on 2009-04-29)
Как Google использует графовые нейросети для обнаружения развивающихся событий через анализ социальных сетей и поисковых запросов
Google использует систему для обнаружения развивающихся событий (например, срочных новостей) путем мониторинга потоков данных в реальном времени (социальные сети) и поисковых запросов. Система моделирует распространение информации в виде графа и применяет специализированные модели машинного обучения (например, GCN, GAN) для оценки вероятности события и его релевантности для пользователя, позволяя предоставлять актуальную информацию до ее появления в традиционных источниках.
- US11366812B2
- 2019-06-25
Как Google приоритизирует сканирование, управляет краулинговым бюджетом и повторно использует контент
Google использует распределенную систему планирования для оптимизации сканирования. Приоритет URL определяется их важностью (Page Importance/PageRank) и специальными коэффициентами (Boost Factor). Система фильтрует постоянно недоступные страницы и решает, загружать ли контент заново или использовать кэшированную версию (Reuse), основываясь на истории изменений и важности страницы.
- US8042112B1
- 2004-06-30
Как Google использует свежесть и популярность для ранжирования сущностей в блоках ответов (Answer Boxes)
Google использует систему для определения наиболее актуальных связанных сущностей при ответе на запрос. Система анализирует Граф Знаний, чтобы найти связанные сущности, а затем ранжирует их на основе оценок Свежести (насколько недавние даты связаны с сущностью) и Популярности (объем поисковых запросов, упоминаний в сети и активности в социальных сетях). Наиболее релевантные сущности отображаются в специальных блоках выдачи.
- US9336311B1
- 2012-10-15
Как Google динамически приоритизирует сканирование страниц, когда Googlebot отстает от графика
Google использует адаптивную систему управления сканированием. Если краулер не успевает обработать все запланированные URL (отстает от графика), система динамически меняет приоритеты. Вместо хронологического порядка приоритет отдается наиболее важным страницам (на основе Importance Rank/PageRank), чтобы гарантировать свежесть индекса для ключевого контента, даже если другие страницы дольше ждут своей очереди.
- US8666964B1
- 2005-04-25
Как Google определяет частоту и приоритет сканирования страниц на основе PageRank, частоты обновления контента и времени с последнего визита
Google использует автоматизированную систему планирования для оптимизации ресурсов сканирования. Для каждого URL рассчитываются оценки приоритета (Scores) на основе его важности (PageRank), исторической частоты изменения контента (Content Change Frequency) и времени, прошедшего с момента последнего сканирования (Age). Это определяет, будет ли страница сохранена в индексе, как часто она будет сканироваться (ежедневно, в реальном времени или редко) и нужно ли загружать ее заново.
- US7725452B1
- 2004-05-20
Как Google оптимизирует краулинговый бюджет, динамически изменяя частоту сканирования на основе популярности, значимых изменений контента и ошибок сервера
Google использует систему планирования сканирования для оптимизации ресурсов. Система динамически рассчитывает интервал сканирования для каждого ресурса, учитывая его популярность (например, количество подписчиков), частоту «значимых» изменений контента (особенно в визуально важных блоках) и состояние доступности (ошибки сервера). Это позволяет чаще сканировать важный и обновляемый контент и сокращать ресурсы на неизменный или недоступный контент.
- US8868541B2
- 2011-01-21
Как Google оптимизирует график повторного сканирования на основе частоты изменений и важности контента
Google использует адаптивную систему планирования повторного сканирования. Система оценивает, как часто меняется документ (Change Period) и насколько он важен (Importance Rank, например, PageRank). На основе этих данных рассчитывается оптимальная частота сканирования (Crawl Period), которая корректируется для обеспечения свежести индекса и эффективного использования ресурсов.
- US8386459B1
- 2011-02-22 (Продолжение заявки от 2005-04-25)
Как Google оптимизирует частоту повторного сканирования, прогнозируя вероятность удаления страниц на сайте
Google использует историю сканирования для расчета вероятности удаления страниц, отдельно для разных категорий контента. На основе этой вероятности система оптимизирует расписание повторного сканирования (re-crawling schedule). Цель — найти баланс между затратами ресурсов на сканирование и риском показать пользователю устаревший (удаленный) контент, минимизируя общую функцию «штрафа» (Penalty Function).
- US8862569B2
- 2012-01-11
Как Google использует метаданные XML Sitemap (lastmod, changefreq, priority) для планирования и приоритизации сканирования
Патент Google, описывающий фундаментальные механизмы протокола Sitemaps. Планировщик сканирования использует метаданные, предоставленные веб-сайтами: lastmod для предотвращения сканирования неизмененного контента, changefreq для прогнозирования обновлений и priority в качестве повышающего коэффициента (boost factor) в очереди сканирования, оптимизируя краулинговый бюджет.
- US7769742B1
- 2005-06-30
Как Google прогнозирует частоту обновления новых страниц для оптимизации краулингового бюджета
Google использует статистический метод для оценки того, как часто будет обновляться новый документ. Система анализирует исторические данные о частоте изменений похожих документов (например, страниц с аналогичной структурой URL или на том же домене), чтобы определить оптимальную частоту сканирования новой страницы. Это позволяет поддерживать свежесть индекса и эффективно расходовать краулинговый бюджет.
- US20130212100A1
- 2012-12-26
Как Google обеспечивает стабильность канонических URL при асинхронном сканировании контента (Crawl Skew)
Google использует механизм для стабилизации индекса при обработке дубликатов в условиях неравномерного сканирования (Crawl Skew). Если страница не была пересканирована, система принудительно связывает ее с предыдущим каноническим URL (Previous Representative). Это обеспечивает стабильность выбора каноникалов и предотвращает индексацию устаревших дубликатов.
- US7836108B1
- 2008-03-31
Как Google использует постоянные запросы для агрегации, кастомизации и синдикации новостного контента
Патент описывает архитектуру кастомизации и синдикации новостей (например, Google News). Он объясняет, как новостные разделы определяются с помощью постоянных поисковых запросов (на основе ключевых слов, тем и географии) и как пользователи или внешние сайты могут размещать этот кастомизированный контент, который динамически обновляется основным агрегатором новостей.
- US8126865B1
- 2003-12-31
Как Google использует прямые фиды данных от издателей для создания обогащенных результатов поиска (Rich Results) в реальном времени
Google использует систему, позволяющую «зарегистрированным издателям» предоставлять структурированные данные (например, цены, расписания, статус рейсов) отдельно от основного контента. Эта информация обновляется значительно чаще, чем стандартный веб-индекс, и используется для создания обогащенных результатов (Rich Results) с актуальными, «живыми» данными прямо в выдаче, минуя задержки стандартного сканирования.
- US9208230B2
- 2011-05-27
Как Google эффективно обновляет Граф Знаний в реальном времени при изменении фактов
Патент Google описывает инфраструктурный механизм для поддержания актуальности Графа Знаний. Когда в базу добавляется или удаляется факт (связь между сущностями), система мгновенно определяет, какие сохраненные запросы (коллекции) затронуты, и эффективно пересчитывает результаты, минимизируя нагрузку на базу данных.
- US9626407B2
- 2014-06-17
Как Google персонализирует, локализует и ранжирует новостной контент для Google News и Discover
Google использует систему для персонализации новостного контента, анализируя темы (используя Knowledge Graph), местоположения и даты публикации статей. Система создает динамические профили пользователей на основе истории чтения, применяя механизм «затухания» для устаревших интересов. Ранжирование учитывает релевантность, качество источника, популярность (количество просмотров) и свежесть контента.
- US9569547B2
- 2013-12-31
Как Google автоматически находит недостающие или устаревшие факты для Knowledge Graph, генерируя поисковые запросы
Google использует автоматизированную систему для поддержания актуальности и полноты Knowledge Graph. Когда система обнаруживает пробел (например, отсутствует свойство у сущности согласно схеме) или устаревшие данные (на основе анализа логов запросов), она генерирует точный, disambiguated поисковый запрос. Ответ, полученный от поисковой системы или QA-системы, используется для обновления Базы Знаний.
- US10108700B2
- 2013-03-15
Как Google позволяет сторонним сайтам загружать свои базы данных и код прямо в поисковую систему для генерации прямых ответов
Google использует систему, позволяющую владельцам сайтов загружать свои данные (например, таблицы) и логику их обработки (код) непосредственно на серверы Google. Если запрос пользователя соответствует заданному шаблону, Google выполняет этот код в изолированной среде, используя загруженные данные, и генерирует прямой ответ в выдаче. Это позволяет показывать актуальные данные в реальном времени без необходимости сканирования сайта или обращения к внешним API.
- US10019484B2
- 2013-08-06
Как Google встраивает ленту социальных обсуждений в реальном времени прямо в результаты поиска по трендовым запросам
Google использует механизм для идентификации трендовых запросов ("active keywords"), связанных с текущими событиями. Если пользователь ищет по такому запросу, система отбирает релевантные посты из социальных сетей, созданные во время события, и отображает их в виде специальной встроенной ленты ("discussion stream") прямо на странице результатов поиска, отделяя их от более старых социальных постов.
- US9984155B2
- 2012-06-07
Как Google отслеживает возраст отдельных фрагментов контента на странице и отличает существенные обновления от незначительных правок
Google использует систему для определения даты первой публикации отдельных фрагментов контента (например, предложений или абзацев). Система сегментирует контент и отслеживает его историю в «Карте дат» (Date Map). Используя нечеткое сравнение (Edit Distance) и нормализацию, система игнорирует незначительные правки и точно датирует только существенные обновления контента.
- US8332408B1
- 2010-08-23
Как Google генерирует, ранжирует и отображает результаты поиска в реальном времени (Real-Time Search)
Патент Google описывает комплексную систему для поиска в реальном времени. Он включает механизмы прогнозирования актуальных запросов, предварительного кэширования свежего контента (например, статусов из соцсетей), оценки качества этого контента и авторов. Также описана технология непрерывного обновления выдачи у пользователя с помощью "Time Token" и процесс обработки сокращенных URL.
- US9043319B1
- 2010-12-03
Как Google обогащает поисковые подсказки (Autocomplete) данными в реальном времени (Live Content)
Google использует систему для улучшения поисковых подсказок путем добавления «живого контента». Когда пользователь вводит запрос, система генерирует подсказки и автоматически инициирует «живой запрос» для получения актуальных данных (например, погоды или курса акций). Эти данные отображаются прямо в списке подсказок, часто предоставляя ответ до перехода на SERP.
- US9129012B2
- 2010-02-03
Как Google индексирует и хранит разные версии документа для отслеживания изменений контента и исторической релевантности
Google использует механизм для архивирования и индексирования различных версий веб-страниц по мере их изменения. Система присваивает каждой версии диапазон дат ее актуальности и сохраняет данные о релевантности (включая фразы и сигналы) именно для этой версии. Это позволяет поисковой системе анализировать историю изменений контента, оценивать частоту обновлений и находить документы, которые были релевантны в определенный прошлый период времени.
- US7702618B1
- 2005-01-25
Как Google предлагает использовать номера версий контента для генерации в Sitemap, если реальная дата изменения недоступна
Патент описывает метод для генерации Sitemaps на сайтах, где фактическое время последнего изменения контента недоступно (например, для данных в БД). Система сравнивает текущий номер версии контента с версией на момент прошлой генерации Sitemap. Если версия изменилась, в тег устанавливается текущее время, что гарантирует повторное сканирование обновленного контента краулером.
- US7865497B1
- 2008-02-21
Как Google автоматически создает "Поисковые журналы" для трендовых тем на мобильных устройствах
Google патентует систему для автоматического создания форматированных "поисковых журналов" о трендовых темах. Система идентифицирует тренд, ищет новостные статьи, пользовательский контент (соцсети, фото, видео) и справочную информацию по теме, а затем компонует всё это в виде "издания", адаптированного под конкретное мобильное устройство.
- US8849829B2
- 2011-12-06
Как Google тестирует и выбирает, какие документы включать в индекс, используя инкрементно обновляемую тестовую среду
Патент описывает инфраструктуру Google для оценки различных стратегий отбора документов в индекс. Система поддерживает актуальный набор данных (Query-to-Resource Mapping), периодически добавляя свежий контент и новые запросы. Это позволяет Google сравнивать разные алгоритмы индексации через A/B тесты и оценку асессорами, чтобы определить, какая стратегия обеспечивает более качественную выдачу.
- US20140059062A1
- 2012-08-24
Как Google отличает реальные тренды (QDF) от спама и шума при всплесках активности
Google использует статистические модели (например, распределение Пуассона) для анализа внезапных всплесков запросов или индексации новых документов. Система определяет, является ли всплеск результатом реального мирового события (тренд) или случайным шумом/скоординированным спамом. Это позволяет фильтровать ложные тренды и точно определять темы, заслуживающие приоритета свежего контента (QDF).
- US20140081973A1
- 2012-09-14
Как Google позволяет пользователям настраивать ранжирование и отбор источников в агрегаторе новостей (Google News)
Патент Google, описывающий механизм персонализации новостного агрегатора (Google News). Система позволяет пользователям создавать постоянные новостные разделы на основе запросов и настраивать правила ранжирования внутри них: выбирать предпочтительные источники, блокировать нежелательные, повышать статьи по ключевым словам или авторам, а также управлять сортировкой по свежести или важности.
- US8676837B2
- 2003-12-31
Как Google идентифицирует контент на одном устройстве (например, ТВ) и проактивно отправляет свежие и трендовые результаты поиска на другое (например, смартфон)
Google использует технологию "отпечатков контента" для идентификации того, что пользователь смотрит или слушает на первом устройстве. Система автоматически генерирует связанный поисковый запрос и отправляет на второе устройство "динамические текущие результаты". Приоритет отдается наиболее свежей, часто обновляемой и трендовой информации, создавая новый канал для дистрибуции контента.
- US9875242B2
- 2014-06-03