Техническое SEO в Google: разборы патентов
Детальные разборы патентов Google, связанные с техничкой
Как Google использует сравнение DOM и Render Tree для обнаружения и девальвации скрытого текста при генерации сниппетов и ранжировании
Google использует механизм для точного определения, какой текст на веб-странице виден пользователю при загрузке, а какой скрыт. Система сравнивает весь код страницы (DOM Tree) с тем, что фактически отображается (Render Tree). Обнаруженный скрытый текст (например, в меню, скрытый через CSS или цветом фона) получает понижающий коэффициент (Weighting Factor), что снижает вероятность его попадания в сниппет и может влиять на оценку страницы.
- US8639680B1
- 2012-05-07
Как Google анализирует структуру URL и сигналы качества для выбора Sitelinks (Primary Resources)
Google использует алгоритм для идентификации наиболее важных страниц сайта (Primary Resources), которые затем отображаются как Sitelinks в поисковой выдаче. Система строит иерархическую модель сайта на основе структуры URL (а не ссылок) и оценивает каждую страницу по нескольким критериям: глубина в иерархии, количество дочерних страниц, количество внешних и внутренних ссылок, PageRank и качество контента. Этот метод позволяет выбирать Sitelinks даже без данных о трафике.
- US20150199357A1
- 2011-04-14
Как Google индексирует и ранжирует контент дополненной реальности и цифровые дополнения для визуального поиска (Google Lens)
Google создал систему для индексации и ранжирования цифровых дополнений (например, AR-контента, купонов, приложений), связанных с реальными объектами. Система сканирует веб-страницы в поисках метаданных, которые связывают эти дополнения с визуальными анкорями (продуктами, изображениями, местами). При визуальном поиске Google ранжирует эти дополнения, используя сигналы престижа (аналог PageRank) и релевантности, чтобы предоставить пользователю наиболее полезный интерактивный опыт.
- US10878037B2
- 2018-06-21
Как Google использует анализ визуального макета страницы для сегментации контента и понимания его иерархии
Google использует метод анализа визуального макета страницы (Visual Layout), чтобы понять её иерархическую структуру, даже если HTML-код (DOM) не отражает её точно. Система анализирует визуальные разрывы (белое пространство) между блоками контента, чтобы сегментировать страницу и точно связать описательный текст с конкретными объектами, например, отзывы с соответствующими локальными компаниями на странице со списком.
- US7421651B2
- 2004-12-30
Как Google использует HTTP-заголовки для извлечения и индексации метаданных из не-HTML документов (PDF, DOC и т.д.)
Google использует механизм для индексации метаданных файлов, не являющихся HTML (например, PDF, Word, Excel). Во время сканирования метаданные (автор, тема, заголовок) могут передаваться от веб-сервера через специальный HTTP-заголовок. Поисковая система извлекает эти данные, преобразует их в виртуальные META-теги и использует для индексации, улучшая понимание этих форматов.
- US9582588B2
- 2012-12-20
Как Google предлагает использовать номера версий контента для генерации в Sitemap, если реальная дата изменения недоступна
Патент описывает метод для генерации Sitemaps на сайтах, где фактическое время последнего изменения контента недоступно (например, для данных в БД). Система сравнивает текущий номер версии контента с версией на момент прошлой генерации Sitemap. Если версия изменилась, в тег устанавливается текущее время, что гарантирует повторное сканирование обновленного контента краулером.
- US7865497B1
- 2008-02-21
Как Google сегментирует глобальный индекс на региональные части для повышения эффективности и локальной релевантности
Google оптимизирует поисковую инфраструктуру, разделяя индекс на две части. Основной индекс («Replicated Content») содержит глобально важные документы и копируется во все дата-центры. Дополнительно каждый дата-центр получает уникальный «Regional Content» — документы, соответствующие локальному языку и шаблонам запросов. Это повышает эффективность и релевантность для международных пользователей.
- US8131712B1
- 2007-10-15
Как Google индексирует и хранит разные версии документа для отслеживания изменений контента и исторической релевантности
Google использует механизм для архивирования и индексирования различных версий веб-страниц по мере их изменения. Система присваивает каждой версии диапазон дат ее актуальности и сохраняет данные о релевантности (включая фразы и сигналы) именно для этой версии. Это позволяет поисковой системе анализировать историю изменений контента, оценивать частоту обновлений и находить документы, которые были релевантны в определенный прошлый период времени.
- US7702618B1
- 2005-01-25
Как Google использует текст внутри изображений (например, Street View) для индексации и ранжирования в локальном и имиджевом поиске
Google извлекает текст непосредственно из изображений (например, названия улиц, вывески бизнесов в Street View), используя передовые методы OCR и улучшения качества (Superresolution). Этот текст ассоциируется с точными географическими координатами (GPS). Это позволяет Google индексировать информацию из реального мира и использовать её для ответа на локальные поисковые запросы и повышения релевантности поиска по картинкам.
- US8098934B2
- 2006-06-29
Как Google позволяет разработчикам и SEO-специалистам мгновенно увидеть превью сниппета в выдаче до индексации
Google предоставляет инструмент, который использует актуальную логику обработки контента поисковой системы для генерации «предсказанного результата поиска» (сниппета) в изолированной среде. Это позволяет мгновенно увидеть, как страница будет выглядеть в выдаче (включая разные стили, например, для мобильных устройств и десктопов), без необходимости ждать её сканирования и добавления в основной продакшн-индекс.
- US11170014B2
- 2016-12-29
Как Google итеративно рендерит веб-страницы, собирая недостающие ресурсы (JS, CSS, изображения) для индексации
Патент описывает инфраструктуру Google для рендеринга веб-страниц в масштабах всего интернета. Вместо того чтобы запрашивать все внешние ресурсы (JS, CSS, изображения) в реальном времени, система использует итеративный подход. Если ресурс не найден в базе данных, процесс рендеринга останавливается, ресурс ставится в очередь на сканирование, и рендеринг перезапускается только после того, как все необходимое будет собрано. Это обеспечивает точное отображение страницы без перегрузки внешних серверов.
- US8346755B1
- 2010-05-04
Как Google выбирает изображения с сайта компании для показа в ее бизнес-профиле (Local Pack, Knowledge Panel)
Google использует автоматизированную систему для выбора наиболее репрезентативных изображений бизнеса с его официального сайта. Система предпочитает локальные сайты филиалов, а не общие сайты сетей. Она анализирует структуру сайта для поиска разделов с изображениями, а затем оценивает сами изображения, отдавая предпочтение реальным цветным фотографиям высокого разрешения и отфильтровывая графику, баннеры и нежелательный контент.
- US9645981B1
- 2013-01-18
Как Google позволяет вебмастерам обновлять структурированные данные в индексе по требованию, минуя стандартное сканирование
Google использует механизм, позволяющий авторизованным владельцам сайтов напрямую отправлять структурированные данные (например, цены, наличие товара) в поисковый индекс. Этот процесс происходит по требованию ("unscheduled update sequence"), значительно быстрее стандартного сканирования, и позволяет передавать приватные данные, недоступные публично на сайте.
- US20150112961A1
- 2012-09-18
Как Google улучшает Min-Hash сигнатуры для более точного обнаружения почти дубликатов контента
Google использует усовершенствованный алгоритм Min-Hash для создания цифровых сигнатур контента (веб-страниц, изображений, медиа). Условно используя вторичные перестановки, когда первичный хеш дает мало информации, Google генерирует более надежные и информативные сигнатуры. Это позволяет быстрее и точнее обнаруживать почти дублирующийся контент в процессе индексирования.
- US8447032B1
- 2008-03-04
Как Google использует метаданные для поиска дубликатов, объединения версий документов и консолидации сигналов ранжирования
Патент описывает, как Google идентифицирует различные версии одного и того же документа (например, научных статей) путем генерации, нормализации и сравнения нескольких идентификаторов на основе метаданных (автор, название, дата). Это позволяет Google объединять дубликаты в кластеры и консолидировать сигналы ранжирования, такие как общее количество цитирований.
- US8316292B1
- 2005-11-18
Как Google индексирует внутренний контент мобильных приложений с помощью виртуальных машин и скрытого текста (App Indexing)
Google использует систему для индексации контента внутри нативных мобильных приложений, который ранее был недоступен для поиска. Система запускает приложение в виртуальной машине, эмулирующей операционную систему устройства, переходит к конкретным экранам или состояниям (environment instances) и извлекает описательные данные. Ключевой особенностью является извлечение текстовых данных, которые разработчики встраивают специально для поисковых систем, но которые не видны пользователю при обычном использовании приложения.
- US9135346B2
- 2013-06-07
Как Google определяет галереи изображений на странице, анализируя равномерность их расположения в HTML-структуре
Google анализирует логическую структуру веб-страницы для идентификации галерей изображений. Система вычисляет расстояния между изображениями в макете документа. Если изображения распределены равномерно (имеют одинаковые интервалы), система классифицирует их как галерею. Эта классификация используется для применения особых правил ранжирования в поиске по картинкам.
- US7788258B1
- 2004-06-21
Как Google использует машинное обучение для обнаружения дубликатов, анализируя контент до и после рендеринга
Google использует комплексную систему для обнаружения дубликатов, которая сравнивает как исходный HTML-код (Fetched Body), так и финальную версию страницы после выполнения JavaScript (Synthetic Body). Система вычисляет множество сигналов сравнения, включая основанные на контексте запроса (сниппеты), и использует модель машинного обучения для определения вероятности того, что страницы являются дубликатами.
- US20140188919A1
- 2007-02-14
Как Google индексирует контент, который не может прочитать, получая метаданные напрямую от сторонних приложений и серверов
Google использует механизм для индексации данных, хранящихся на сторонних серверах или в проприетарных форматах, которые поисковая система не может обработать напрямую. Вместо сканирования исходных данных система получает от третьей стороны готовый для индексации текст или HTML-метаданные, представляющие этот контент. Это позволяет сделать данные доступными для поиска через систему Google, соблюдая при этом контроль доступа и ограничения на размер метаданных.
- US9262420B1
- 2012-04-23
Как Google оптимизирует индекс, сохраняя только те части документов, которые отвечают на запросы пользователей
Google может оптимизировать размер и скорость своего индекса, анализируя, какие части документа использовались для ответа на запросы пользователей. Части, которые редко используются, удаляются из индекса, а сохраняются только наиболее востребованные фрагменты.
- US8655886B1
- 2011-03-25
Как Google отслеживает возраст отдельных фрагментов контента на странице и отличает существенные обновления от незначительных правок
Google использует систему для определения даты первой публикации отдельных фрагментов контента (например, предложений или абзацев). Система сегментирует контент и отслеживает его историю в «Карте дат» (Date Map). Используя нечеткое сравнение (Edit Distance) и нормализацию, система игнорирует незначительные правки и точно датирует только существенные обновления контента.
- US8332408B1
- 2010-08-23
Как Google определяет сайты, использующие Session ID в URL, для оптимизации краулинга и борьбы с дубликатами
Google использует механизм для автоматического обнаружения сайтов, которые встраивают идентификаторы сессий (Session ID) в URL. Система скачивает страницу дважды и сравнивает внутренние ссылки. Если большая часть ссылок меняется (из-за разных ID), система генерирует правила для "очистки" URL. Это позволяет избежать повторного сканирования одного и того же контента и предотвращает заполнение индекса дубликатами.
- US7886217B1
- 2003-09-29
Как Google индексирует и ранжирует AR-контент и действия в результатах визуального поиска (Google Lens)
Патент описывает систему Google для визуального поиска, которая позволяет находить и предоставлять пользователям «цифровые дополнения» (например, AR-контент, действия, информацию) в ответ на изображение реального мира. Система сканирует интернет в поисках метаданных о доступных дополнениях, индексирует их, связывая с визуальными анкорями (объектами, текстом, кодами), и ранжирует их в ответ на визуальный запрос пользователя.
- US10579230B2
- 2018-06-21
Как Google использует Топ-N терминов и URL-паттерны для быстрой кластеризации похожих страниц на сайте
Google использует эффективный метод (O(n)) для группировки структурно похожих документов на веб-сайте. Система определяет страницы, у которых совпадают наиболее весомые термины (Топ-N), используя метрику Modified TF-IDF, смещенную в сторону шаблонного текста (boilerplate). Затем находится общий шаблон в их URL-адресах. Это позволяет быстро кластеризовать большие объемы контента для анализа структуры сайта и оптимизации индексирования.
- US8200670B1
- 2008-10-31
Как Google анализирует рендеринг страницы (DOM и CSS) для обнаружения скрытого текста и ссылок
Google использует методы анализа визуального представления страницы для выявления скрытого контента. Система строит структурное представление документа (DOM) и анализирует свойства элементов (цвет, размер, позиция, Z-index), чтобы определить, виден ли контент пользователю. Это позволяет обнаруживать и игнорировать манипуляции (спам), такие как текст цветом фона или позиционирование за пределами экрана.
- US8392823B1
- 2009-08-25
Как Google анализирует оглавления и визуальную верстку для понимания структуры документа и повышения веса заголовков в ранжировании
Google использует технологию для автоматического определения оглавления (TOC) в цифровых документах (книгах, PDF). Система извлекает названия разделов из TOC и сопоставляет их с заголовками в основном тексте, используя машинное обучение, анализ шрифта и верстки, а также ограничения порядка. Это позволяет Google понять структуру документа и увеличить вес ранжирования для идентифицированных заголовков разделов.
- US8549008B1
- 2008-11-12
Как Google извлекает и может отображать оригинальный дизайн (стили) контента в сниппетах поисковой выдачи
Google разработал систему для отображения текстовых сниппетов в поисковой выдаче с сохранением их оригинального стиля (шрифт, размер, форматирование) из исходного документа. Для этого система создает отдельные индексы для текста и стилей. Это позволяет пользователям оценить визуальный контекст, важность контента и эстетику сайта непосредственно в SERP, влияя на выбор результата.
- US10311114B2
- 2014-11-03
Как Google использует историю обновлений для статистического прогнозирования свежести контента и оптимизации кэширования
Google использует систему для определения «фактической свежести» (de facto fresh) кэшированного документа, анализируя историю его обновлений, а не полагаясь только на заголовки истечения срока действия. Если статистический анализ показывает, что контент, вероятно, не изменился, система отдает кэшированную версию, а затем проверяет обновление в фоновом режиме. Это оптимизирует ресурсы сканирования и ускоряет доставку.
- US8065275B2
- 2007-02-15
Как Google идентифицирует сайты, поддерживающие удаление контента, и ускоряет обновление индекса после запроса на удаление
Google разработал систему для идентификации контент-провайдеров, которые поддерживают стандартизированный процесс удаления контента (например, по DMCA или законам о приватности). Поисковая система обнаруживает эту возможность через Sitemap или проверку URL, помечает такие результаты в выдаче специальным индикатором и может ранжировать их выше. После запроса пользователя на удаление, система ускоряет повторное сканирование сайта и обновление индекса.
- US8510286B1
- 2011-11-21
Как Google непрерывно обновляет свой индекс и освобождает место, используя систему хранения "Treadmilling" (Беговая дорожка)
Анализ инфраструктурного патента Google, описывающего высокоэффективную систему управления хранилищем данных (Tokenspace Repository). Патент раскрывает механизм "Treadmilling", который позволяет Google постоянно обновлять документы в индексе и эффективно удалять старые версии, восстанавливая дисковое пространство без остановки обработки поисковых запросов. Это основа для обеспечения свежести и масштабируемости поиска.
- US7617226B1
- 2006-02-10