Глубина индексации сайта поисковыми роботами
Опубликовано: 24.02.2019
Сегодня мы рассмотрим один очень важный момент, касающийся продвижения сайтов в поисковых системах. Речь пойдет о глубине индексации. Глубина индексации сайта поисковыми роботами определяет максимальный уровень погружения роботов в самые глубокие его разделы (подкатегории n-го уровня вложенности).
Глубина индексации сайта
Процедура индексации сайтов происходит по довольно сложной схеме. У поисковиков есть программы, отвечающие за непосредственный сбор информации со страниц, за проверку и занесение этой информации в базу данных, за разбор полученных сведений, за составление поисковой выдачи по разным группам запросов. Первыми в этой цепочке являются так называемые роботы-пауки.
Основная задача паука – переход от страницы к странице с одновременным считыванием контента, размещенного на них. Робот может начать просматривать сайт с самых разных страниц, а не только с главной. Тут все зависит от источника внешней ссылки. Довольно часто индексация ресурса начинается с какой-то внутренней статейной страницы или с каталога продукции (если речь идет о бизнес-сайте). Попадая на первую страницу, паук начинает сканировать ее содержимое. При этом отдельное внимание уделяется ссылкам и гиперссылкам - по каждой из них робот впоследствии совершает переход с целью проиндексировать содержимое других страниц. Если на странице отсутствуют какие-либо ссылки (что бывает крайне редко), то робот возвращается на уровень вверх. При наличии ссылок робот будет переходить по ним до тех пор, пока не посетит все страницы сайта (при условии, что на них ведет хоть одна ссылка).
Однако может возникнуть такая ситуация, когда сайт состоит из очень большого числа страниц, которые соединены друг с другом сложной и извилистой системой гиперссылок. К примеру, чтобы добраться с главной до самой удаленной от нее страницы, роботу следует сделать несколько сотен переходов. С точки зрения целесообразности и технической оптимизации все это крайне невыгодно поисковой системе. Ведь для полной индексации подобного сайта придется задействовать гораздо больше временных и финансовых ресурсов. Собственно, поэтому и был введен такой термин, как «глубина индексации».
Обычно под глубиной индексации подразумевают максимальное количество переходов поискового робота по уровням вложенности страниц сайта. Что значит «уровень вложенности»? Это совокупность страниц, располагающихся на одном и том же расстоянии от корня сайта (главной страницы). К примеру, на первом уровне могут располагаться страницы разделов и категорий, статичные страницы (контакты, информация о сайте и т.д.). На втором уровне могут располагаться страницы подкатегорий. На третьем уровне – страницы статей и постов. Как правило, количество этих самых уровней зависит от общего объема и сложности сайта. Однако немалую роль здесь играет мастерство и опыт разработчиков – при грамотном подходе к делу даже очень большой сайт можно грамотно разместить на 3-4 уровнях.
Если у сайта очень много уровней вложенности, много подразделов и подкатегорий, то робот поисковой системы вряд ли будет индексировать все страницы. Скорее всего, он остановится на каком-то определенном уровне, после чего покинет сайт. Собственно, номер этого уровня и будет являться глубиной индексации. Вводя такое ограничение, поисковая система оберегает и страхует себя от ненужных затрат на полноценную индексацию слишком сложных и запутанных сайтов.
Глубина может отсчитываться не только с главной страницы. В том случае, когда индексация ресурса начинается с внутренних страниц, отсчет идет именно оттуда.
Что касается владельцев сайтов, то им выгодно делать все для сокращения числа уровней вложенности страниц. Этого можно достигнуть с помощью перегруппировки разделов и категорий, изменения системы навигации (удаление / добавление / сужение / расширение меню) и другими методами.