Если показатель краулингового бюджета оказался меньше 3, то у вас хороший уровень краулингового бюджета. Если больше 3, но меньше 10, значит, надо провести работу по устранению ошибок. В этом случае рекомендуем проанализировать сайт, чтобы понять, правильно ли бюджет распределяется на сайте.
Горизонтальная, «плоская» структура намного предпочтительнее вертикальной. Структуру сайта, на котором любая страница доступна не более, чем за 4 клика от главной, принято считать плоской. Глубокой называют архитектуру сайта с вложенностью от 5 кликов от главной страницы.
В разговоре оптимизаторы нередко упоминают термин «краулинговый бюджет сайта». Для понимания что такое краулинговый бюджет и принципа его работы, давайте вспомним вследствие чего разделы веб-сайта появляются в выдаче. Это происходит после их индексации со стороны робота поисковой системы.
В итоге страница условных розовых слонов располагается в выдаче гораздо выше страницы, где представлен весь ассортимент слонов, а не только розовых. Важно помнить, что краулинговый бюджет назначается каждому сайту индивидуально, на основе его популярности, востребованности и серверной доступности. В случае с нашим сайтом на момент проверки краулинговый бюджет составил 2,23, что считается хорошим показателем — нет поводов для беспокойства. Мы рекомендуем использовать анализ сайта при помощи сервисов Google и Яндекс примерно раз в неделю. Это поможет просто и быстро понять общую картину по сайту и выявить ошибки. Google Search Console и Яндекс.Вебмастер помогают определить количество просканированных ботами страниц.
Рекомендуемые Статьи
Обязательно проработайте файл robots.txt, закрыв в нем от индексации все дежурные страницы (например, директории админки, страницы входа, формы, корзины и т.д.). Для поискового робота сайт может находиться сразу на нескольких адресах. Если перенаправление не настроено, то главное зеркало определяется поисковиками автоматически. В таком случае, управление краулинговым бюджетом может усложниться. Особое отношение со стороны краулеров к 500-м кодам ответа, которые означают, что ресурс временно недоступен. Это явный признак некачественного сайта, на который поисковая система вряд ли захочет тратить свои ресурсы, и постепенно начнет снижать краулинговый бюджет в целом.
Для поискового краудера не важно, статический ли перед ним URL или динамический и они с радостью переходят по обоим. Не важно, ведут ли эти URL на разные страницы или на одну, переход они все равно получают, то есть тратят часть вашего краулингово бюджета. Посмотрите как часто боты поисковых систем заходят к вам и сколько страниц в день в среднем обходят.
Как Оптимизировать Краулинговый Бюджет?
Необходимо как можно скорее выявить причины и устранить их, чтобы не терять в индексации. Если речь о крауд-маркетинге, ссылки необходимо размещать только на трастовых сайтах, которым доверяют поисковики. Делать это нужно как можно более естественно — без анкора. И даже если пользователю кажется, что анкорная ссылка выглядит более естественно, увы, поисковые системы считают наоборот — они ценят безанкорные ссылки.
Однако это вовсе не значит, что этих директив быть не должно. Нет точного способа составить список причин, по которым поисковый робот просканирует URL или не станет это делать. Процесс краулинга лучше описан для роботов Google благодаря тому же Гэри Иллису (Gary Illyes). Google создаёт список URL и сортирует их по приоритетности.
Таким образом, наличие у страницы обратных ссылок побудит поисковые системы чаще посещать эти страницы, что приведет к увеличению бюджета сканирования. Когда робот Google обнаруживает редирект 301, он может не сканировать перенаправленный URL-адрес сразу, а добавит в список URL-адресов для сканирования. В результате, такие ненужные к индексации страницы, будут расходовать ваш краулинговый бюджет. Понимание значения краулингового бюджета и его оптимизации для целей search engine optimization очень важно. Да, это очень техническая тема и поэтому большинство веб-мастеров стараются её избегать.
- Изучение серверных логов даст вам максимум информации по маршрутам ботов и расписанию их обходов.
- Поисковый робот или браузер обращается к определенному URL, запрашивая страничку.
- А если показатель больше 10, то на сайте есть уязвимые места.
- Выявить их вы можете с помощью любого софта для аудита сайтов, например, Screaming Frog.
- Если у вас нет навыков администрирования серверов, содержимое лога вас, безусловно, напугает.
- По идее это много, но для таких площадок как интернет-магазины, где товары регулярно обновляются, one hundred fifty страниц могут появиться даже за один день.
А это очень важно и как фактор ранжирования, особенно в сферах, связанных со здоровьем и финансами людей (YMYL). Чем крупнее ваш сайт и чем чаще вы обновляете контент – тем важнее правильно настроить такой ответ сервера. Чтобы избавиться от дублей окончательно, нужны более радикальные меры, чем директивы для ботов. Оптимально – оценить возможность удаления дублирующегося контента. Ещё один важный источник информации об ошибках – это инструменты вебмастеров. Яндекс-Вебмастер, например, вообще предлагает включить мониторинг важных страниц, чтобы вы могли своевременно получать уведомления об ошибках.
А большому сайту вполне может потребоваться увеличение бюджета. Мы собрали наиболее часто встречающиеся вопросы, касательно краулингового бюджета сайта. Страница при нормальной ее работе отдает 200 (OK) код, либо 301 при редиректе. Если говорить про редиректы, то при получении краулинговый бюджет 302 кода, краулер «подумает», что посетил недоступную страницу – бюджет будет потрачен впустую. На относительно маленьком проекте о краулинговом бюджете можно не задумываться, т.к. Его количества хватает с избытком на то, чтобы проиндексировать новые страницы.