Коротко о поисковом роботе | ПРОДВИЖЕНИЕ

Коротко о поисковом роботе

После добавления новой страницы на сайт не стоит ждать её моментальной индексации и появления в поиске. Это произойдет после того, как поисковый робот её обнаружит и проиндексирует. Причем сам процесс индексации для статических HTML-страниц и для динамических страниц, содержащих JavaScript, различен.

Краулер – это бот, который находит и обрабатывает страницы сайта. Соответственно, сам процесс обработки называется краулинг и происходит он следующим образом.

Сперва краулер обходит карту сайта, внутренние и внешние ссылки. Так формируется список URL веб-ресурса. После получения списка бот сверяется с файлом robots.txt на предмет разрешения или запрещения обхода страниц. Файл robots.txt является рекомендательным, а не запрещающим. Если на страницу, которая запрещена для обхода в robots.txt, ведут ссылки, то бот будет её индексировать и соответственно она появится в поиске. И уже затем краулер разбивает ссылки по значимости, выставляя определенные приоритеты и начинает сканировать, учитывая множественные факторы, например, удаленность от главной страницы. И чем дальше страница находится от главной, тем меньше вероятность её индексации поисковым роботом.

В статической HTML-странице индексируется контент на содержание ключевых слов или ссылок. В динамической странице добавляется дополнительный этап. Кроме сканирования поисковый робот считывает закодированный через JavaScript контент, и затем индексирует страницу. Это промежуточный этап назвали рендерингом. Получается, что индексирование динамической страницы занимается больше времени, чем статической. И на неё тратится больше ресурсов. И чем сложнее у контента код JavaScript, то вполне допустимо, что робот не сможет просканировать его и, соответственно, новая страница долго не появится в поиске. Конечно, скорость сканирования никак не влияет позиции сайта в поиске, но очень важна внутренней работы сайта.

Владельцев небольших сайтов обычно не беспокоит проблема долгой индексации. Хотя если новая страница долго не появляется в поиске, то самое время заняться оптимизацией. С этим  можно обратиться в нашу компанию «Продвижение», которая выполнит продвижение сайта в Краснодаре. Как правило, ожидание долгой индексации затрагивает крупные проекты, содержащие от 10 тысяч страниц. Но и это решаемо, хотя занимает достаточно длительное время.