Анализ индексации сайта

Поисковики проводят через собственные базы все новые или измененные страницы. Перед появлением в поисковой выдаче html-документы проверяют роботы и вносят их в индекс. Суть проверки, состоит в определении системой, соответствует ли сайт ее требованиям.

Как это происходит

Сначала проверяемый сайт сканируется, вся информация с него сохраняется в системной базе – индексируется. Программы, которые выполняют этот процесс, называют роботами. Они ищут по сети ссылки на необходимые файлы, обращаются к серверу, проверяют, передают системе проверенный html-документ. Файл robots.txt содержит инструкции, определяющие, какие страницы не проходят в индекс.

Документ попадает в индекс, если программа посчитает, что он содержит только важные для поисковой системы данные:

• оформление;
• текстовый контент;
• ссылки;
• адреса.

Эти факторы влияют на ранжирование. В разных поисковиках применяется индивидуальная глубина проверки. Зачастую система позволяет роботу исследовать сайт до установленной отметки. После этого он должен уйти с ресурса. При этом ряд веб-страниц могут исследоваться не до конца.

Одна страничка посещается программой с периодичностью внесения изменений. Частота посещений колеблется от нескольких раз на день до 1-2 раза за неделю. Каждый раз оценивается 20-30 страниц, чтобы не перегружать сервер.

Движение по уровням площадки ограничивается для экономии средств, затраченных на индексацию. Ведь поисковики не благотворительные системы.

Чтобы получить максимальное индексирование, необходимо оставить оптимальное количество уровней. Так программа будет быстро анализировать содержимое, относить его к базе, а вы получите больше пользователей.

Как начать индексацию

Чтобы роботы начали процедуру, необходимо:

• проверить, открыта ли индексация в robots.txt;
• добавить площадку в поисковые системы, социальные закладки;
• ввести ссылки с других ресурсов, из соц. сетей.

Если использовать все указанные способы показа веб-ресурса, процесс индексации будет наиболее успешным.

Алгоритм действий при индексации:

• составить список страниц;
• проверить, вошли ли они в индекс;
• разделить на важные и второстепенные;
• узнать дату посещения роботом;
• проверить, есть на этих файлах ссылки;
• найти несоответствия;
• проанализировать индекс, внести исправления.

Анализ индексации сайта

Для начала продвижения важно удостовериться, что все файлы веб-сайта отнесены к индексам поисковиков. Потому, что:

• только эти части сайта будут видны посетителям и принесут вам прибыль;
• неполный комплект файлов свидетельствует о технических проблемах;
• если на странице, которая не попала в базу, есть ссылки, их отсутствие нарушит схему перелинковки, что повредит вашей репутации.

Есть два варианта проверки индексирования в Google и «Яндекс»:

1. Ручной. Скопировать адрес документа, через URL строку поисковой системы войти на нее. Если документ внесен, его адрес займет первую позицию выдачи.
2. Автоматический. С помощью плагина «RDS бар» можно узнать прошла ли страница, на которой вы находитесь, в индекс. Так же анализируются все остальные файлы сайта, и какие из них не проиндексировались. В результате проверки с помощью ряда программ вы получите список, не вошедший в базу поисковика.

Как анализировать ресурс самостоятельно:

1. Если находите важный документ, не попавший в индекс, обнаруживаете, что робот не посещал его, задача – привести его сюда.

2. Важная страница не попала в базу после оценки роботом:

• необходимо определить, почему он счел ее неважной;
• внести изменения;
• показать ее еще раз.

3. Когда индексируется неважный контент, нужно выяснить причину и устранить ее:

• заменой, удалением ссылок, файла в txt;
• с помощью инструментов поисковиков.

4. Маловажные страницы, отнесенные к базе, можно либо:

• убрать из индекса;
• спрятать их от роботов.

Анализ индексации сайта поисковиками необходим для увеличения эффективности взаимодействия с системами и выявления проблем, свойственных площадке. Вы можете самостоятельно анализировать проблемные файлы, устранять проблемы, чтобы успешно реализовывать свои проекты.

Материал подготовлен специалистом студии Web2 по поисковому продвижению.