- Введение
- Проверка индексации Яндексом
- Проверка индексации Google
- Проверка на наличие запрета индексации
Введение
Для того, что бы Ваш сайт полностью участвовал в поиске, необходимо убедиться, что все его разделы проиндексированы. Очень часто, качественные страницы, которые бы могли занимать ТОПовые места, исключаются из поиска из-за простейших ошибок в индексации.
Сейчас мы расскажем как проверить количество проиндексированных и расположенных в поиске страниц. А так же коснемся вопроса запрета индексации.
Проверка индексации Яндексом
Так как Яндекс является лидирующей русскоязычной поисковой системой и предоставляет наиболее полную информацию об индексации сайта, мы уделим ему максимум внимания.
Для того, что бы получить наиболее полную информацию, Вам понадобиться настроить Яндекс Вебмастер. (Инструкция подключения находится на официальном сайте Яндекса). Он позволит получить исчерпывающие данные об индексации Вашего ресурса.
После того, как Вебмастер будет подключен, переходим на вкладку «Индексирование«->»Статистика обхода«. Перед Вами откроется следующая информация.
На графике представлены 3 параметра:
- Загруженные страницы;
- Исключенные страницы;
- Страницы в поиске.
«Загруженные» — это страницы, которые уже находятся в базе поисковой системы. Не обязательно, что такая страница будет находится в поиске.
«Исключенные» — это страницы, которые не были допущены к поиску. Причины этому могут быть разные. К примеру, ответ 404, некачественное содержимое, дубликаты URL и подобные.
«В поиске» — это самый важный для нас параметр. Именно он показывает сколько страниц в данный момент присутствует в поиске.
Как посмотреть, есть ли страницы в индексе?
-
Способ 1. Если страниц на сайте не много, то это можно сделать вручную в разделе «Статистика обхода» -> «Страницы в поиске«. Тут представлен полный список того, что присутствует в поиске.
-
Способ 2. При помощи сервиса «Проверить статус URL«. Он так же находится в Вебмастере в разделе «Индексирование«. Проверка займет небольшое количество времени, но по ее итогам Вы получите достаточно исчерпывающую информацию о странице.
Статус может быть самым разным, к примеру:
-
Способ 3. При помощи инструкции «site:«. Данная инструкция поддерживается большинством популярных поисковых систем. Ее синтаксис очень прост. Необходимо прописать «site:» и сразу после URL.
Обратите внимание, что пробел после двоеточия не ставится!
По итогам ввода Вам будут показаны все материалы с данного ресурса. Чуть ниже кнопки «Найти» указывается число страниц, а левее в выдаче присутствуют все их сниппеты.
-
Способ 4. При помощи ввода отрывка текста со страницы. Если ввести в поисковую строку целый абзац (до 40 слов), то на первом месте будет именно Ваша страница. Если она конечно находится в поиске.
Обязательно проверьте, что бы в поиске был представлен нужны вам URL, а не сторонняя ссылка с Вашего домена. При необходимости возможно заключить фразу в двойные кавычки, это позволит искать строго по введенному запросу.
Проверка индексации Google
Проверка индексации в Google очень схожа с Яндексом. Для Google справедливы такие способы, как:
-
Инструкция «site:». Работает совершенно таким же образом.
-
Ввод отрывка текста. Данный вариант так же полностью схож с Yandex.
-
Как и в случае с Вебмастером, информация об индексировании отражается в Google Search Console.
Проверка на наличие запрета индексации
Проверка сайта на наличие запрета индексации — это первое, с чего начинается SEO. Если роботу будет запрещен доступ, то ни о каком органическом трафике и речи быть не может. Давайте разберем, каким образом может быть закрыт доступ и как это исправить.
Где запрещается индексация страниц
В первую очередь, необходимо проверить файл robots.txt. Именно он отвечает за индексацию. Если в нем присутствует инструкция Disallow: /, это означает, что доступ полностью закрыт.
Примечание: Доступ может быть закрыт для одной или нескольких поисковых систем. К примеру, если перед данной инструкцией стоит User-agent: Yandex, то запрет распространяется только на Яндекс.
Кроме robots.txt, за индексацию отвечает meta тег <meta name=»robots» content=»noindex»>. Все страницы, на которых он расположен, закрыты для робота.
Обязательно проверьте настройки Вашей CMS. Зачастую шаблон сайта по умолчанию закрывается тегом noindex.
Примечание: Будьте внимательны при написании статей, некоторые CMS устаревшие материалы относят к архиву, индексация которого закрывается при помощи <meta name=»robots» content=»noindex»>.
Подробнее о запрете индексации — dh-agency.ru/indeksaciya-sayta-chast-1
Как дать доступ к своему сайту
Если в файле robots.txt индексация сайта запрещена, то необходимо удалить инструкцию Disallow: / и настроить его должным образом.
Примечание: Для популярных CMS, таких как WordPress, Joomla! и Bitrix есть готовые решения по настройке роботс.
Если Вы обнаружили на страницах запрещающий тег <meta name=»robots» content=»noindex»> просто удалите его. Это возможно сделать в коде Вашего шаблона между тегами <head></head>.
Примечание: Перед тем, как искать тег в шаблоне, убедитесь, что в настройках Вашей CMS не стоит галочка «Попросить поисковые системы не индексировать мой сайт»