Расскажем, что делать если Вам необходимо настроить файл robots.txt имея кириллический домен в зоне .РФ. Вы узнаете, как преобразовать URL с кириллицей в понятный для робота вид.
Читать далее...Кириллический домен в robots.txt
Рубрика: Robots.txt
Рубрика о файле robots.txt. Тут собраны все статьи, которые касаются настройки данного файла.
Диагностика сайта Webmaster
Вебмастер показал наличие проблем, но нету подробностей и решений? Расскажем, как справиться с фатальными, критичными и возможными проблемами.
Читать далее...Файл robots.txt — подчини себе Yandex и Google
Это самая полная статья о настройке и синтаксисе robots.txt с примерами. Мы разберем каждую директиву, объясним как проверить свой файл, а так же расскажем, какие бывают индексирующие роботы.
Читать далее...Правильные robots.txt для популярных CMS
Мы собрали правильные robots.txt для самых популярных систем управления Рунета. Пользуйтесь.
Читать далее...