Расскажем, что делать если Вам необходимо настроить файл robots.txt имея кириллический домен в зоне .РФ. Вы узнаете, как преобразовать URL с кириллицей в понятный для робота вид.
Читать далее...Кириллический домен в robots.txt

Рубрика о файле robots.txt. Тут собраны все статьи, которые касаются настройки данного файла.
Расскажем, что делать если Вам необходимо настроить файл robots.txt имея кириллический домен в зоне .РФ. Вы узнаете, как преобразовать URL с кириллицей в понятный для робота вид.
Читать далее...Вебмастер показал наличие проблем, но нету подробностей и решений? Расскажем, как справиться с фатальными, критичными и возможными проблемами.
Читать далее...Это самая полная статья о настройке и синтаксисе robots.txt с примерами. Мы разберем каждую директиву, объясним как проверить свой файл, а так же расскажем, какие бывают индексирующие роботы.
Читать далее...Мы собрали правильные robots.txt для самых популярных систем управления Рунета. Пользуйтесь.
Читать далее...