Работа над оптимизацией. Часть 2

Недавно мы его уже рассматривали подробно в статье, разбитой на несколько частей, поэтому буквально поверхностно повторим, для чего же нужен файл robots.txt .
Файл robots.txt располагается в корневой директории, и служит сводом правил для роботов, посещающих ресурс. Основными командами для управления роботами являются user-agent — команда, позволяющая задать название бота, и команда dissalow — при помощи которой мы запрещаем доступ к файлам или папке, указывая путь от корневого каталога, либо сам корневой каталог.
Стоить отметить то, что наличие данного файла очень желательно, даже если вы не устанавливали никаких запретов. Хотя, если вы прочитаете предыдущий цикл статей, то узнаете, что практически у любого сайта есть такой каталог, который лучше запретить для индексации. Но если же вы действительно не используете запретов, просто создайте пустой файл.
Кстати, снять склад Киев не так уж и сложно как это казалось мне раньше. Достаточно воспользоваться услугами на сайте kiev.krysha.ua. Если для Вас это актуально, то рекомендую посетить данный ресурс.

Тэги: News