Работа над оптимизацией. Часть 2
Недавно мы его уже рассматривали подробно в статье, разбитой на несколько частей, поэтому буквально поверхностно повторим, для чего же нужен файл robots.txt .
Файл robots.txt располагается в корневой директории, и служит сводом правил для роботов, посещающих ресурс. Основными командами для управления роботами являются user-agent — команда, позволяющая задать название бота, и команда dissalow — при помощи которой мы запрещаем доступ к файлам или папке, указывая путь от корневого каталога, либо сам корневой каталог.
Стоить отметить то, что наличие данного файла очень желательно, даже если вы не устанавливали никаких запретов. Хотя, если вы прочитаете предыдущий цикл статей, то узнаете, что практически у любого сайта есть такой каталог, который лучше запретить для индексации. Но если же вы действительно не используете запретов, просто создайте пустой файл.
Кстати, снять склад Киев не так уж и сложно как это казалось мне раньше. Достаточно воспользоваться услугами на сайте kiev.krysha.ua. Если для Вас это актуально, то рекомендую посетить данный ресурс.
Пожалуйста, оставьте свой комментарий
Рекомендуемые к прочтению статьи:
- Как оплатить покупку в Интернете
- Блог. Платный или бесплатный? часть 1
- Общие положення облицовки стен
- PHP и HTML. Основы, часть 3
- Об игре Дота 2
- Инженерная доска стала быстро популярной
- Размер экрана в планшете не главное?
- В каком виде подавать текст для разработки сайта дизайнеру
- Акции Mail.ru Group упали в цене
- JavaScript в wordpress. Часть 2