Настройки robots.txt. Часть 1
Начнём с того, что файл robots.txt является абсолютно обычным текстовым файлом, которые обычно создаются при работе с блокнотом с среде Windows (кстати, установка Windows 8 с флешки занимает намного меньше времени и усилий, чем с диска. Поэтому если у Вас более старая версия ОС Windows, то смело устанавливайте восьмерку именно таким образом). Если, вводя адрес сайта, нас первым делом переадресуют на страничку index.html , то, попадающие роботы на сайт, первым делом отправляются к файлу robots.txt (точнее сами его находят), и читают правила посещения данного ресурса, представленные в виде команд.
Команды могут создавать сложную структуру запретов, но всё это делается всего лишь при помощи двух команд: «user-agent» и «dissalow».
Вот пример содержания файла robots.txt, который запрещает индексацию всего сайта для всех поисковиков:
user-agent: *
dissalow: /
Указав в строке user-agent: «звездочку» (*), мы даём понять, что данное правило относится ко всем роботам. Вместо звёздочки можно указать конкретное имя робота.
Пожалуйста, оставьте свой комментарий
Рекомендуемые к прочтению статьи:
- Использование подвесных светильников в интерьере
- Поспамить «ВКонтакте» будет уже не просто!
- Лучшие поздравления женщинам в день 8 марта
- Современные возможности телефонных станций
- Как подготовиться к укладке керамической плитки на пол
- Своевременный ремонт ходовой – залог комфорта и безопасности
- Яндекс.Директ — несколько слов. Часть 4
- Критерии выбора при покупке мобильного устройства
- Гравировка: идеи для оригинального подарка
- Раскрутка блогов. Часть 3