Настройки robots.txt. Часть 2

16/01/2012 в Разное

Вторая строка с diassalow: указывает путь, который нужно исключить из индексации. В нашем случае, в данной строке введён слеш (/), который указывает на корневой каталог. Таким образом, мы запрещаем всем роботам индексировать корневой каталог. Напомним, что корневой каталог является самым первым каталогом, и в нём находятся все остальные каталоги. Таким образом, запретив индексацию корневого каталога, запрет возлагается абсолютно на все файлы и папки.

Теперь создадим другие настройки, которые запретят индексацию всего сайта только боту от поисковой системы Google . Надеюсь Вам понятно, что нам достаточно будет изменить первую строку, где размещена команда user-agent. С такими условиями, файл настроек robots.txt будет выглядеть так:
user-agent: googlebot
dissalow: /
Как вы заметили, в строке user-agent, на месте звёздочки, указано конкретное название бота — googlebot. Несложно догадаться, что это название поискового бота системы Google. Названия остальных ботов можно найти в интернете, или посмотреть в статистике сайта.
Кстати, для нормальной работы сайта нужен например платный хостинг в США или непосредственно в стране, на которую рассчитан веб-сайт. Поэтому не пренебрегайте этим аспектом и выбирайте качественное «жилище» для своего ресурса.

Тэги:

Пожалуйста, оставьте свой комментарий





 

Рекомендуемые к прочтению статьи:

Статистика

Ошибки:

  • 0xc000000f
  • 0xc00000e9
  • 0xc000007b
  • 0xc0150002
  • 0xc0000005
  • Политика конфиденциальности