Настройки robots.txt. Часть 2

Теперь создадим другие настройки, которые запретят индексацию всего сайта только боту от поисковой системы Google . Надеюсь Вам понятно, что нам достаточно будет изменить первую строку, где размещена команда user-agent. С такими условиями, файл настроек robots.txt будет выглядеть так:
user-agent: googlebot
dissalow: /
Как вы заметили, в строке user-agent, на месте звёздочки, указано конкретное название бота — googlebot. Несложно догадаться, что это название поискового бота системы Google. Названия остальных ботов можно найти в интернете, или посмотреть в статистике сайта.
Кстати, для нормальной работы сайта нужен например платный хостинг в США или непосредственно в стране, на которую рассчитан веб-сайт. Поэтому не пренебрегайте этим аспектом и выбирайте качественное «жилище» для своего ресурса.

Тэги: