Настройки robots.txt. Часть 2
Теперь создадим другие настройки, которые запретят индексацию всего сайта только боту от поисковой системы Google . Надеюсь Вам понятно, что нам достаточно будет изменить первую строку, где размещена команда user-agent. С такими условиями, файл настроек robots.txt будет выглядеть так:
user-agent: googlebot
dissalow: /
Как вы заметили, в строке user-agent, на месте звёздочки, указано конкретное название бота — googlebot. Несложно догадаться, что это название поискового бота системы Google. Названия остальных ботов можно найти в интернете, или посмотреть в статистике сайта.
Кстати, для нормальной работы сайта нужен например платный хостинг в США или непосредственно в стране, на которую рассчитан веб-сайт. Поэтому не пренебрегайте этим аспектом и выбирайте качественное «жилище» для своего ресурса.
Пожалуйста, оставьте свой комментарий
Рекомендуемые к прочтению статьи:
- Надежный помощник во всех делах
- Заработок в интернете при помощи заполнение анкет
- Сколько стоит раскрутить сайт?
- Google PageRank. Часть 5
- Значение ключевых слов в раскрутке и оптимизации портала
- Форум seo специалистов
- Яндекс.Директ — несколько слов. Часть 1
- Как установить wordpress. Часть 2
- Специалисты отремонтируют любой диван
- С новыми страницами в ТОП. Часть 5