Настройки robots.txt. Часть 2
Теперь создадим другие настройки, которые запретят индексацию всего сайта только боту от поисковой системы Google . Надеюсь Вам понятно, что нам достаточно будет изменить первую строку, где размещена команда user-agent. С такими условиями, файл настроек robots.txt будет выглядеть так:
user-agent: googlebot
dissalow: /
Как вы заметили, в строке user-agent, на месте звёздочки, указано конкретное название бота — googlebot. Несложно догадаться, что это название поискового бота системы Google. Названия остальных ботов можно найти в интернете, или посмотреть в статистике сайта.
Кстати, для нормальной работы сайта нужен например платный хостинг в США или непосредственно в стране, на которую рассчитан веб-сайт. Поэтому не пренебрегайте этим аспектом и выбирайте качественное «жилище» для своего ресурса.
Пожалуйста, оставьте свой комментарий
Рекомендуемые к прочтению статьи:
- Мобильные телефоны от компании Nokia имеют большую популярность
- Опасности оптимизации. Часть 3
- Создание css файла, часть 6
- Семантическая верстка. Часть 5
- Качественный ремонт с использованием качественных деталей
- PHP и HTML. Наведение красоты, часть 9
- Характеристики ноутбука Dell Latitude E6530
- Каталоги. Правильный подход. Часть 1
- Урология в лечении импотенции
- Работа над сайтом. Индекс цитирования. Часть 5