Настройки robots.txt. Часть 2
Теперь создадим другие настройки, которые запретят индексацию всего сайта только боту от поисковой системы Google . Надеюсь Вам понятно, что нам достаточно будет изменить первую строку, где размещена команда user-agent. С такими условиями, файл настроек robots.txt будет выглядеть так:
user-agent: googlebot
dissalow: /
Как вы заметили, в строке user-agent, на месте звёздочки, указано конкретное название бота — googlebot. Несложно догадаться, что это название поискового бота системы Google. Названия остальных ботов можно найти в интернете, или посмотреть в статистике сайта.
Кстати, для нормальной работы сайта нужен например платный хостинг в США или непосредственно в стране, на которую рассчитан веб-сайт. Поэтому не пренебрегайте этим аспектом и выбирайте качественное «жилище» для своего ресурса.
Пожалуйста, оставьте свой комментарий
Рекомендуемые к прочтению статьи:
- Итоги ежегодного конкурса «Блог Рунета»
- Советы по заказу сайта
- Разработка сайтов для служб знакомств
- Игры онлайн для любого возраста
- Обмен ссылками, покупка. Часть 4
- PHP и HTML. Подробности, часть 16
- Использование адреса в раскрутке. Часть 1
- Интересная раскрутка сайта донорами. Часть 2
- Хороший хостинг – хороший сайт
- Поиск товарных знаков — зачем он нужен