Хостинг сайтов

Если ты определишь в твоем

1. У меня есть сайт на области добавления, что я не хочу поисковые машины к индексу. Так, я помещал robots.txt в корень области добавления, это правильно? то есть: domain.com/robots.txt 2. Будет robots.txt предотвращать быть оштрафованным поисковыми машинами для двойного содержания? (это - главная цель для меня), Спасибо.. затруднительноеПривет Затруднительный, 1) Да, robot.txt должен быть в твоей папке корня. Твой пример был правилен. 2) Если ты определишь в твоем robots.txt, что роботы не могут посетить определенные страницы, то да это предотвратит поисковые машины, рассматривающие их таким образом штрафование тебя для них. Пример: Пользователь-агент: * Отвергни:/cgi/ Отвергни:/folder1/ Отвергни:/billy/