Я только что обновил свой файл robots.txt на новом сайте; Инструменты Google для веб-мастеров сообщают, что прочитали мой файл robots.txt за 10 минут до моего последнего обновления. Можно ли как-нибудь посоветовать Google перечитать мой robots.txt как можно скорее? ОБНОВЛЕНИЕ: под конфигурацией...
Для того, чтобы: Повысить безопасность моего сайта Уменьшить требования к пропускной способности Запретить сбор адресов электронной почты
Я пытаюсь установить robots.txtдля всех виртуальных хостов под nginx http-сервер. Я смог сделать это в Apache, поставив в основном следующее httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Я попытался сделать что-то похожее с...
У нас есть настройка веб-сервера разработки XAMPP Apache с виртуальными хостами, и мы хотим, чтобы serps не сканировал все наши сайты. Это легко сделать с помощью файла robots.txt. Тем не менее, мы бы не хотели включать disallow robots.txt в каждый vhost, а затем должны были бы удалить его, когда...