Я разрабатывал новую версию нашего сайта на поддомене ( dev.oursite.com
) и robots.txt с Disallow
заменой в какой-то момент, поэтому сайт был проиндексирован Google и другими поисковыми системами. Он не показывает высокие результаты или что-то в этом роде, но в нем есть все дублирующее содержание, и я бы предпочел, чтобы его там не было.
Субдомен теперь отсутствует, и у меня есть 301, который перенаправляет каждую страницу с dev.oursite.com/page-name
на http://oursite.com/page-name
.
Что еще нужно сделать, чтобы удалить сайт разработчиков из Google? Это исчезнет само по себе в конце концов?
search-engines
301-redirect
subdomain
google-index
рукав моря
источник
источник
Ответы:
Проверьте инструмент для удаления URL в Google Webmaster Tools. Я бы также 404 страниц вместо перенаправления их, чтобы удалить их быстрее, в будущем, за исключением robots.txt, вы можете зайти в,
rel="canonical"
чтобы убедиться, что Google знает, что сайт разработчика является просто копией основного сайта и не должен быть индексируются.источник
Я всегда обеспокоен тем, что разработка сайтов будет проиндексирована. Я не доверяю robots.txt или
meta noindex
, хотя я их использую, я также защищаю паролем сайты, если это не слишком неудобно. Но другой вариант - использовать .htaccess и запретить доступ всем, кроме IP-адресов в вашей компании, а также коллегам и разработчикам. Просто добавьте их класс C.источник
В дополнение к правильному ответу, предоставленному Джошаком, я хотел бы дать вам совет о том, как это можно предотвратить.
Что я сделал, чтобы решить ту же самую проблему, так это заставить файл robot.txt в определении vhost Apache httpd. Таким образом, «запрет» не может исчезнуть или быть изменен каким-либо кодом на разрабатываемом веб-сайте. Мои определения vhost выглядят примерно так:
источник