У меня есть поддомен, который я не хочу отображать в результатах поиска. Скажем, у меня есть:
http://www.example.comhttp://child.example.com
Как я могу скрыть все URL child.example.comдомена, которые в данный момент отображаются в результатах поиска?
search-engines
url
robots.txt
search
noindex
夏 期 劇場
источник
источник
noindexв указатель и другие страницыИспользование файла robots.txt в вашем поддомене поможет (и Google выполнит это), но еще один шаг, который вы можете сделать, - указать в учетной записи Google Webmasters, что вы не хотите, чтобы этот поддомен был проиндексирован. Вы также можете использовать метатег на всех страницах в поддомене:
Если это сайт, который вы используете только для внутреннего тестирования, ограничение видимости указанным набором IP-адресов в файле виртуальных хостов еще больше скроет сайт.
источник
metaтег noindex в каждую страницу, вы можете вместо этого вернутьX-Robots-TagHTTP-заголовок ответа с вашего сервера для указанного субдомена - это нужно сделать только один раз.Решения от Кензо и Пола хороши, вы можете разместить мета-теги noindex на своих веб-страницах и добавить robots.txt, чтобы запретить роботов.
Но, на мой взгляд, лучшее решение - использовать аутентификацию по паролю в вашем поддомене. Это единственное решение, которое вы уверены, что роботы могут получить доступ и проиндексировать ваш веб-сайт. Если вы используете Apache, вы можете реализовать htpasswd .
источник
Другие ответы больше касаются проактивного предотвращения индексации (суб) домена (что в первую очередь задает вопрос), а не активного удаления ваших страниц из результатов поиска, что может быть больше, чем вы ищете, судя по Ваш другой вопрос .
Вам все еще нужно заблокировать свой сайт в файле robots.txt и использовать тег noindex
meta(илиX-Robots-Tagзаголовок ответа HTTP), как указано в других ответах, но вам также нужно заблокировать доступ к своим страницам, возвращая код состояния 404 или 410.Подробнее об этом можно прочитать на странице справки Инструментов Google для веб-мастеров:
Требования к удалению контента
Как только вы все это сделаете, вы можете использовать инструмент « Удалить URL» в Инструментах Google для веб-мастеров. Однако это относится только к отдельным URL-адресам, а не ко всему сайту, но это только начало. (Google заявляет, что использование robots.txt, noindex и обслуживание 404 являются требованиями для использования инструмента удаления GWT.)
Однако, если вы по-прежнему хотите, чтобы обычные пользователи могли получить доступ к сайту, введя URL-адрес, это проблема, поскольку ваш контент больше недоступен. Вы можете ввести его в пароль, как предлагает Zistoloen, однако по умолчанию это вернет 403 (Forbidden), который вам нужно будет переопределить, чтобы вернуть 404/410. Вы могли бы скрыть свой контент, вернув 410 роботу Google и позволить всем остальным войти, но как насчет людей, нажимающих на результаты в поисковой выдаче?
Но если вы хотите, чтобы Google удалил ваш контент в кратчайшие сроки, вам нужно удалить его из Интернета «Google».
источник