Если я создаю статическую страницу в домене (http://www.domain.com/page.html), может ли сканер по-прежнему видеть ее, если на сайте нет ссылок на нее?
web-crawlers
разделенный
источник
источник
Ответы:
Могут ли они это увидеть? Да. Могут ли они найти это? Не без помощи
Сканеры обычно находят страницы для сканирования, переходя по ссылкам на них на других страницах. Некоторые сканеры (например, поисковые роботы) также сканируют страницы, перечисленные в специальных файлах XML. Поэтому, если на вашем веб-сайте или на любом другом веб-сайте нет ссылки на страницу, эта страница не будет сканироваться (страницы, содержащие URL-адрес этой страницы, но в виде простого текста, будут найдены Google ).
Однако после того, как страница найдена и просканирована, ее можно сканировать снова, даже если все ссылки на эту страницу удалены с соответствующих веб-сайтов. Это связано с тем, что просматриваемые страницы затем индексируются (например, добавляются в список искателей для повторного сканирования), поэтому сканер знает, что его нужно сканировать позже, чтобы найти изменения. Если вы хотите предотвратить это, вы можете выполнить одно из следующих действий:
Наиболее эффективный
Менее эффективны
источник
Другой способ, которым страница может быть обнаружена, - это когда у вас есть ссылки на другие сайты на этой странице.
URL-адрес вашей страницы будет отображаться в их журналах реферера, и для многих веб-мастеров неплохо бы кратко просмотреть эти журналы и посмотреть, что другие говорят об их страницах.
Похоже, что некоторые сайты предоставляют доступ к этим журналам без каких-либо ограничений, поэтому сканеры также могут получить к ним доступ ...
Чтобы страница была действительно секретной, не позволяйте ссылкам на внешние сайты.
источник