Вопросы с тегом «internet-archive»

Контроль над интернет-архивом кроме просто «Запретить /»?

Существуют ли механизмы контроля того, что архивы интернет-архива на сайте? Я знаю, чтобы запретить все страницы, которые я мог бы добавить : User-agent: ia_archiver Disallow: / Могу ли я сообщить боту, что я хочу, чтобы он сканировал мой сайт один раз в месяц или раз в год? У меня есть сайт /...

Как правильно (де) разрешить боту archive.org? Изменились ли вещи, если и когда?

У меня есть веб-сайт, который я не хочу индексировать поисковыми системами, но я хочу сохранить его навеки на сайте archive.org. Итак, мой robots.txtначинается с этого: User-agent: * Disallow: / Сегодня, согласно archive.org, я должен добавить следующее в мои, robots.txtчтобы позволить их ботам:...