Как сканировать свой собственный сайт, чтобы сохранить в кеш

0

Я использую Squid , программу для кеширования, для кеширования моего сайта. Однако для этого необходимо, чтобы к каждой странице обращались как минимум один раз, прежде чем Squid сможет ее кешировать. У меня вопрос: есть ли программа, которая будет быстро сканировать мой веб-сайт, получать доступ ко всем страницам один раз, чтобы Squid мог их кешировать.

ура

cache squid web-crawler user2028856
источник

Ответы:

2

Вы можете использовать wget для этого. После установки http_proxyпеременной окружения, указывающей на ваш прокси, запустите ее с параметрами, подобными приведенным ниже (команды linux ниже).

export http_proxy=http://127.0.0.1:3128/

wget --cache=off --delete-after -m http://www.mywebsite.org
Брайан
источник
Для команды export http_proxyэто постоянная настройка для направления всего будущего доступа в Интернет через порт прокси? Также для второй команды, что именно она делает? Я не собираюсь загружать свой веб-сайт «Я», если использую эту команду
user2028856
Пока он установлен, большинство команд в стиле Unix будет использовать прокси-сервер yes. Команда wget загрузит ваш веб-сайт (-m для зеркала), но впоследствии удалит локальную копию (--delete-after). Конечный результат - вы перетащили свой сайт через прокси. Параметр --cache = off означает не брать данные из кэша squid, а получать их с веб-сервера (полезно для удаления устаревших страниц из прокси-кэша squid).
Брайан
@ user2028856 exportбудет действовать только на время этой командной оболочки и только внутри этой командной оболочки. Другие оболочки не будут затронуты, если они не запущены из оболочки, в которой вы работали export. Так что просто exitиз оболочки или закройте окно терминала / командной строки, когда wget завершит работу, и все вернется на круги своя.
CVn
Я хотел бы установить постоянную настройку для этого сервера, чтобы все будущие исходящие соединения проходили через прокси-сервер, какие настройки мне нужно изменить, чтобы это произошло?
user2028856