Я хочу очистить все страницы и подстраницы веб-сайта (под очисткой я имею в виду сохранение всего онлайн-контента в локальных файлах HTML).
Какова лучшая утилита для сканирования всех страниц? В идеале, я хотел бы указать, сколько слоев необходимо очистить.
У вас есть два варианта:
Вы можете использовать wgetутилиту командной строки следующим образом:
wget -rl 10Замените 10количество уровней, на которые вы хотели бы перейти вниз.
Или вы можете использовать SiteSucker . Приложение с графическим интерфейсом, которое рекурсивно загружает веб-сайты. Вы также можете указать, как далеко вниз для рекурсии с SiteSucker.
DeepVacuum
Графический интерфейс для Wget, $ 15.
cocoawget
(свободно)
источник