Как правильно настроить wget для загрузки только новых файлов?

39

Допустим, есть URL, давайте назовем его http://www.some-url.com/folder/

В этом месте включен каталог , поэтому я могу сделать это:

wget -r -np http://www.some-url.com/folder/

Для загрузки всего его содержимого со всеми файлами и подпапками и их файлами.

Теперь, что мне делать, если я хочу повторить этот процесс снова, через месяц, и я не хочу загружать все заново, только добавлять новые / измененные файлы?

Ричард Родригес
источник

Ответы:

53

ты читал это? http://www.editcorp.com/Personal/Lars_Appel/wget/wget_5.html

«Несколько дней спустя вы хотели бы, чтобы Wget проверил, изменился ли удаленный файл, и загрузите его, если он изменился».

wget -N http://www.some-url.com/folder/

Попробуй это.

user69274
источник
5
Но -N бесполезен, если извлеченный файл не имеет последнего измененного заголовка.
Unibasil
17
wget -c 

также продолжает частичные файлы, вызванные, когда загрузка имеет проблемы .....
Еще лучше,

 wget -c -N 

кажется, делает оба одновременно.

Генри Крутчер
источник
Я обнаружил, что с моей версией 1.11.4 Red Hat modifiedэти флаги не совместимы и -c переопределяет -N.
Мэтт Уильямсон