Скажем, существует URL, давайте назовем его http://www.some-url.com/folder/
Этому местоположению включили каталог, перечисляющий, поэтому я могу сделать это:
wget -r -np http://www.some-url.com/folder/
Загружать все его содержание всеми файлами и подпапками и их файлами.
Теперь, что я должен сделать, если я хочу повторить этот процесс снова, месяц спустя, и я не хочу загружать все снова, только добавьте новые/измененные файлы?
Вы читали это? http://www.editcorp.com/Personal/Lars_Appel/wget/wget_5.html
"Несколько дней спустя Вы хотели бы, чтобы Wget проверил, изменился ли удаленный файл и загружает его, если он имеет".
wget -N http://www.some-url.com/folder/
Попробуйте это.