Существует ли программное обеспечение, которое может проверить веб-страницу, обнаружить все файлы с данным расширением и загрузить их всех?
Это может быть автономное программное обеспечение или дополнение Firefox.
Веб-поиск "webcrawler или webspider" будет, будучи большим количеством других поисковых роботов. WebReaper сделает то, что Вы попросили, и не трудно для использования. Это загружает целый сайт и ссылки, если Вы хотите. Это просто зависит от того, как глубоко Вы хотите пойти. Чем глубже Вы идете, тем дольше это берет и большее пропускная способность веб-сайта, Вы используете. http://www.webreaper.net/