Как я загрузил бы список файлов от файлового сервера как этот http://www.apache.org/dist/httpd/binaries/?
Я предполагаю, что мог использовать wget, но затем он пытается получить все ссылки и файл HTML также. Существует ли лучший инструмент для выполнения этого?
предположение Вас действительно просто хочет список файлов на сервере, (еще) не выбирая их:
%> wget-r-np - паук http://www.apache.org/dist/httpd/binaries/ 2> &1 | awk-f filter.awk | uniq
в то время как 'filter.awk' похож на это
/^--.*-- http:\/\/.*[^\/]$/ { u=$3; } /^Length: [[:digit:]]+/ { print u; }
затем возможно необходимо отфильтровать некоторые записи как
"http://www.apache.org/dist/httpd/binaries/?C=N;O=D"