FTP также замедляется при отправке многих маленьких файлов
Я часто должен передавать 4 000 маленьких файлов удаленному серверу (приблизительно 20 МБ данных), к которому у меня в настоящее время только есть доступ FTP. Эта операция занимает 30 минут, но если бы я должен был отправить, один файл измерил 20 МБ, потребовалось бы 2 секунды или около этого. Я ищу альтернативу, которая быстрее, и которая, например, архивирует эти 4 000 файлов в один файл, отправляет zip-файл и разархивировала его в удаленной машине. Есть ли какие-либо серверы передачи файлов, которые делают это?
Обратите внимание, что у меня есть доступ к установке альтернативного сервера на удаленной машине, таким образом, я не ограничен FTP-сервером.
Заранее большое спасибо Jeeji
4 ответа
Вы говорите, что только имеете доступ FTP, но затем говорите, что у Вас есть способность установить альтернативный сервер. Можно ли установить и использовать ли rsync?
Rsync будет работать на основе ssh и был разработан для обработки "большого количества крошечных файлов" проблема путем отправки им как непрерывный поток данных и не как дискретные блоки каждый с их собственными издержками.
Архивируйте их и отправьте их на сервер и затем используйте запланированную задачу на стороне получения, чтобы найти zip и разархивировать их локально. Используя наблюдателя файловой системы можно обнаружить, когда zip создается, ожидайте, пока она не сделала загрузку (т.е. больше не изменяется), и затем разархивируйте ее.
Спасибо за Ваши предложения. Я думал о решении проблемы сам, поскольку Вы предлагаете использовать монитор файловой системы, который инициировал, когда zip-файл копируется. Однако требуется некоторое программирование, так как мне нужен он для выполнения как услуга (так, чтобы это запустилось без зарегистрированного пользователя), и мне нужен он для возврата некоторого состояния результата. Все это возможно к программе, но однако было бы намного легче, если существует готовое решение.
Я изучу rsync. Это звучит точно как приложение, которое я ищу.