Как ускорить rsync?
Я выполняю rsync для синхронизации каталога на мой внешний USB жесткий диск. Это - приблизительно 150 концертов данных. 50000 + файлы я предположил бы.
Это работает, это - первая синхронизация в данный момент, но ее копирование файлов на уровне только 1-5 МБ/с. Это кажется невероятно медленным для корпуса USB 2.0. Нет никаких других передач, происходящих на диске также.
Вот опции, которые я использовал:
rsync -avz --progress /mysourcefolder /mytargetfolder
Я выполняю Сервер Ubuntu 9.10.
3 ответа
Поскольку первая синхронизация просто использует
cp -a /mysourcefolder /mytargetfolder
rsync только добавляет наверху, когда место назначения пусто.
также..-z опция, вероятно, уничтожает Вашу производительность, Вы не должны использовать ее, если Вы не передаете данные по медленному каналу.
Вы не говорите, какое распределение размера Ваши файлы имеют. Если будет много маленьких файлов затем, то это уменьшит полную скорость передачи путем увеличения главной задержки перемещения и в источнике и в конечных дисках, поскольку инструмент открывает новые файлы, и ОС сохраняет записи каталога и другие метаданные (такие как журнал файловой системы, если Вы используете метаданные, журналирующие как ext3/ext4, и NTFS делают по умолчанию), актуальный во время передачи. Процесс копии файла только "наберет темп" для больших объектов, когда простая объемная передача произойдет.
Если Вы используете rsync с быстрой сетью или диском к диску в той же машине,
не использование сжатия-z
и использование - оперативный
ускоряет его до производительности жестких дисков или сети
сжатие использует много ЦП
не оперативное использование заставляет жесткий диск перегрузиться много (это использует временный файл прежде, чем создать финал),
сжатие и не использование оперативного лучше для того, чтобы сделать его по Интернету (медленная сеть)
НОВЫЙ: знайте о месте назначения..., если бы существует NTFS "сжатие", включенное... это сильно замедляет большие файлы (я сказал бы, что 200 МБ +), rsync почти кажется остановленным, это вызывается этим.