Передача больших файлов с помощью scp с ЦП и соображениями памяти
Я хочу передать произвольно большой файл (скажите> 20 ГБ) между 2 серверами. У меня есть несколько соображений:
Должен использовать порт 22 (ssh) из-за ограничений брандмауэра
Не может обложить налогом ЦП (рабочий сервер)
Эффективность памяти
Предпочел бы проверку контрольной суммы, но это могло быть сделано вручную
Время не является существенным
Я ценил бы ответ для нескольких сценариев:
Сервер A и Сервер B находятся на той же частной сети (совместное использование переключателя), и безопасность данных не является беспокойством
Сервер A и Сервер B не находятся в той же сети, и передача будет через общедоступный Интернет, таким образом, безопасность данных будет беспокойством
Моя первая мысль использовала хороший на команде scp с шифром non-CPU-intensive (шифр?). Но я думал, что обращусь к сообществу SU для рекомендаций.
1 ответ
scp должен хорошо работать. В интернет-среде общая скорость будет обычно определяться больше сетью, чем шифрование, сделанное scp программой. На частной сети Ваш план использовать шифр для упрощения загрузки ЦП немного хорош. Лично я не использовал бы хорошую команду, если Ваша производственная загрузка ЦП не уже высока. Большинство серверов является ограниченным IO, не ограниченный ЦП - но Вы знаете свою систему лучше, чем я. И определенно сделайте md5 или sha256 контрольную сумму на результате.