Сколько времени эта передача файлов взяла бы?
У меня есть 12 часов для резервного копирования 2 ТБ данных.
Я хотел бы скопировать к сетевому ресурсу использующему компьютеры потребителю WD Черные жесткие диски на 7200 об/мин на 2 ТБ. Gigabit Ethernet.
Что другие переменные я должен был бы рассмотреть, чтобы видеть, выполнимо ли это? Как я настроил бы это вычисление?
2 ответа
Два больших фактора здесь - то, как быстро источник может передать данные, и как быстро принимающий конец может фиксировать его. GigE является действительно хорошим началом, что означает в теории, могло потребоваться всего 4,7 часа. Факторы, которые могут увеличить это:
- Если сетевые буферы принимающего конца заканчиваются (источник делает подачу слишком быстро).
- Если передающий конец будет в большой степени фрагментирован, то он не сможет передать данные в линейной скорости.
- Если принимающий конец совсем не слегка фрагментируется, он не может писать достаточно быстро.
- Что-то на Вашем сетевом пути - hogging bandwitdh (некоторый скрытый восходящий порт, насыщаемый другим трафиком).
Мое назад из конверта вычисление говорит, что необходимо передать потоком на уровне приблизительно 49 МБ/секунда, чтобы заставить его работать. Если тот жесткий диск будет явным, и сетевой стек, вообще достойный, то это, вероятно, будут исходные уровни фрагментации, который определяет окончательную скорость.
Править: Я вижу из комментариев, что Вы - планирование резервного копирования на дисковую систему.
Еще некоторые вещи рассмотреть. Используя несколько целевых дисков в конфигурации дорожки некоторого вида очень хороший способ параллелизировать искать процесс и уменьшить Ваш штраф фрагментации. RAID10 является лучшим решением для этого, хотя Raid5/6 может работать, если Ваша плата RAID достаточно быстра для обработки его. Если это не, то RAID10 является Вашей единственной избыточной надеждой. 7.2K диски об/мин действительно могут использоваться в этих ситуациях, я делаю его прямо сейчас, но с дисками на 500 ГБ не на 2 ТБ. Вы действительно, действительно хотите удостовериться, что те диски пишут последовательно как можно больше и уменьшают случайные записи.
Случайные записи вызываются несколькими способами. Если Ваша система резервного копирования просто копирует файлы в новое местоположение, Вы просто создаете огромное количество файлов, и резервные копии будут неизбежно случайны в этом случае. Вы хотите избежать систем резервного копирования, которые делают это. Если Ваша система резервного копирования создает большие архивные файлы (файлы на 10 ГБ, например), случайный ввод-вывод происходит когда те файлы фрагмент.
Предотвращение фрагментации большого файла требует нескольких шагов:
- Удостоверьтесь, что только один файл пишется в в любой момент времени.
- Существуют некоторые исключения к этому, если Вы выполняете правильный вид файловой системы на Linux, но я не знаю, ли Вы. При использовании NTFS придерживайтесь одного устройства записи.
- Должно быть достаточное свободное пространство для одного большого файла, который будет записан в одном блоке.
- После выполнения некоторое время следите диаграммой фрагментации.
- Если возможно, настройте свою систему резервного копирования для создания файла всего перед использованием. Можно получить файлы приблизительно на 10 ГБ, которые главным образом пусты, но по крайней мере они непрерывны и помогут уменьшить frag-сползание как системные возрасты.
Если бы Ваше соединение может сделать, 1 000 мегабит, передающих все эти данные, заняли бы приблизительно 4,5 ч (1 мегабит составляет 0,125 МБ), таким образом, это могло бы работать, но мог бы, в зависимости от Вашей структуры сети использовать много своей сетевой пропускной способности в течение того времени.
Лучшая альтернатива для резервного копирования, особенно если Вы только хотите скопировать изменения и Вы на самом деле не производите 2 ТБ данных, каждое 12-е должно только передать фактические изменения. Я предлагаю, чтобы Вы изучили rsnapshot, который является хорошей оберткой вокруг rsync. Тем путем Вы делаете полную долгую передачу только однажды в запуске, и обновление снимков будет намного быстрее. Уже существуют некоторые rsnapshot учебные руководства на суперпользователе.