Сравнение производительности копирования между Linux и Windows

Пробовали ли вы вместо scp монтировать общую папку SMB нового NAS на старую, а затем копировать данные в точку монтирования с помощью rsync?

в проводной сети 1 Гбит/с, теоретическая максимальная скорость = 1000 Мбит/с / 8 бит на байт = 125 МБ/с. В реальном мире самая большая скорость копирования, которую я когда-либо имел, составляет ~112 МБ/с на всплывающее окно Windows, и это копирование с сервера Linux (, на котором запущен сервер samba -), на Windows 7/10. ПК.

У вас есть 8 ТБ => 8 000 000 МБ / 112 МБ/с = 71 428 секунд = более 19 часов для устойчивой передачи без проблем.

Когда я это делаю scp, я обычно вижу 80 -90 МБ/с против 112 благодаря накладным расходам SSH.

Why is the Linux to Linux copy so slow, and is there anything I can do to increase the speed to what I get with Windows?

Заявленная мной скорость копирования 112 МБ/с при загрузке из Linux в Windows (при чтении ), а также при загрузке из Windows в Linux (при записи ). Мои серверы Linux (на работе )имеют 512 ГБ ОЗУ и кэширование диска, которое в основном предотвращает ожидание, пока диск предоставит данные, особенно при записи в систему данные доставляются по сети и сохраняются в ОЗУ перед тем, как быть записывается на диск. Типичная реальная скорость чтения с жесткого диска обычно составляет 80 МБ/с или выше, поэтому они обычно не оказывают большого влияния, особенно если их несколько в RAID, но если это один жесткий диск, то это может быть вашим узким местом. просто чтение данных с него.

I am attempting to copy files from an old NAS to another one

У меня есть опыт работы с Synology NAS в той же сети и месте, где я вижу копии со скоростью 112 МБ/с, как объяснялось; иногда мои NAS работают со скоростью около 100 МБ/с, иногда они делают только 50 МБ/с за пару минут, перемещая один ~10-гигабайтный файл. NAS могут иметь различные настройки внутри них, снижающие скорость передачи по сети для поддержания пропускной способности, ожидая, что несколько пользовательских подключений будут читать / записывать из него.

Ваша копия между 2 NAS для 8 ТБ данных не является единым файлом, поэтому потребуются некоторые накладные расходы, связанные с этими миллионами отдельных файлов, и это невозможно обойти, если вы локально не заархивируете куски данных в tar размером более 100 ГБ. файлы и перенесите их, а затем выполните их распаковку на NAS назначения.

Why is the Linux to Linux copy

на самом деле вы не используете linux для linux, вы используете NAS для NAS, и это linux операционная система, установленная на каждом NAS, и то, как она настроена для работы в сети, а также производительность, которую она может читать/записывать к типам накопителей (дисков ), находящихся в нем.

Согласно моему описанию моих 112 МБ/с в проводной сети 1 Гбит/с,Я вижу ту же скорость передачи между Linux-серверами Linux (, а не NAS ); если делать scp, то именно эти накладные расходы SSH вызывают снижение до ~80 МБ/с. Когда вы начинаете копировать тысячи маленьких (файлов размером менее 10 МБ ), вы можете столкнуться с большими накладными расходами и потерей скорости в результате того, что операционная система считывает эти данные из своей файловой системы в любом хранилище, а затем снова в другом система записывает все это в свое хранилище. Хороший NAS с достаточным объемом ОЗУ может буферизовать данные в ОЗУ, поступающие по сети, и в этот момент скорость записи на его диски будет поддерживаться, что, как мне кажется, часто преувеличено и почти всегда зависит от заявленных значений. иметь максимальное количество дисков, установленных в NAS, как RAID -0, поэтому они могут объявить максимально возможные числа чтения/записи.

в качестве проверки работоспособности передайте один ~2-гигабайтный файл, а также один ~30-гигабайтный файл и посмотрите, каковы эти максимальные скорости передачи и поддерживаются ли они в вашей сети.

И rsync, и scp шифруют данные, отправляемые по сети. Я обнаружил, что на старом оборудовании это может ограничить скорость примерно до 20 МБ/с, как вы заметили.

Попробуйте использовать незашифрованную копию, например:

• запуск сервера rsync на одном конце и использование протокола rsync ://
• с использованием netcat (или nc )с обеих сторон что-то вроде (не проверено, вероятно, неправильный синтаксис ):
  • источник:tar cf -... | nc host port
  • пункт назначения:nc -l port | tar xf -