Меньше ресурса голодная альтернатива для передачи по каналу 'кошки' в gzip для огромных файлов

Попробуйте это:

printf "%-20s %-30s" $i $est >>tmp
3
14.11.2014, 11:12
2 ответа

Эта ошибка это потому, что ваша SDA является EXT4, и вы пытаетесь в Ext3

-121--55996-

CAT не использует какое-либо существенное время процессора (если, возможно, дешифрование или деклассы или декомпрессия на диск не участвуют и не учитываются в процессе , которое является одним чтением с диска) или памяти. Это просто читает содержимое файлов и записывает его в трубу в небольших кусках в петле.

Однако здесь вам это не нужно. Вы можете просто сделать:

gzip -c file1 file2 file3 file4 > compress.gz

(не то, что он будет иметь существенное значение).

Вы можете снизить приоритет процесса GZIP (планирование CPU WRT) с помощью команды Carl . Некоторые системы имеют команду Ionice для того же с помощью I / O.

nice -n 19 ionice -c idle pigz -c file1 file2 file3 file4 > compress.gz

На Linux будет запустить параллельную версию GZIP с максимально возможным влияния на систему.

Наличие Compress.gz на другом диске (при использовании вращательного хранения) сделает его более эффективным.

Система может кэлить, что данные, которые CAT или GZIP / PIGZ читается в памяти, если она имеет доступную память для этого. Это в случае, если вам нужно снова эти данные. В процессе это может выселить другие кэшированные данные, которые более полезны. Здесь эти данные, вероятно, не должны быть доступны.

с GNU DD , вы можете использовать IFLAG = NOCACHE , чтобы посоветовать систему, чтобы не кэшировать данные:

for file in file1 file2 file3 file4; do
  ionice -c idle dd bs=128k status=none iflag=nocache < "$file"
done | nice pigz > compress.gz
7
27.01.2020, 21:11

Если вы хотите растянуться, процесс, не используя слишком много ресурса затем пытаются изменить приоритет планирования путем изменения хороший значение.:

nice -n 19 cat file1 file2 file3 file4 | gzip > compress.gz  

человек, хороший

 -n, - adjustment=N
 добавить целое число N к правильности (значение по умолчанию 10)

Можно также отрегулировать gzip скорость, которую может стоить исследовать ( - лучше всего )

, Другие методы доступны, но сохранят файлы отдельными:

, Если вы рады использовать tar формат архива затем, можно использовать застежка-молния аргумент для архивирования uo содержание на лету, однако, они могут поддержать обработку на высоком уровне:

tar zcvf compress.tgz file[1234]

Или можно использовать застежка-молния , который может иметь дело с несколькими файлами:

zip compress.zip file[1234]
1
27.01.2020, 21:11

Теги

Похожие вопросы