Быстрый способ рандомизировать HD?

Завершение ответа Marco, в чем Вы нуждаетесь, является более быстрым генератором случайных чисел.

Вы используете простую программу что echos случайные числа из хорошей библиотеки как boost::random и используйте тот в dd.

При выборе повышения можно использовать этот пример, изменяясь experiment функционируйте к своим потребностям.

Узкое место, если ни размер блока, ни жесткий диск, но медленное поколение псевдослучайных чисел. /dev/urandom величинами быстрее по сравнению с /dev/random так как это не блокируется на низком энтропийном пуле.

Можно подтвердить это путем измерения необработанного вывода псевдослучайных чисел:

pv /dev/urandom >/dev/null

Этот уровень будет намного медленнее, чем уровень записи Вашего жесткого диска. Правильное решение полностью зависит на Вашем необходимом уровне безопасности. Если Вы требуете высокой безопасности или используете быстрые аппаратные средства случайный генератор или принимаете низкую скорость. Если Ваши потребности безопасности не состоят в том, что высоко, Вы могли получить несколько дюжин мебибайт данных и записать что строка неоднократно к диску. Или возможно даже запись нулей от /dev/zero опция.

Сводка

/dev/random - безопасный, очень медленный
/dev/urandom - менее безопасный ¹, медленный
аппаратные средства RNG - безопасный, быстрый, очень дорогой
(/dev/zero - не случайный вообще, очень быстро)

_{¹According к Является рэндом от/dev/urandom, безопасного для ключа входа в систему? /dev/urandom так же безопасно как /dev/random. Благодаря Gilles для указания на это.}

Вы можете получить OpenSSL для шифрования / dev / Zero с рандомизированным паролем, придавая очень быстрое данные достойного псевдонадома (если ваш процессор поддерживает его ускорение).

openssl enc -aes-256-ctr -pass pass:"$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | base64)" -nosalt < /dev/zero | dd of=/dev/sda

Вы могли бы трусить это через PV , чтобы получить прогресс / ETA. Команды, которые я работаю прямо сейчас (в корневой оболочке):

DISK="sda"
DISKSIZE=$(</proc/partitions awk '$4=="'"$DISK"'" {print sprintf("%.0f",$3*1024)}')
apt-get install pv
openssl enc -aes-256-ctr -nosalt \
  -pass pass:"$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | base64)" \
  < /dev/zero |
  pv --progress --eta --rate --bytes --size "$DISKSIZE" |
  dd of=/dev/"$DISK" bs=2M

Я получил эту идею из этого ответа , после того, как одинаковую проблему как иррациональный Джон , кто Прокомментировал на ответе на жаль выше. Это увеличило мою скорость Wipe для моего нового RAID-массива от 11 МБ / с до примерно 300 МБ / с, принимая то, что займет неделю до 10 часов.

Я добавлю, что вы должны быть в состоянии использовать openssl rand #of_bytes , а не тем сложнее openssl enc ... Выписать выше, но есть ошибка, которая позволит SSL для создания только 16 МБ вывода. (Эта ошибка была подана, января 2016 года.)

и, согласно ответу на Этот вопрос , и продолжая предполагать, что ЦП - это узкое место, возможно, можно дальше увеличить скорость Запуск нескольких параллельных OpenSSL процессы на отдельных ядрах, объединяющих их с помощью FIFO.

Похоже, у меня не работал openssl. Я получил "неизвестные варианты" и другие проблемы с предоставленными решениями. В итоге я выбрал программу fio.

fio -name="fill" -ioengine=libaio -direct=1 -bs=512m -rw=write -iodepth=4 -size=100% -filename=/dev/md0

Похоже, что для обработки 19 ТБ на 24 жестких дисках требуется 3 часа. Так что примерно 1800 МБ / с

smp-016:~ # fdisk -l /dev/md0
Disk /dev/md0: 18890.1 GB, 18890060464128 bytes

smp-016:~ # fio -name="fill" -ioengine=libaio -direct=1 -bs=512m -rw=write -iodepth=4 -size=100% -filename=/dev/md0
fill: (g=0): rw=write, bs=512M-512M/512M-512M/512M-512M, ioengine=libaio, iodepth=4
fio-2.2.10
Starting 1 process
Jobs: 1 (f=1): [W(1)] [2.7% done] [0KB/1536MB/0KB /s] [0/3/0 iops] [eta 03h:01m:11s]

, я надеюсь, это действительно случайные данные. На странице руководства fio написано: «По умолчанию: заполнять буферы случайными данными». http://linux.die.net/man/1/fio

Я делаю это не в целях безопасности / шифрования, просто пытаюсь убедиться, что мои последующие тесты чтения являются фактическими данными, а не просто нулями. Эту же команду fio можно использовать для предварительной подготовки SSD / NVMe. Поскольку просто использование / dev / zero может привести к "обману" сжатия на уровне диска, сколько на самом деле записано. Хотя я бы добавил к нему флаг -loops = 2 , если это новый SSD для тестирования.

Если вы хотите, чтобы он был безопасным, вы можете использовать параметр -randrepeat = bool , так как он будет переключать "Заполнить генератор случайных чисел предсказуемым образом, чтобы результаты повторяются для разных прогонов. По умолчанию: true. ", но я все еще не уверен, насколько это безопасно.

Кроме того, некоторые жесткие диски корпоративного класса имеют SED (диски с самошифрованием), которые позволяют вращать ключ шифрования для мгновенного и безопасного стирания всех записанных данных.

Наконец, в прошлом я использовал DBAN (также известный как Darik's Boot and Nuke), который имеет загрузочные параметры с CD и USB и «является проектом с открытым исходным кодом, размещенным на SourceForge. Программа предназначена для безопасного стирания жесткого диска до тех пор, пока он не данные удаляются безвозвратно и больше не подлежат восстановлению "

Я пытался заполнить внешний жесткий диск USB емкостью 4 ТБ dd if=/dev/urandom of=/dev/sdX status=progress, который был слишком медленным (независимо от настроек bs=), и кажется, что opensslимеет ограничение на объем случайных данных. он выведет (по крайней мере для версии 1.0.2p ). Лучшим вариантом, который я нашел, был комментарий от frostschutz для использования shred, как в:

shred -v -n 1 /dev/sdX

Обязательно используйте -n 1, в противном случае по умолчанию устройство будет записываться 3 раза поверх (плюс -v, показывающее прогресс ).Я не думаю, что качество псевдо-случайных чисел такое высокое, но мне этого достаточно, чтобы подготовить портативный HDD большой емкости для шифрования.