Удаление миллиардов файлов из каталога с одновременным наблюдением за прогрессом

Посмотрите ответ Лесмана , он намного лучше моего - особенно последний пример pv , который не займет много больше времени, чем исходный тихий rm если вы укажете / dev / null вместо файл журнала .

Предполагая, что ваш rm поддерживает эту опцию (вероятно, так и есть, поскольку вы используете Linux), вы можете запустить его в подробном режиме с помощью -v :

sudo rm -rfv bolands-mills-mhcptz

Как было Как указали ряд комментаторов, это может быть очень медленным из-за большого объема вывода, генерируемого и отображаемого терминалом. Вместо этого вы можете перенаправить вывод в файл:

sudo rm -rfv bolands-mills-mhcptz > rm-trace.txt

и посмотреть размер rm-trace.txt .

Единственное, что вы могли бы сделать, - это запустить процесс rm в фоновом режиме (без вывода, поэтому он не будет замедляться вниз), а затем проследите за ним на переднем плане с помощью простой команды ^(a) :

pax> ( D=/path/to/dir ; rm -rf $D & while true ; do
...>   if [[ -d $D ]] ; then
...>     echo "$(find $D | wc -l) items left"
...>   else
...>     echo "No items left"
...>     break
...>   fi
...>   sleep 5
...> done )

27912 items left
224 items left
No items left

pax> _

Комбинацию find / wc можно заменить любым инструментом, способным дать вам единицы измерения. ты хочешь.

^(a) Ну, относительно просто, по сравнению, скажем, с ядерной физикой, гипотезой Римана или тем, что купить жене на Рождество: -)

Другой вариант - наблюдать за уменьшением количества файлов в файловой системе. В другом терминале запустите:

watch  df -ih   pathname

Счетчик используемых inodes будет уменьшаться по мере выполнения rm . (Если только файлы не имеют в основном нескольких ссылок, например, если дерево было создано с помощью cp -al ). Это отслеживает процесс удаления с точки зрения количества файлов (и каталогов). df без -i будет отслеживать с точки зрения используемого пространства.

Вы также можете запустить iostat -x 4 , чтобы увидеть количество операций ввода-вывода в секунду (а также kiB / s, но это не очень важно для ввода-вывода чистых метаданных).

Если вам интересно, над какими файлами rm сейчас работает, вы можете прикрепить к нему strace и наблюдать, как unlink () (и getdent) системные вызовы извергнуты на ваш терминал. например sudo strace -p $ (pidof rm) . Вы можете ^ c отсоединить ремешок от rm , не прерывая его.

Я забываю, если rm -r изменяет каталог в дереве, которое он удаляет; если это так, вы можете посмотреть / proc / / cwd .Его / proc / / fd часто может иметь открытый каталог fd, поэтому вы можете посмотреть на него, чтобы увидеть, на что в данный момент смотрит ваш процесс rm .

Хотя приведенное выше ответы все используют rm , rm на самом деле может быть довольно медленным при удалении большого количества файлов, как я недавно заметил, когда извлечение ~ 100K файлов из архива .tar на самом деле заняло меньше времени, чем удаление их. Хотя это на самом деле не отвечает на заданный вами вопрос, лучшим решением вашей проблемы может быть использование другого метода удаления файлов, например, одного из одобренных ответов на этот вопрос .

Лично я предпочитаю использовать rsync -a --delete . Я считаю, что этот метод работает достаточно быстро, так что его простота использования стоит того, наиболее популярный ответ на этот вопрос , в котором автор написал программу на языке C, которую вам нужно будет скомпилировать.(Обратите внимание, что при этом каждый обрабатываемый файл будет выводиться на стандартный вывод, как и rm -rv ; это может значительно замедлить процесс. Если вам не нужен этот вывод, используйте rsync - aq --delete или вместо этого перенаправить вывод в файл.)

Автор этого ответа говорит:

Теперь программа (в моей системе) удалит 1000000 файлов за 43 секунды. Самой близкой к этому была программа rsync -a --delete, которая занимала 60 секунд (которая также выполняет удаления по порядку, но не выполняет эффективный поиск в каталогах).

Я обнаружил, что этого достаточно для моих целей. Также потенциально важно из этого ответа, по крайней мере, если вы используете ext4:

Как предусмотрительно, следует удалить затронутый каталог и после этого переделать его. Каталоги только увеличиваются в размере и могут оставаться плохо работающими даже с несколькими файлами внутри из-за размера каталога.

Некоторое время назад я написал что-то для печати скорости печати строк. Вы можете запустить rm -rfv | ./counter, и он будет печатать строк в секунду / мин. Хотя это и не является прямым прогрессом, он даст вам некоторую обратную связь о скорости выполнения, возможно, rm забрел в сетевую файловую систему или что-то подобное?

Ссылка на код находится здесь:

http: //www.usenix.org.uk/code/counter-0.01.tar.gz