rsync: уведомлять о любых пропущенных файлах
Это рассматривается в этой статье базы знаний ; главным соображением для вас будут доступные уровни поддержки :Ext4 поддерживается до 50 ТБ, XFS до 500 ТБ. Для действительно больших данных вы, вероятно, в конечном итоге остановитесь на общем хранилище, которое по умолчанию означает GFS2 на RHEL 7, за исключением того, что для Hadoop вы будете использовать HDFS или GlusterFS.
Для локального хранилища в RHEL по умолчанию используется XFS, и вы обычно должны использовать его, если у вас нет особых причин не делать этого.
Я надеюсь, что есть лучшее решение, но это то, что я придумал:
Во-первых, запустите эту проверку в направлении, противоположном моей операции копирования:
rsync --dry-run -ahvP --itemize-changes --stats /path/to/receiver/ /path/to/source/
Это скажет мне, какие файлы новее на приемнике(и поэтому будут пропущены моей командой rsync ). Я могу вручную обратиться к этим файлам, а затем запустить исходную команду rsync :
.rsync -ahHX --delete --itemize-changes --stats --update /path/to/source/ --exclude=/dir1/ --exclude=/dir2/ --exclude=/dir3/ /path/to/receiver/
Это достигает моей цели, но требует ожидания, пока rsync дважды создаст список файлов. Каждый раз это занимает около 15 секунд. Я могу жить с этим, если нет лучшего решения.
Вы можете добавить два уровня детализации.
$ rsync -a --update -vv a/ b/
sending incremental file list
delta-transmission disabled for local transfer or --whole-file
1 is uptodate
2 is uptodate
3 is newer
4 is uptodate
5 is newer
total: matches=0 hash_hits=0 false_alarms=0 data=0