Как удалить дубликаты файлов в каталоге и subdirs?
Существует пакет fdupes в Linux (например, он присутствует в debian репозитории). Это использует md5sums и затем байт по сравнению байта для нахождения дубликатов файлов в ряде каталогов. Это также может удалить, копирует с-d опцией, но я никогда не использовал ту опцию. Также Вы можете grep или sed от выходных файлов, чтобы удалить и удалить их из диска.
Вы найдете этот текст unix/linux utils конвейером очень полезный. Эта команда сначала сравнивает размер файлов и если размер, то же затем только сравнивает хеш.
ИЛИ
Можно использовать fdupes утилиту ro, определяют дубликаты файлов.
Оба решения используют хеш md5
-
1Да, я знаю, что конвейеры являются очень полезным byt, я искал некоторый более быстрый путь, причина, это будут больше чем 1 000 файлов, настолько хеширующих, может занять время. – Hauleth 09.12.2011, 21:00
liten2 http://code.google.com/p/liten2/ работает также над Mac OSX!
Сценарий Python с довольно многими очень полезными функциями, как пробные прогоны, интерактивный удаляют и больше...
И очень быстро.
-
1справки, мне не нравится Python, и мне нравится собственный progs. Также я использую Дугу Linux, таким образом, это не прекрасная идея IMO. Но благодарность за интересный. аутентификация ключа использования наклона – Hauleth 09.12.2011, 21:19
pacmanсказанный меня этоrmlintбудет быстрее, чемfdupes, но я благодарен за :) – Hauleth 09.12.2011, 21:01