Как удалить дубликаты файлов с помощью удара

Ближайшей к значению true переменной оболочки является значение set . Есть некоторые свойства собственных параметров, которые также зависят от него. Например:

FLAG=
[ -d "${FLAG:+$HOME}" ] || ! echo \
either \$HOME is not a directory or \$FLAG is null or unset

Выше $ FLAG условно расширяется до значения $ HOME только в том случае, если оно равно набору, а не null. Существует несколько вариантов, но общая суть состоит в том, что значение параметра не всегда так важно, как то, имеет ли параметр значение . Установка для FLAG любого значения, указанного выше, приведет к истинному результату теста , а не к сбою.

Вы неправильно используете найти и это работает случайно. Видите ли - бегом:

find *.txt 

То, что вы на самом деле делаете, вызывает:

find lect1.txt

И вы выполняете чуть больше, чем эхо . Если, однако, выполнить поиск с критериями поиска - например,

find . -name '*.txt'

Тогда он будет проходить через текущий каталог . и напечатайте любое имя файла, соответствующее спецификации, в любом подкаталоге.

Однако следует проявлять осторожность, поскольку «*», как интерпретируется находкой, * в оболочке и * в регулярном выражении различаются по значению.

Если вы grep ing * означает 'ноль или более экземпляров предыдущего символа.

Итак, вы на самом деле:

• перекликаетесь со всеми вашими именами файлов (globbing * .txt ).
• для печати любых символов, соответствующих lec , lect , lectt , lecttttt и т.д. в середине.

В вашем первом примере, тем не менее, вы grep даже не заходите так далеко - shell расширяет ваш образец, так что он на самом деле grepping для всего, что соответствует echo lect * - что может работать случайно, потому что у вас есть файл в вашем каталоге, который расширяется соответствующим образом, но он не делает то, что вы намеревались.

Вместо этого я бы предложил, что вы хотите:

find . -name 'lect*.txt' -print

Я работаю над Linux, а это команда md5sum , которая выводит:

> md5sum *
d41d8cd98f00b204e9800998ecf8427e  file_1
d41d8cd98f00b204e9800998ecf8427e  file_10
d41d8cd98f00b204e9800998ecf8427e  file_2
d41d8cd98f00b204e9800998ecf8427e  file_3
d41d8cd98f00b204e9800998ecf8427e  file_4
d41d8cd98f00b204e9800998ecf8427e  file_5
d41d8cd98f00b204e9800998ecf8427e  file_6
d41d8cd98f00b204e9800998ecf8427e  file_7
d41d8cd98f00b204e9800998ecf8427e  file_8
d41d8cd98f00b204e9800998ecf8427e  file_9
b026324c6904b2a9cb4b88d6d61c81d1  other_file_1
31d30eea8d0968d6458e0ad0027c9f80  other_file_10
26ab0db90d72e28ad0ba1e22ee510510  other_file_2
6d7fce9fee471194aa8b5b6e47267f03  other_file_3
48a24b70a0b376535542b996af517398  other_file_4
1dcca23355272056f04fe8bf20edfce0  other_file_5
9ae0ea9e3c9c6e1b9b6252c8395efdc1  other_file_6
84bc3da1b3e33a18e8d5e1bdd7a18d7a  other_file_7
c30f7472766d25af1dc80b3ffc9a58c7  other_file_8
7c5aba41f53293b712fd86d08ed5b36e  other_file_9

Теперь с помощью awk и xargs будет выполнена команда:

md5sum * | \
sort | \
awk 'BEGIN{lasthash = ""} $1 == lasthash {print $2} {lasthash = $1}' | \
xargs rm

Часть awk инициализирует lasthash с пустым рядом, который не будет совпадать ни с одним хэшем, а затем проверяет для каждой строки, является ли хэш в lasthash таким же, как хэш (первый столбец) Если он есть, он распечатывает его. В конце каждого шага он устанавливает lasthash в хэш текущего файла (вы можете ограничить это только установкой, если хеши разные, но это должно быть второстепенной вещью, особенно если у вас нет много совпадающих файлов). Имена файлов awk spits подаются в rm с xargs ,который в основном вызывает rm с тем, что дает нам часть awk .

Вероятно, необходимо фильтровать каталоги перед md5sum * .

Изменить:

С помощью метода Маркинса можно также использовать следующий метод:

comm -1 -2 \
  <(ls) | \
  <(md5sum * | \
    sort -k1 | \
    uniq -w 32 | \
    awk '{print $2}' | \
    sort) \
xargs rm

Этот субстрат из списка файлов, оптисуемого ls , является первым именем каждого уникального хэша, оптируемого md5sum * | sort -k1 | uniq -w 32 | awk '{print $2}' .