Первоначальный вопрос был неясен, и читал, что ОП просто хотела уникальную версию содержимого файла. Это показано ниже. В обновленной форме вопроса ОП теперь заявляет, что он / она просто хочет знать, уникально ли содержимое файла или нет.
Вы можете просто использовать sort
, чтобы проверить, является ли файл уникальным и содержит ли он дубликаты:
$ sort -uC input.txt && echo "unique" || echo "duplicates"
Скажем, у меня есть эти два файла:
дубликат файла образца$ cat dup_input.txt
This is a thread 139737522087680
This is a thread 139737513694976
This is a thread 139737505302272
This is a thread 139737312270080
This is a thread 139737203164928
This is a thread 139737194772224
This is a thread 139737186379520
уникальный образец файла $ cat uniq_input.txt
A
B
C
D
Теперь, когда мы анализируем эти файлы, мы можем сказать, уникальны они или содержат дубликаты:
тестовый файл дубликатов$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates
проверить уникальный файл $ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique
Можно сделать всего лишьsort
:
$ sort -u input.txt
This is a thread 139737186379520
This is a thread 139737194772224
This is a thread 139737203164928
This is a thread 139737312270080
This is a thread 139737505302272
This is a thread 139737513694976
This is a thread 139737522087680