Crontab не запускается, когда Mac спит, несмотря на запланированное пробуждение

TLDR

Первоначальный вопрос был неясен, и читал, что ОП просто хотела уникальную версию содержимого файла. Это показано ниже. В обновленной форме вопроса ОП теперь заявляет, что он / она просто хочет знать, уникально ли содержимое файла или нет.

Проверка уникальности содержимого файла

Вы можете просто использовать sort, чтобы проверить, является ли файл уникальным и содержит ли он дубликаты:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Пример

Скажем, у меня есть эти два файла:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Теперь, когда мы анализируем эти файлы, мы можем сказать, уникальны они или содержат дубликаты:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Исходный вопрос (уникальное содержимое файла)

Можно сделать всего лишьsort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680