Это как раз то, для чего предназначена утилита uniq
:
$ uniq <File
foo1
bar
foo2
bar
foo3
Хорошим примером может быть история bash:
history | uniq
Вышеупомянутое не будет работать из-за номеров строк, но это:
cat ~/.bash_history | uniq
удалит повторяющиеся соседние команды
Изman uniq
:
Filter adjacent matching lines from INPUT (or standard input), writing to OUTPUT (or standard output). With no options, matching lines are merged to the first occurrence. [Emphasis added]