С помощью sed это можно сделать следующим образом:

sed -e '$!N;/^\(.*\)\n\1$/!P;D' input_file

Здесь у нас есть в пространстве паттернов в любой момент времени 2 строки. Когда сравнение между ними не удается, мы печатаем первый и вырезаем его спереди и вернуться и добавить следующую строку в пространство шаблона. Промыть...повторить

Используя Perl в режиме slurp, мы рассматриваем весь файл как один длинный строка, к которой применяется регулярное выражение, которое выполняет сравнение для вас.

perl -0777pe 's//$1/ while /^(.*\n)\1+/gm' input_file