С помощью sort
(он также сортирует вывод):
sort -u file
С awk
(не сортирует, просто отфильтровывает дубликаты, как желаемый результат):
awk '!a[$0]++' file
С perl
(тот же принцип, что и awk
):
perl -ne 'print unless $a{$_}++' file