Как использовать curl для получения файла из определенного каталога?

Основным подходом, состоящим из двух -шагов, было бы создание списка не -уникальных слов и передача его в grep -v.

Для первой части вы можете использовать sortиuniq -d(после сериализации слов -, возможно, сtr)или -, если вы хотите продолжать использовать awk, что-то вроде:

awk -vRS='[ \t\n]' 'seen[$0]++' file

, который разбивает записи на пробелы и печатает те, которые были просмотрены ранее. Так

$ awk -vRS='[ \t\n]' 'seen[$0]++' file | grep -Fvf- file
apple pear
spoon fork
sausage egg