Получение данных из 3-го экземпляра _ переменной с помощью awk

Команда sort имеет определенную поддержку для работы с огромными наборами данных, поскольку это относительно распространенный вариант использования. Огромные шаблоны grep — чрезвычайно необычный вариант использования, поэтому вы не можете надеяться, что разработчики приложили к этому много усилий.

Если порядок строк не имеет значения, вы можете отсортировать два файла, после чего их можно будет сравнить, не сохраняя в памяти более нескольких строк за раз, независимо от длины файлов. Поскольку сортировка может справиться с файлами, которые не помещаются в памяти, это эффективно.

sort originallist >originallist.sorted
sort cleaned1 | comm -23 originallist.sorted - >cleaned2.sorted

Если исходный порядок исходного списка имеет значение, вы можете добавить к нему номера строк:

nl -w 22 originallist >originallist.numbered
# then generate cleaned1 from the numbered list

Поскольку originallist.numberedотсортирован, вы можете запустить commдля него, чтобы обнаружить общие строки.

Если порядок имеет значение и нумеровать строки слишком поздно, можно попробовать разбить cleaned1на куски и сделать по одному проходу в originallistдля каждого куска. С недавним расколом GNU:

cp originalfile cleaned2.in
split -l 1000000 --filter='grep -Fxv -f - cleaned2.in >cleaned2.out; mv cleaned2.out cleaned2.in' cleaned1
mv cleaned2.in cleaned2

(Обратите внимание, что Fне выполняет «совпадение полной строки», а выполняет сопоставление подстроки. Для полного совпадения строк вам также потребуется -x.)