Что такое точка точка (..)? Почему его поведение отличается от символьных ссылок?

Сохраняющая порядок семантика вашей проблемы обладает чудесным свойством: вы можете подразделить проблему. Вы можете сделать split -l 1000000 для входного файла; производимые им элементы, состоящие из 1000000 строк, имеют лексически упорядоченные имена, что хорошо; затем объедините части; а затем (в качестве второго прохода) унифицировать выходы тех.

Это решает проблему нехватки памяти (ограничивая требования к памяти) за счет превращения ее в многопроходное решение.

В частности:

Сгенерировать входные данные:

$ cat make-uniqm-input.py
#!/usr/bin/env python
import random
n = 1000000
for i in xrange(0, n):
    print random.randint(1000, 2000)

$ python make-uniqm-input.py  > uniqm-input.txt

$ wc -l uniqm-input.txt
 1000000 uniqm-input.txt

Разделить входные данные:

$ split -l 10000 uniqm-input.txt

$ ls x?? | head
xaa
xab
xac
xad
xae
xaf
xag
xah
xai
xaj

$ ls x?? | wc -l
     100

$ cat x?? | wc -l
 1000000

Запустить унификатор сразу (сохраняет все уникальные строки ввода в памяти):

# 'uniqm' is any order-preserving uniq implementation, such as
# gawk '!counts[$0]++'.
$ uniqm < uniqm-input.txt > output-no-splitting.txt

$ wc -l output-no-splitting.txt
    1001 output-no-splitting.txt

Запустить унификатор на разделенных частях ( сохраняет в памяти только уникальные входные строки из каждого фрагмента), затем уменьшите на втором проходе:

$ for x in x??; do uniqm < $x; done | uniqm > output-with-splitting.txt

$ wc -l output-with-splitting.txt
    1001 output-with-splitting.txt

Сравните:

$ diff output-no-splitting.txt output-with-splitting.txt

$ head uniqm-input.txt
1506
1054
1623
1002
1173
1400
1226
1340
1824
1091

$ head output-with-splitting.txt
1506
1054
1623
1002
1173
1400
1226
1340
1824
1091

Я не знаю ни соотношение уникальных и неуникальных строк во входных данных, ни насколько хорошо смешанные строки ввода - так что нужно сделать некоторую настройку с точки зрения количества необходимых вам разделенных файлов.