Это быстрее для меня. YMMV (это определенно зависит от количества дубликатов):
parallel --lb --pipepart --block 15m -a /tmp/big.file 'sort | uniq -c' |
awk '{ count[$2] += $1 } END { for(elem in count) print count[elem], elem }' |
sort -n
Я потратил на это слишком много времени и в итоге добавил терминал Gnome в автозапуск, так что файл ~/.bashrc
читается:
cd ~/.config/autostart
ln -s /usr/share/applications/org.gnome.Terminal.desktop
Не элегантное решение, но, по крайней мере, создание резервных копий на внешнем диске стало проще.