uniq файл CSV, игнорирующий столбец, awk, возможно?

Самый простой путь:

sort -u -t, -k1,2 -k4

• -u: вывод только первая строка равняется
• -t,: используйте запятую в качестве разделителя полей
• -k1,2 -k4: вид только на полях 1,2 и 4 и остальных

Другая опция перестраивает данные с sed (отметьте опцию GNU -r) с обеих сторон - это требует, чтобы записи были главным образом фиксированной длиной, иначе она собирается перестать работать (и только едва заметно):

sed -r       's/^([^,]+,[^,]+)(,[^,]+)(.*)$/\1\3\2/' \
    | sort \
    | uniq -w 12 \
    | sed -r 's/^([^,]+,[^,]+)(.*)(,[^,]+)$/\1\3\2/'

Вы могли бы хотеть добавить другого sort в конце для упорядочивания его числами, при желании (используют -k опция выбрать согласно тому, как что вид должен быть выполнен - т.е. что-то sed -k3 -t,)

В Perl Вы могли, например, использовать части, на которых Вы хотите решить уникальность как ключи в хеше (значения сплошные линии) и вставить в хеш, только если ключ еще не определяется. Это, конечно, будет намного более гибко, чем использование sed (или awk), но также и больше записи (я далек от Гуру Perl, таким образом, вероятно, что это может быть сделано намного более изящным способом - см. другие ответы для подобных Perl решений для Perl):

#!/usr/bin/perl
use strict;

my %lines;
while (<>) {
    (my $k1, my $v, my $k2) = /^([^,]+,[^,]+,)([^,]+)(,.*)$/;
    my $k = $k1 . $k2;
    if (!exists($lines{$k})) {
        $lines{$k} = $_;
    }
}

for my $k (sort(keys(%lines))) {
    print $lines{$k};
}

Способ сделать это с awk | sort | uniq | awk:

awk -F, '{a=$1;$1=$3;$3=a;print}' file | sort -k 2 | uniq -f 1 | awk -v OFS=',' '{a=$1;$1=$3;$3=a;print}'

Более простой Perl путь был бы:

perl -F"," -ane '$a=join(",",@F[0,1,3 .. $#F]); print unless $k{$a}; $k{$a}++' file

-a поля разделений в @F массив и -F"," устанавливает разделитель полей на ,. -n средства запускают скрипт, данный -e на каждой строке входного файла.

Идея состоит в том, чтобы взять часть массива (элементы 0,1 и 3 до конца массива), присоединиться к ним в строку ($a) и используйте ту строку в качестве хеша (ассоциативный массив) ссылка. Вы затем печатаете каждую строку, только если ключ хеша не был замечен прежде.