Вопросы Теги

Удалите значения дубликатов в поле

LC_COLLATE="en_US.UTF-8" sort file
5
05.08.2014, 13:23
6 ответов

Другое perl решение:

perl -anle '                                                                    
    print "$F[0] ", join ",", grep {!$seen{$_}++} split ",",$F[1];              
    %seen=();                                                                   
' file
A 1,2,3,45,8
B 5,6,2,3,7
2
27.01.2020, 20:32

С perl: 

perl -MList::MoreUtils=uniq -pe 's{\S*,\S*}{join ",", uniq split ",", $&}ge'

(обрабатывает все поля, содержащие , символы и сохраняет интервал)

.
3
27.01.2020, 20:32

Я думаю, что это как у Стефана, хотя это немного другое. В любом случае, я взял на себя труд написать его. Я основывался на том, что я делал до здесь (где я также объясняю это намного лучше)...

sed ':t
s/\([^,]*\),\(.*\1\)/ \2/;tt
s/  */,/g;s/,/ /;s/,$//' <<\DATA
A 1,2,3,45,1,8,2,3,
B 5,6,6,6,6,6,2,3,7
DATA

OUTPUT

A 45,1,8,2,3
B 5,6,2,3,7
2
27.01.2020, 20:32

Для полноты, решение в awk:

BEGIN {
    FS = "[ \t,]+";
    OFS = ",";
}

{
    delete seen;
    for(i = 2; i <= NF; i++) {
        if($i in seen) {
            $i = "";
        }
        seen[$i] = 1;
    }
    sub(",","\t");   #separate first field with a tab
    gsub(",,+",","); #squeeze empty fields
    sub(",$","");    #remove trailing comma, if any
    print;
}
1
27.01.2020, 20:32 
awk '{n=split($2, a, ","); $2=a[1];
  for(i=2; i<=n; i++)
    {$2 = ($2 ~ "(^|,)" a[i] "($|,)") ? $2 : ($2 "," a[i])}}1' OFS='\t' file
...
2
27.01.2020, 20:32

A sed одно:

sed '
  s/[^[:blank:]]\{1,\}/,&,/g;:1
  s/\(\(,[^,[:blank:]]*\)\(,[^,[:blank:]]*\)*\)\2,/\1,/;t1
  s/,\([^[:blank:]]*\),/\1/g'

(обрабатывает все поля, которые содержат , символы и сохраняет интервал)

.
5
27.01.2020, 20:32

Теги

Похожие вопросы