Другое perl
решение:
perl -anle '
print "$F[0] ", join ",", grep {!$seen{$_}++} split ",",$F[1];
%seen=();
' file
A 1,2,3,45,8
B 5,6,2,3,7
С perl
:
perl -MList::MoreUtils=uniq -pe 's{\S*,\S*}{join ",", uniq split ",", $&}ge'
(обрабатывает все поля, содержащие ,
символы и сохраняет интервал)
Я думаю, что это как у Стефана, хотя это немного другое. В любом случае, я взял на себя труд написать его. Я основывался на том, что я делал до здесь (где я также объясняю это намного лучше)...
sed ':t
s/\([^,]*\),\(.*\1\)/ \2/;tt
s/ */,/g;s/,/ /;s/,$//' <<\DATA
A 1,2,3,45,1,8,2,3,
B 5,6,6,6,6,6,2,3,7
DATA
A 45,1,8,2,3
B 5,6,2,3,7
Для полноты, решение в awk
:
BEGIN {
FS = "[ \t,]+";
OFS = ",";
}
{
delete seen;
for(i = 2; i <= NF; i++) {
if($i in seen) {
$i = "";
}
seen[$i] = 1;
}
sub(",","\t"); #separate first field with a tab
gsub(",,+",","); #squeeze empty fields
sub(",$",""); #remove trailing comma, if any
print;
}
awk '{n=split($2, a, ","); $2=a[1];
for(i=2; i<=n; i++)
{$2 = ($2 ~ "(^|,)" a[i] "($|,)") ? $2 : ($2 "," a[i])}}1' OFS='\t' file
... A sed
одно:
sed '
s/[^[:blank:]]\{1,\}/,&,/g;:1
s/\(\(,[^,[:blank:]]*\)\(,[^,[:blank:]]*\)*\)\2,/\1,/;t1
s/,\([^[:blank:]]*\),/\1/g'
(обрабатывает все поля, которые содержат ,
символы и сохраняет интервал)