Привет, у меня есть файл csv с данными более чем на 1 лакхов, разделенных вертикальной чертой, похоже
2|dfdf|er34Sr|afe|&*&|djhgjdsf|jhfgdhj12|dse|dsR|fcdf|erer|ddff|vcdf||||||
3||||dfrg||DFgfg||FDGRFG|FGB|FG|4546|@#$|FGFDG|DGFDFG|||FGfg||DGF |||GF |||
dhgfyukdsf|dfdf|#%||fghfhj|nvcbd,|bhd|cmnbch|vjh|jhfur||mhvjh|mnbvm||||
hjgg|||||gy|fdf|D|||fgfg|gfgf|Fgfg|FGfg|Sf||dfdfbhj|segrhb|zaefef|||
2|dfdf|er34Sr|afe|&*&|djhgjdsf|jhfgdhj12|dse|dsR|fcdf|erer|ddff|vcdf||||||
2|dfdf|er34Sr|afe|&*&|djhgjdsf|jhfgdhj12|dse|dsR|fcdf|erer|ddff|vcdf||||||
2|dfdf|er34Sr|afe|&*&|djhgjdsf|jhfgdhj12|dse|dsR|fcdf|erer|ddff|vcdf||||||
3||||dfrg||DFgfg||FDGRFG|FGB|FG|4546|@#$|FGFDG|DGFDFG|||FGfg||DGF |||GF |||
3||||dfrg||DFgfg||FDGRFG|FGB|FG|4546|@#$|FGFDG|DGFDFG|||FGfg||DGF |||GF |||
3||||dfrg||DFgfg||FDGRFG|FGB|FG|4546|@#$|FGFDG|DGFDFG|||FGfg||DGF |||GF |||
Я хочу проверить повторение данных в определенном столбце каждый раз, когда я выполняю свой скрипт
Например Я хочу проверить, содержат ли столбцы 1,7,12,14 во всем файле CSV одинаковые данные или нет, если да, то отображать только те данные, которые повторяются
Я пробовал
awk -F"|" '{
if (x[$'"$ColumnNo1"'$'"$ColumnNo2"'$'"$ColumnNo3"'$'"ColumnNo4"'])
{x_Count[$'"$ColumnNo1"'$'"$ColumnNo2"'$'"$ColumnNo3"'$'"ColumnNo4"']++;
print $0;
if(x_Count[$'"$ColumnNo1"'$'"$ColumnNo2"'$'"$ColumnNo3"'$'"ColumnNo4"']==1)
{
print x[$'"$ColumnNo1"'$'"$ColumnNo2"'$'"$ColumnNo3"'$'"ColumnNo4"']}}
x[$'"$ColumnNo1"'$'"$ColumnNo2"'$'"$ColumnNo3"'$'"ColumnNo4"']=$0}' csvfilename.csv
, но я не получаю никаких результатов
$ ColumnNo1, $ ColumnNo2, $ ColumnNo3
- переменная сценария оболочки
Пожалуйста, помогите :)
Попробуйте следующее (обратите внимание, что ваши переменные оболочки ДОЛЖНЫ быть целыми числами):
awk -v C1="$ColumnNo1" -v C2="$ColumnNo2" -v C3="$ColumnNo3" -v C4="$ColumnNo4" -F'|' '
{ a1[$C1]++; a2[$C2]++; a3[$C3]++; a4[$C4]++}
END {
printf "Non-unique entries in column %d\n", C1
for (key in a1) {
if (a1[key] > 1) print key
}
printf "Non-unique entries in column %d\n", C2
for (key in a2) {
if (a2[key] > 1) print key
}
printf "Non-unique entries in column %d\n", C3
for (key in a3) {
if (a3[key] > 1) print key
}
printf "Non-unique entries in column %d\n", C4
for (key in a4) {
if (a4[key] > 1) print key
}}' <myfile.csv
отдельно оттуда есть несколько специализированных инструментов для работы с csv (например, csvtool )
awk -F"|" '
{
r = $w SUBSEP $x SUBSEP $y SUBSEP $z #prepare index from 4 fields data
}
R[r]{ #if index present in array already
if ( R[r] != 1){ #if it is a first repetition
print R[r] #print line stored in array
R[r] = 1 #mark element «not a first time»
}
print #print present line
next #pass rest of code(goto next line)
}
{
R[r] = $0 #store line in array (first time only)
}
' w=$ColumnNo1 x=$ColumnNo2 y=$ColumnNo3 z=$ColumnNo4 file.csv