Как анализировать Stdout как смесь CSV и JSON?
Да, если вы перенаправляете на/из значения переменной или результата подстановки команд, то это было бы расширено на шаге 2.
Пример (создает файл с именемfile):
outfile='file'
date >"$outfile"
Вы не можете, однако
redir='>'
date $redir file
, так как это вызовет dateс операндами >и file. Это связано с тем, что при анализе командной строки на шаге 1 в ней не было «слова, которое синтаксический анализатор пометил как перенаправление».
3
dylanjm
10.01.2020, 20:50
Ссылка
3 ответа
Отделить JSON от остального довольно просто. Это даст вам только не JSON:
python submit.py --provider gt --assignment error-check | sed '/{/,$d'
А это, только JSON:
python submit.py --provider gt --assignment error-check | sed -n '/{/,$p'
Для иллюстрации я сохранил ваш пример ввода как fileи:
$ sed '/{/,$d' file
Problem,Correct?,Correct Answer,Agent's Answer
"Challenge Problem B-04",0,4,-1
"Basic Problem B-12",0,1,-1
"Challenge Problem B-05",0,6,-1
"Challenge Problem B-07",0,6,-1
"Challenge Problem B-06",0,3,-1
"Basic Problem B-11",0,1,-1
"Basic Problem B-10",0,3,-1
"Challenge Problem B-03",0,3,-1
"Challenge Problem B-02",0,1,-1
"Challenge Problem B-01",0,6,-1
"Challenge Problem B-09",0,4,-1
"Challenge Problem B-08",0,4,-1
"Basic Problem B-08",0,6,-1
"Basic Problem B-09",0,5,-1
"Basic Problem B-04",0,3,-1
"Basic Problem B-05",0,4,-1
"Basic Problem B-06",0,5,-1
"Basic Problem B-07",0,6,-1
"Basic Problem B-01",0,2,-1
"Basic Problem B-02",0,5,-1
"Basic Problem B-03",0,1,-1
"Challenge Problem B-10",0,4,-1
"Challenge Problem B-11",0,5,-1
"Challenge Problem B-12",0,1,-1
И
$ sed -n '/{/,$p' file
{
"Basic Problems B": {
"Incorrect": "0",
"Skipped": "12",
"Correct": "0",
"Set": "Basic Problems B"
},
"Challenge Problems B": {
"Incorrect": "0",
"Skipped": "12",
"Correct": "0",
"Set": "Challenge Problems B"
}
}
Итак, вы уже прекрасно работаете с не -JSON, так что я не буду ничего менять. В идеале данные JSON следует анализировать с помощью парсера JSON, например jq. К сожалению, я недостаточно знаю jq, чтобы сделать это должным образом, поэтому лучшее, что я мог придумать, — это довольно неэлегантное решение. По крайней мере, он делает то, что вы хотите (замените cat fileна вашу команду python submit.py --provider gt --assignment error-check:
$ cat file | sed -n 's/[,"]//g; s/^ *//; /{/,$p' | tac | awk -F': ' 'BEGIN{printf "%-30s%-10s%-10s%-10s\n", "Set", "Incorrect", "Skipped", "Correct"} NF==2 && !/\{/{if($1=="Set"){set=$2;data[set]["Incorrect"] = 0;data[set]["Skipped"] = 0;data[set]["Correct"] = 0;} data[set][$1]=$2}END{for(set in data){printf "%-30s%-10s%-10s%-10s\n", set,data[set]["Incorrect"],data[set]["Skipped"],data[set]["Correct"]}}'
Set Incorrect Skipped Correct
Challenge Problems B 0 12 0
Basic Problems B 0 12 0
Объединение всего этого в сценарий оболочки дает:
#!/bin/bash
tmpFile=$(mktemp)
python submit.py --provider gt --assignment error-check > "$tmpFile";
sed '/{/,$d' "$tmpFile" | column -t -s,
sed -n 's/[,"]//g; s/^ *//; /{/,$p' "$tmpFile" |
tac |
awk -F': ' '
BEGIN{
printf "%-30s%-10s%-10s%-10s\n", "Set", "Incorrect", "Skipped", "Correct"
}
NF==2 && !/\{/{
if($1=="Set"){
set=$2;
data[set]["Incorrect"] = 0;
data[set]["Skipped"] = 0;
data[set]["Correct"] = 0;
}
data[set][$1]=$2
}
END{
for(set in data){
printf "%-30s%-10s%-10s%-10s\n", set,
data[set]["Incorrect"],
data[set]["Skipped"],
data[set]["Correct"]}
}'
rm "$tmpFile"
В результате получается следующий результат:
$ foo.sh
Problem Correct? Correct Answer Agent's Answer
"Challenge Problem B-04" 0 4 -1
"Basic Problem B-12" 0 1 -1
"Challenge Problem B-05" 0 6 -1
"Challenge Problem B-07" 0 6 -1
"Challenge Problem B-06" 0 3 -1
"Basic Problem B-11" 0 1 -1
"Basic Problem B-10" 0 3 -1
"Challenge Problem B-03" 0 3 -1
"Challenge Problem B-02" 0 1 -1
"Challenge Problem B-01" 0 6 -1
"Challenge Problem B-09" 0 4 -1
"Challenge Problem B-08" 0 4 -1
"Basic Problem B-08" 0 6 -1
"Basic Problem B-09" 0 5 -1
"Basic Problem B-04" 0 3 -1
"Basic Problem B-05" 0 4 -1
"Basic Problem B-06" 0 5 -1
"Basic Problem B-07" 0 6 -1
"Basic Problem B-01" 0 2 -1
"Basic Problem B-02" 0 5 -1
"Basic Problem B-03" 0 1 -1
"Challenge Problem B-10" 0 4 -1
"Challenge Problem B-11" 0 5 -1
"Challenge Problem B-12" 0 1 -1
Set Incorrect Skipped Correct
Challenge Problems B 0 12 0
Basic Problems B 0 12 0
Тем не менее, это кажется хакерским, и я надеюсь, что кто-то сможет придумать более чистое решение с помощью специальных парсеров JSON.
Steeldriver был достаточно любезен, чтобы дать правильное jqрешение в комментарии, поэтому, если мы включим его, мы получим гораздо более простое (и более безопасное):
#!/bin/bash
tmpFile=$(mktemp)
python submit.py --provider gt --assignment error-check > "$tmpFile";
sed '/{/,$d' "$tmpFile" | column -t -s,
sed -n '/{/,$p' "$tmpFile" |
jq -r '["Set","Incorrect","Skipped","Correct"], (.[] | [.Set,.Incorrect,.Skipped,.Correct]) | @tsv'
rm "$tmpFile"
2
terdon
27.01.2020, 21:17
Ссылка
$ cat tst.awk
BEGIN { FS=","; OFS="\t" }
/{/ { FS="(^|\":)[[:space:]]+\"|\",?" }
FS == "," { $1=$1; print; next }
{ f[$2] = $3 }
/}/ {
if ( !doneHdr++ ) {
print "Set", "Incorrect", "Skipped", "Correct"
}
print f["Set"], f["Incorrect"], f["Skipped"], f["Correct"]
}
.
$ awk -f tst.awk file | column -s$'\t' -t
Problem Correct? Correct Answer Agent's Answer
"Challenge Problem B-04" 0 4 -1
"Basic Problem B-12" 0 1 -1
"Challenge Problem B-05" 0 6 -1
"Challenge Problem B-07" 0 6 -1
"Challenge Problem B-06" 0 3 -1
"Basic Problem B-11" 0 1 -1
"Basic Problem B-10" 0 3 -1
"Challenge Problem B-03" 0 3 -1
"Challenge Problem B-02" 0 1 -1
"Challenge Problem B-01" 0 6 -1
"Challenge Problem B-09" 0 4 -1
"Challenge Problem B-08" 0 4 -1
"Basic Problem B-08" 0 6 -1
"Basic Problem B-09" 0 5 -1
"Basic Problem B-04" 0 3 -1
"Basic Problem B-05" 0 4 -1
"Basic Problem B-06" 0 5 -1
"Basic Problem B-07" 0 6 -1
"Basic Problem B-01" 0 2 -1
"Basic Problem B-02" 0 5 -1
"Basic Problem B-03" 0 1 -1
"Challenge Problem B-10" 0 4 -1
"Challenge Problem B-11" 0 5 -1
"Challenge Problem B-12" 0 1 -1
Set Incorrect Skipped Correct
Basic Problems B 0 12 0
Challenge Problems B 0 12 0
Challenge Problems B 0 12 0
1
Ed Morton
27.01.2020, 21:17
Ссылка
Использование Миллера(https://github.com/johnkerl/miller)и запуск
# get the CSV and transform it into a pretty print table
<input grep -P '^("|\w)' | mlr --c2p cat >out
# add a carriage return
echo "" >> out
# convert the json into a pretty print table and add it to the output
<input grep -vP '^("|\w)' | mlr --j2p cat -n then reshape -r "(Basi|Chal)" -o i,v \
then nest --explode --values --across-fields --nested-fs ":" -f i \
then reshape -s i_2,v \
then cut -x -f i_1,n \
then reorder -f Set >>out
у вас будет
Problem Correct? Correct Answer Agent's Answer
Challenge Problem B-04 0 4 -1
Basic Problem B-12 0 1 -1
Challenge Problem B-05 0 6 -1
Challenge Problem B-07 0 6 -1
Challenge Problem B-06 0 3 -1
Basic Problem B-11 0 1 -1
Basic Problem B-10 0 3 -1
Challenge Problem B-03 0 3 -1
Challenge Problem B-02 0 1 -1
Challenge Problem B-01 0 6 -1
Challenge Problem B-09 0 4 -1
Challenge Problem B-08 0 4 -1
Basic Problem B-08 0 6 -1
Basic Problem B-09 0 5 -1
Basic Problem B-04 0 3 -1
Basic Problem B-05 0 4 -1
Basic Problem B-06 0 5 -1
Basic Problem B-07 0 6 -1
Basic Problem B-01 0 2 -1
Basic Problem B-02 0 5 -1
Basic Problem B-03 0 1 -1
Challenge Problem B-10 0 4 -1
Challenge Problem B-11 0 5 -1
Challenge Problem B-12 0 1 -1
Set Incorrect Skipped Correct
Basic Problems B 0 12 0
Challenge Problems B 0 12 0
1
aborruso
27.01.2020, 21:17
Ссылка