cat <->.csv > all.csv
Где <->
соответствует любому целому положительному десятичному числу, объединит все эти файлы (в лексическом порядке, который для чисел с прокладкой 0 совпадает с числовым порядком) в all.csv
.
Однако это удвоит место на диске. Если вы не собираетесь хранить оригинальные файлы, вы можете сделать так:
for i in <->.csv; do
cat $i && rm -f $i || break
done > all.csv