Как объединить блоки текстовых файлов в каталоге в один или несколько файлов?

Вот два решения, то где n файлы добавляются к единственному архиву и тому, где все файлы сначала связаны и затем заархивированы.

Общие шаги к обоим подходам:

# Generate a list of files to be zipped
find . -type f > filelist

# Loop to process n files stepwise
n=50000
fileno=1

for i in $(seq 1 $n $(wc -l < filelist)); do
  # compression code goes here, see below
done

Zip-файлы индивидуально

# automatic name generation
zipfile=$(printf "%04d" $((fileno++)))

# extract lines $i to $i+$n-1 from filelist 
sed -n "$i,$((i+n-1))p" filelist | zip $zipfile -@

Свяжите и архивируйте

Если Вы хотели сделать это с gzip (и другие компрессоры), это было бы довольно просто:

zipfile=$(printf "%04d" $((fileno++)))
sed -n "$i,$((i+n-1))p" filelist | xargs cat | gzip > $zipfile.gz

Как zip не поддерживает этот режим (по крайней мере, не тот, который я имею), Вам нужен другой подход. zip именованные каналы поддержек (-FI) где файл в архиве получает название именованного канала, таким образом делание чего-то вроде этого в цикле должно работать:

zipfile=$(printf "%04d" $((fileno++)))
mkfifo $zipfile
zip -FI $zipfile $zipfile &
sed -n "$i,$((i+n-1))p" filelist | xargs cat > $zipfile
rm $zipfile

Поскольку я вижу, что у Вас есть всего один dir с огромным набором файлов, поэтому необходимо разделить список файлов на маленькие наборы, чем связать их, затем архивировать и при необходимости удалить маленькие файлы.

Я могу предложить только следующий путь:

cd /to/dir/with/many/files/
mkdir ../tmp
find . | split -l 50000 ../tmp/x
for i in ../tmp/x* ; do 
    while read filename ; do
        cat "$filename" >> "${i}.text" ;
        # rm "$filename" # uncomment it only if you need to delete small files
    done <"$i"
    zip "${i}.zip"  "${i}.text"
    # rm "${i}.text" # uncomment it only if you need to delete result file
done