Виртуальные машины Linux в облаке (например, Azure) - использовать LVM или нет?

Труба, как и любой файл, представляет собой поток текста (точнее, поток байтов). Основные строительные блоки Unix, как правило, просты. Взаимодействие между процессами в основном основано на неструктурированных данных. Операционная система не предоставляет канал связи с несколькими потоками, помеченными именем файла. Если программам это нужно, они должны организовать свой собственный - и отдельные каналы, по одному для каждого потока, были бы наиболее естественной реализацией.

Если program2 и program3 действуют независимо на каждый поток, запустите по одной их копии для каждого из файлов. Чтобы запустить их последовательно, используйте цикл оболочки. Как и pipe, цикл - это одна из возможностей shell для связывания программ. Чтобы указать program3, куда поместить вывод, обычно program3 пишет на стандартный вывод и использует конструкцию перенаправления в оболочке, чтобы направить вывод в файл. Оболочка предоставляет некоторые базовые конструкции манипулирования строками для построения имен файлов; здесь это просто конкатенация.

for x in *.txt; do
  program1 "$x" | program2 | program3 >"folder/$x"
done

Если программы не требуют больших затрат на ввод-вывод, но требовательны к процессору, и у вас несколько процессоров, вы можете захотеть выполнять их параллельно. С достаточно новыми инструментами GNU вы можете использовать xargs для параллельного запуска программ. Передайте количество CPU в вашей системе в качестве аргумента команде -P. Поскольку команда, которую должен выполнить xargs, является конвейером, вам нужно сделать так, чтобы она вызывала оболочку.

find -maxdepth 1 -name '*.txt' -print0 |
xargs -0 -n 1 -P 4 sh -c 'program1 "$1" | program2 | program3 >"$0/$1"' "folder"

Вы можете использовать GNU parallel вместо xargs, чтобы позволить ему автоматически определить количество CPU в вашей системе.

parallel sh -c 'program1 "$1" | program2 | program3 >"$0/$1"' "folder" ::: *.txt

Если вам нужно, чтобы один экземпляр программы2 и программы3 обрабатывал несколько файлов, вам нужно будет разработать эти программы с пользовательским интерфейсом для получения нескольких труб в качестве входа. Стандартного способа сделать это не существует. Один из методов - позволить им вызывать программу, которая обеспечивает их вход. Это было бы похоже на то, как xargs и parallel указывают, какую программу вызвать для обработки их вывода.