Параллельная обработка оболочки: добавление значений

Некоторые вещи, которые вам не хватает:

• Переменные оболочки хранятся в памяти оболочки; то есть память процесса оболочки.
• Большинство команд, запускаемых из оболочки выполняются в дочернем процессе (или процессах ). Единственными исключениями являются «встроенные -в команды».
• Асинхронные команды всегда выполняются в дочернем процессе. — даже если они не запускают никаких программ. Асинхронная команда, которая не запускает никаких программ — это дочерний процесс, который запускает только оболочку. Это известно как «вспомогательная оболочка -».
• Вообще говоря, процессы не могут изменять память других процессов. В частности, оболочки sub -не могут изменять переменные в основном процессе оболочки. Итак, когда вы произносите appendnum $no &, функция appendnumне может изменять переменную xв основном процессе оболочки.

Вы можете получить что-то похожее на поведение, которое вы пытаетесь получить с помощью этого:

x=TR007.out
> "$x"
appendnum() {
    echo "$1" >> "$x"
}
for no in {0..10}
do
    appendnum $no &
done
wait

Вы получите числа от 0 до 10, записанные в файл TR007.out.

• Планирование (последовательности )асинхронных процессов не определено. Таким образом, в приведенном выше примере сценария в то время как вы получите числа от 0 до 10, записанные в файл, они могут быть не в порядке.
• Как вы, возможно, знаете, waitсам по себе (без аргументов )будет ждать всех дочерних процессов.
• «Независимо от количества задач мое время отклика должно быть одинаковым». Это очень смелое ожидание/просьба. Разумно ли это, зависит от контекста. Если задача является однопоточной -многопоточной вычислительной -интенсивной задачей, и у вас есть три или более (логических )ЦП, тогда да, может быть разумно ожидать, что три задачи будут выполняться параллельно занять немного больше времени, чем один сам по себе. Но если у вас есть четыре логических процессора, совершеннонеразумноожидать выполнения 50 задач за то же время, которое требуется для запуска одного.
• Я упомянул, что дочерние (асинхронные )процессы работать в ожидаемом порядке. Поскольку они работают одновременно (, то есть параллельно ), их выполнение, вероятно, будет перекрываться. Итак, если мы изменим приведенный выше скрипт, чтобы он выполнял

  appendnum() {
      echo "$1"a >> "$x"
      echo "$1"b >> "$x"
  }
  for no in {1..3}
  do
      appendnum $no &
  done

  , вы можете получить 1a/ 1b/ 2a/ 2b/ 3a/ 3bв файле — или вы можете получить 2a/ 2b/ 1a/ 1b/ 3a/ 3b, или вы можете получить 2a/ 1a/ 2b/ 3a/ 3b/ 1bили хуже. Запись асинхронных процессов в один и тот же файл — плохая идея.

Вероятно, вам следует сделать что-то вроде

for no in {1..3}
do
    task"$no" > file"$no" &
done
wait
cat file1 file2 file3 > combined_result

• $(command)делает то же самое как `command`. Вам следует придерживаться формы $(command).
• Нет смысла говорить x=`echo $x$num`или x=$(echo $x$num). Просто скажите x="$x$num".
• Переменные оболочки всегда следует заключать в кавычки. если у вас нет веской причины не делать этого, и вы уверены, что знаете, что делаете. Так что не делайте appendnum $no; делать appendnum "$no"и т. д.

Если я вас правильно понял, вы хотите:

• Запускать задачи параллельно, т.е. в идеале убедитесь, что все они завершаются за время, необходимое для выполнения одной задачи. (это нереально, но мы можем приложить все усилия)
• Сохранять порядок вывода, даже если некоторые более поздние задачи завершаются раньше некоторых более ранних задач

Имея это в виду, вы можете попробовать следующее:

parallel -k -j10 'sleep {}; echo -n {}' ::: {10..1}

Первая выполняемая задача занимает больше всего времени, но поскольку мы добавили опцию -k, утилита parallelсохранит порядок и в конечном итоге выведет

10987654321

без опции -kвывод инвертируется и появляется по окончании команд

12345678910

Посмотрите руководство, если вам нужна дополнительная информация:https://www.gnu.org/software/parallel/parallel_tutorial.html

[responseof(task1),responseof(task2),responseof(task3)]

parsetсоздан для этого:

parset result responseof ::: task1 task2 task3
echo "${result[1]}"

Например,:

parset res seq ::: 3 2 1
echo "${res[1]}"

parsetявляется частью GNU Parallel.