1
ответ
GNU parallel выполняет все команды одновременно внутри моей функции
Итак, у меня есть функция bash, которую я применяю к нескольким папкам :функциональная задача (){ делать _вещь1 делать _вещь2 делать _вещь3... } Я хочу запустить эту функцию параллельно. До сих пор я использовал небольшой трюк с вилкой :N=4...
20.11.2020
1
ответ
gnu parallel :как установить лимит в секунду
Мне нужно использовать параллель и установить ограничение скорости в секунду, потому что мне нужно запросить API с ограничением скорости «5 в секунду». Должен ли я комбинировать -n5 и --timeout 1? Спасибо
25.10.2020
1
ответ
Параллельная команда Bash выполняет команды последовательно
Я пытаюсь загрузить несколько файлов параллельно в bash и наткнулся на GNU parallel. Это выглядит очень просто и прямолинейно. Но мне трудно заставить работать параллель GNU. Что я...
04.09.2020
1
ответ
Как передать номер задания в GNU Parallel?
Я передаю переменные из сценария в основной сценарий в параллельной команде, например ./script1 | parallel -u --jobs 3 "./script2 {}" Как передать номер задания в качестве второго аргумента ./script2? ...
24.04.2020
1
ответ
Может ли GNU Parallel выполнять сценарий bash 25000 раз в секунду и параллельные процессы?
Я тестирую ответ своего веб-сервера. У меня есть компьютер с 15 процессорами и 30 ГБ памяти. Как я могу выполнить следующую команду bash на этом компьютере 25000 раз в секунду? curl -Z url="...
27.03.2020
1
ответ
Как я могу рекурсивно найти каталоги и проанализировать их в вызове скрипта python в скрипте bash?
Я пытаюсь просмотреть несколько подкаталогов в одном каталоге и отобразить файлы в каждом подкаталоге с помощью скрипта Python, который я вызываю в этом скрипте bash с помощью gnu -...
27.03.2020
1
ответ
Архивировать несколько zip-файлов в один файл
Как объединить несколько существующих zip-файлов в один файл? Я спрашиваю, потому что у меня есть много PDF-файлов для архивирования, и я хочу использовать параллель, чтобы сэкономить время при архивировании их всех (как в ls./ *.pdf |...
03.03.2020
1
ответ
GNU Parallel использует только одно ядро ЦП
Я провожу обучение, используя GNU parallel. Обучение занимает около 30 секунд, чтобы запустить одну итерацию, а мне нужно запустить около 3000. Само обучение не может быть распараллелено (по крайней мере, без ...
03.02.2020
1
ответ
GNU Parallel Python Semaphore
У меня есть сценарий Python, распараллеленный через GNU parallel, который находит определенный результат, который я хотел бы вывести в файл, что я сейчас и делаю с помощью стандартного файлового ввода-вывода Python. Проблема в том, что я ...
20.01.2020
1
ответ
Поведение параллельного параметра GNU кажется странным
Итак, я пытаюсь написать простой сценарий, который принимает исходный каталог и целевой каталог в качестве аргументов и создает идентичную структуру каталогов в место назначения, затем преобразует каждый файл в ...
15.01.2020
1
ответ
bash array printf в gnu parallel
Я пытаюсь передать переменную массива bash, содержащую два элемента, в параллельный скрипт GNU: echo ${opts[@]} ...
13.01.2020
1
ответ
Сочетание gnu parallel и mpirun: как позаботиться о максимальном количестве ядер?
У меня есть машина с 32 ядрами, на которой я хочу запустить несколько заданий mpi с переменным числом ядер (это потому, что этого требует задача). Есть ли способ заставить gnu parallel знать число...
28.11.2019
1
ответ
ssh_askpass Отказано в доступе при использовании GNU parallel, даже при использовании nohup
Я пытаюсь запустить код через сеть внешних узлов.
У меня есть доступ к «основному» узлу через ssh, и я могу выполнить параллельный скрипт, который разделяет задания на кластер из 5 доступных узлов. ...
09.11.2019
1
ответ
Использование переменных в качестве входных данных в GNU parallel
Я хочу использовать переменные в качестве входных данных при передаче аргументов в GNU parallel. Например, у меня есть три bash-скрипта, которые я хочу запустить параллельно, используя параллели GNU «par1.sh», «par2.sh», «par3.sh». ...
16.08.2019
1
ответ
Как передать переменную в параллельный скрипт из текстового файла построчно
Мне нужно прочитать файл построчно и передать строку как переменную для параллельного запуска скрипта. пример: 14
43
57 находится в foo.txt, если я var=$(cat foo.txt), то я могу использовать этот $var для ...
12.07.2019
1
ответ
Как указать GNU Parallel не заключать замещающую строку в кавычки?
GNU Parallel по умолчанию заключает замещающую строку в кавычки, чтобы она не расширялась оболочкой. Но в некоторых случаях вы действительно хотите, чтобы строка замены интерпретировалась оболочкой. Например. $ cat ...
11.07.2019
1
ответ
Есть ли способ заставить GNU parallel отложить создание новых заданий до тех пор, пока не будут завершены все задания в пакете?
Я хочу запустить четыре процесса параллельно, но не создавать новые задания, пока все эти четыре не закончатся. РЕДАКТИРОВАТЬ: Моя команда выглядит так: find . -имя "*.log" | parallel -j 4 './process.sh {}'
28.06.2019
1
ответ
Параллельная работа только с ограниченным числом ядер ЦП
У меня есть 12-ядерный сервер, и я хочу запустить скрипт, который файл в качестве входного аргумента и обрабатывает его. Я хочу использовать 8 ядер и больше не выполнять параллельную обработку 8 файлов одновременно на ...
15.06.2019
1
ответ
GNU Parallel ожидает n заданий перед запуском
Я пытаюсь использовать GNU parallel в сценарии, и я заметил, что он начинает выводить только после -jX X заданий # Кот появляется только через 100 секунд
(эхо a; сон 100) | parallel -j1 --lb cat # Начинается ...
05.06.2019
1
ответ
Как включить имя входного файла в имя выходного файла в ffmpeg
Я хочу извлекать кадры как изображения из видео
, и я хочу, чтобы каждое изображение было названо
как InputFileName_number.bmp. Как я могу это сделать? Я попробовал следующую команду: ffmpeg -i clip.mp4 fr1 / $ filename% d.jpg ...
29.04.2019
1
ответ
gnu parallel, как использовать с ffmpeg
У меня есть папка, содержащая несколько файлов mp4. Я хочу параллельно извлечь изображения из каждого из них и сохранить их как: имя_файла_номер.bmp, где имя файла — это входное имя файла, как это сделать используя ...
28.04.2019
1
ответ
GNU Параллельный выход без вывода сообщений и ошибка неверного параметра
Я попытался выполнить полную установку с: http://git.savannah.gnu.org/cgit/parallel.git/tree/README Установка прошла успешно. Он хорошо работает при установке в Mac OS, но на Amazon ...
14.04.2019
1
ответ
Заставить GNU Parallel не задерживать выполнение аргументов из STDIN
GNU Parallel без каких-либо опций командной строки позволяет легко распараллелить команду, последний аргумент которой определяется строкой STDIN: $ последовательность 3 | параллельное эхо
2
1
3 Обратите внимание, что parallel делает ...
07.04.2019
1
ответ
CAN Parallel изменяет вывод скрипта Bash
У меня есть каталог, который заполнен подкаталогиями и в каждом подкаталоге 74 файлов. У меня есть скрипт Bash, который анализирует 74 файлов и желает запустить его параллельно по всем каталогам. Когда я пойду ...
06.04.2019
1
ответ
процесс параллельного выхода gnu с тайм-аутом
Возможно ли прервать процесс параллельного процесса gnu, если он превышает расчетное время выполнения? Например, у меня есть обработчик для обработки recon-all: while [ -n "${ids[0]}" ] ; do
printf 'Обработка...
26.03.2019
1
ответ
Правильное параллельное использование GNU в сочетании с tar, xz, gpg
Я хотел бы ускорить операции архивирования, я обычно делаю резервные копии размером 23 ГиБ (один Blu-Ray). Я нашел это: Как выполнить параллельное шифрование больших файлов с помощью GnuPG и GNU parallel? Поскольку я ...
15.03.2019
1
ответ
kill gnu parallel внутри функции bash
Я использую gnu parallel в функции подоболочки, например func()( parallel --will-cite sleep ::: 60
) при отправке SIGTERM в функцию я хочу, чтобы параллель тоже была убита. Но я получаю $ func &
[...
28.02.2019
1
ответ
Запуск программы параллельно с несколькими потоками
скажем, я хочу запустить параллелизовать программу для обработки куча файлов, и эта программа принимает опцию, чтобы увеличить Количество используемых потоков. Машина, которую я использую, имеет следующие спецификации из ...
30.01.2019
1
ответ
Каковы требования gnu-parallel к/для удаленного устройства, с которым осуществляется связь через ssh (и аутентификация с открытым ключом)
Я использую gnu-parallel.
Я предполагаю, что есть проблема с моей средой.
Чего я хочу достичь:
Попытка выполнить команду на нескольких машинах.
Для этого я создал sshloginfile (подходящее имя ~/....
23.01.2019
1
ответ
Почему при использовании теста "-type d", я нахожу конвейер в некаталогах?
У меня есть каталог ~/root/.
|-- бар
| - яйца
|... foo
|... hello.txt
|... script.sh
`- 4 каталога спама, 2 файла Издание find . -type d while in ~/root/ yield .
./спам
яйца
./бар
Однако...
23.12.2018