2
ответа

Как параллелизировать dd?

Я в настоящее время испытываю затруднения из-за dd, вызванного с редким файлом, как введено (если) и файлом как вывод с conv=sparse. dd, кажется, использует одно ядро ЦП (Intel(R) Core(TM) i7-3632QM CPU 2....
11.10.2014
2
ответа

Как я распределяю большую загрузку по нескольким компьютерам?

Я должен загрузить большой файл (1GB). У меня также есть доступ к нескольким компьютерам, запускающим Linux, но каждый ограничен скоростью загрузки 50kB/s администраторской политикой. Как я распределяю загрузку этого...
04.10.2014
2
ответа

разделите файл, передайте каждую часть как параметрический усилитель к сценарию, запустите каждый скрипт параллельно

У меня есть words.txt с 10 000 слов (одно к строке). У меня есть 5 000 документов. Я хочу видеть, который документы содержат который из тех слов (с regex шаблоном вокруг слова). У меня есть script.sh это...
02.08.2014
1
ответ

Влияют ли друг на друга несколько сценариев оболочки, использующих общий другой сценарий, когда они изменяют «исходную» переменную?

Если я получаю один и тот же сценарий оболочки из нескольких других сценариев, которые я запускаю параллельно, и изменяю переменную оболочки, определенную в исходном сценарии, не перепутают ли исходные сценарии значение этой переменной друг друга? Пример
07.10.2021
1
ответ

Как распараллелить рекурсивную функцию bash?

У меня есть функция bash, которая в основном скручивает конечную точку для набора ссылок и снова рекурсивно скручивает каждую из этих ссылок (для другого набора ссылок ). задача (){ ссылка = "$1" ответ=$ (curl "$ссылка" )#сохранить данные ответа в файл..
03.09.2021
1
ответ

Один лайнер -для параллельного запуска команд из файла с использованием xargs

У меня есть такой скрипт :#!/bin/csh команда 1 \ -f \"вход1\" \ -l вход2 -прочее _переключатели1 команда 2 \ -f \"вход1\" \ -м вход2 \ -l вход3 -прочее _переключатели1 команда 3 \ -f \"вход1\" \ -л вход 2
23.08.2021
1
ответ

Как сделать несколько параллельных вызовов функции, которая делает почтовый запрос в unix?

У меня есть функция A, которая принимает аргумент fileName, а затем выполняет почтовый вызов curl с этим файлом на сервер занятости. Псевдокод функции будет выглядеть как :функция A (имя файла ){ // читать...
19.06.2021
1
ответ

Сценарий Bash для чтения нескольких файлов

У меня есть несколько сценариев R для чтения (до 3, то есть tr1.R, tr2.R, tr3.R ). Сценарий bash для чтения одного сценария приведен ниже. #!/бин/баш #PBS -l узлов=1 :ppn=10,walltime=00 :05 :00 #ФСБ -М #ФСБ -м е...
24.05.2021
1
ответ

Приостановка и возобновление передачи команды

Я загружаю много данных для своего исследования. Данные загружаются на один из суперкомпьютеров моего кампуса, но загрузка данных прерывается каждый час. Когда ОС приостанавливает конвейер, у меня...
11.05.2021
1
ответ

Использовать GNU Parallel, если файл содержит одну (длинную )строку

У меня есть файл, представляющий собой HTML-документ, содержащий , из которого я хочу извлечь данные и вывести их в формате csv. В этом файле 544609657 символов, около 545 мегабайт, все в одной строке....
31.03.2021
1
ответ

Использование массивов оболочки для параллельного чтения каждых N строк файла

Итак, я уже знаю, как успешно читать каждые N строк параллельно и запускать команду для каждой из этих строк :while read -r i && read -r a && read -r b && read -r c &&...
22.03.2021
1
ответ

параллельное сравнение двух аргументов и отправка в команду

Я пытаюсь выполнить команду recon -all с GNU parallel. Он должен принимать один аргумент в {1}, например :параллель --progress subj _id='echo {1} | cut -d / -f 3' && recon -all -s $subj _id -i {1} -sd...
07.02.2021
1
ответ

Как настроить планировщик linux для параллельных вычислений?

У меня есть машина с Linux, предназначенная для выполнения некоторых параллельных вычислений, и я пытаюсь понять, как выбрать/настроить планировщик и, возможно, другие параметры, чтобы добиться наибольшей производительности (...
03.01.2021
1
ответ

Чем вредна параллельная загрузка слишком большого количества файлов через lftp?

Параллельно качаю файлы через lftp на удаленный сервер, и использую команды :lftp ftp :*url *cd в зеркало каталога --parallel=10 Я загружаю в общей сложности 365 файлов, разделенных...
07.12.2020
1
ответ

Объяснение семафора на основе FIFO -

Я пытаюсь работать над некоторым распараллеливанием многих процессов (отправки/выполнения задачи на многих (скажем, сотнях )узлов ). Я наткнулся на это решение :https://unix.stackexchange.com/a/216475#...
04.11.2020
1
ответ

Параллельная команда Bash выполняет команды последовательно

Я пытаюсь загрузить несколько файлов параллельно в bash и наткнулся на GNU parallel. Это выглядит очень просто и прямолинейно. Но мне трудно заставить работать параллель GNU. Что я...
04.09.2020
1
ответ

SLURM :Как отправить несколько параллельных кодов OpenMP в сценарий задания

Я хотел запустить 4 кода Python, каждый из которых использовал 2 процессора. (Распараллеливание выполняется внутри MKL. )#!/бин/баш #ПАРТИЯ -N 1 #SBATCH --ntasks -на -узел=4 #SBATCH --cpus -per -task=2 export OMP _NUM _THREADS=...
02.08.2020
1
ответ

добавление значений в динамический массив

#!/bin/bash range=$ (seq -f "cen%04g" 1052 1099 )range1=$ (seq -f "rh%04g" 1052 1099 )проверить (){ для node1 в ${range};do ping -q -c 1 -w 3 -s 10 $node1 >/dev/null if [...
03.07.2020
1
ответ

Как я могу использовать fork для вычисления частичных результатов вычислений?

Задача, которая была дана мне, заключается в том, что я должен найти все числа, которые делят число (назовем его х )и узнать, сколько раз оно делится. Я должен использовать вилку, чтобы выполнить задачу. Что я...
17.05.2020
1
ответ

Подстановочные знаки в xargs для параллельной обработки

Проблема У меня проблема с использованием входной переменной VAR в функции (т.е. ls) с подстановочным знаком *, когда эта функция находится в вызове xargs bash. Эта функция xargs повторяется для каждого члена списка...
01.05.2020
1
ответ

Параллельное слияние файлов до тех пор, пока не останется только 1 файл.

Я хотел бы объединить несколько файлов подсчета языковой модели (LM) с помощью программы SRILM ngram-merge. С помощью этой программы я мог бы объединить целый каталог файлов count, например. ngram-merge -write ...
25.03.2020
1
ответ

Поточно-ориентированная служба следующего числа (или циклического перебора) в linux

У меня есть машина с Ubuntu и сценарий, в котором мне нужно сгенерировать следующее число (начиная с X) между 0 и 20 круговым способом. Мне нужен способ получить следующее число, которое будет потоком...
08.03.2020
1
ответ

Параллельный запуск скрипта с инкрементной переменной

Я хотел бы запустить скрипт Python параллельно на нескольких процессорах для файлов в INPUTDIR. Для этого я использую несколько строк ниже: # определить функцию pythonprocessing(){ python myscript....
17.02.2020
1
ответ

GNU Parallel Python Semaphore

У меня есть сценарий Python, распараллеленный через GNU parallel, который находит определенный результат, который я хотел бы вывести в файл, что я сейчас и делаю с помощью стандартного файлового ввода-вывода Python. Проблема в том, что я ...
20.01.2020
1
ответ

Добавление тайм-аута к параллельному вызову в Bash

У меня есть простой сценарий Bash, который я запускаю для распараллеливания и автоматизации выполнения программы, написанной на Sage MATH:#!/bin/bash для я в {1..500}; do echo Скручивание нитей... echo Round $i...
11.01.2020
1
ответ

Можно ли сделать -jN динамическим в зависимости от загрузки процессора?

Например, было бы полезно иметь -jN > nrcpus на этапе настройки, когда нагрузка на ЦП низкая? Затем укажите -jN = nrcpus во время компиляции, где нагрузка должна быть равномерно распределена на ...
23.12.2019
1
ответ

Подоболочки запускаются параллельно по умолчанию?

Этот вопрос вытекает из рекомендации этого и одного из его ответов прочитать Linuxtopia - Chapter 20. Subshells. Меня немного смущает это утверждение на сайте Linuxtopia: подоболочки позволяют ...
06.12.2019
1
ответ

Можно $! вызвать условия гонки при использовании в сценариях, работающих параллельно?

Скажем, у меня есть несколько сценариев bash, которые выполняются параллельно с кодом, подобным следующему: #!/bin/bash tail -f /dev/null & echo "pid равен "$! $! гарантированно даст мне PID самого последнего ...
25.08.2019
1
ответ

Возьмите файлы fastq с одинаковыми именами в папке и добавьте их в сценарий (попарно)

У меня есть набор файлов с такими именами внутри папки: AM11_BW415_R1.fastq.gz NAM13_BW968_R2.fastq.gz NAM17_AC_Barrie_R1.fastq.gz NAM3_PI648600_R2.fastq.gz NAM7_Glenlea_R1.fastq.gz ...
12.07.2019
1
ответ

Параллельная работа только с ограниченным числом ядер ЦП

У меня есть 12-ядерный сервер, и я хочу запустить скрипт, который файл в качестве входного аргумента и обрабатывает его. Я хочу использовать 8 ядер и больше не выполнять параллельную обработку 8 файлов одновременно на ...
15.06.2019