15
ответов
Автоматически команды выполнения по SSH на многих серверах
Существует список IP-адресов в .txt файле, напр.: 1.1.1.1 2.2.2.2 3.3.3.3 Позади каждого IP-адреса существует сервер, и на каждом сервере существует sshd, работающий на порте 22. Не каждый сервер...
07.09.2017
8
ответов
Вызов нескольких сценариев удара и выполнение их параллельно, не в последовательности
Предположим, что я имею три (или больше) сценарии удара: script1.sh, script2.sh, и script3.sh. Я хотел бы назвать все три из этих сценариев и выполнить их параллельно. Один способ сделать это только к...
22.11.2014
6
ответов
Альтернатива ждать -N (потому что сервер имеет старую версию Bash)
Я хотел бы решить следующую проблему о отправке работы, которая была параллелизована для определенного узла. Позвольте мне начать с объяснения структуры моей проблемы, у меня есть два очень простых MATLAB ...
11.12.2018
6
ответов
Существует ли параллель wget? Что-то как fping, но только для загрузки?
Я нашел только puf (Параллельное устройство выбора URL), но я не мог заставить это читать URL из файла; что-то как puf <urls.txt не работает также. Операционная система, установленная на сервере...
12.09.2017
6
ответов
Одновременно вычислите несколько обзоров (md5, sha256)?
Под предположением, что диск ввод-вывод и свободная RAM является узким местом (в то время как процессорное время не является ограничением), инструмент существует, который может вычислить несколько дайджестов сообщения сразу? Я особенно...
09.01.2017
6
ответов
Как запустить не более n параллельных подоболочек
Я пытаюсь запускать индексы из основного скрипта, но я хочу убедиться, что в в то же время. Следующий упрощенный пример иллюстрирует. Каждый индекс создает ...
31.07.2015
5
ответов
Как создать ограниченную очередь для задач оболочки?
У меня есть 1 000 gzipped файлов, которые я хочу отсортировать. Делая это последовательно, процедура выглядит довольно простой: найти. - имя *.gz - должностное лицо zcat {} | вид> {}.txt \; Не уверенный, что код...
22.09.2017
4
ответа
Параллелизация для цикла с очень большим количеством повторений
Я хочу параллелизировать для цикла, где количество повторений в цикле может быть очень большим такой как 10^6. Так, будет лучше, если я могу создать потоки, а не процесс. Как сделать это? Код...
28.09.2017
4
ответа
Создание единственного потока вывода из трех других потоков, произведенных параллельно
У меня есть три вида данных, которые находятся в различных форматах; для каждого типа данных существует сценарий Python, который преобразовывает его в единственный унифицированный формат. Этот сценарий Python является медленным и зависящим от ЦП (к...
13.09.2017
4
ответа
Виртуальная файловая система только для записи для того, чтобы хранить файлы в архиве
У меня есть смущающе параллельный процесс, который создает огромную сумму почти (но не полностью) идентичные файлы. Есть ли способ заархивировать файлы "на лету", так, чтобы данные не использовали...
13.09.2017
4
ответа
Загрузить несколько файлов с помощью wget параллельно
У меня есть следующий сценарий bash: для i в {0800..9999}; сделать для j в {001..032}; сделать wget http://example.com/"$i-$j".jpg готово
done Все фотографии существуют, и фактически каждая итерация делает ...
31.07.2017
3
ответа
Как распараллелить команду sha256sum или другие команды хеширования?
Я хочу распараллелить процесс вычисления хэша, потому что у меня очень большое количество файлов и их размеры. Когда я вижу использование ЦП этими командами, я расстраиваюсь, потому что они используют только один поток;...
16.05.2021
3
ответа
Распараллелены ли базовые утилиты POSIX?
В обычном дистрибутиве Linux такие утилиты, как rm, mv, ls, grep, wc и т. д., выполняются параллельно с их аргументами?
Другими словами, если я выгружу огромный файл на 32-поточном процессоре, будет ли он работать быстрее, чем на ...
26.06.2020
3
ответа
Последовательные и параллельные циклы/команды Bash
Я хочу запустить некоторые симуляции, используя инструмент Python, который я сделал. Загвоздка в том, что мне пришлось бы вызывать его несколько раз с разными параметрами/аргументами и всем остальным. На данный момент я использую...
13.03.2020
3
ответа
Как оптимизировать параллель GNU для этого использования?
Я создал этот скрипт от скуки с единственной целью использования/тестирования параллелизма GNU, поэтому я знаю, что он не особенно полезен или оптимизирован, но у меня есть скрипт, который будет вычислять все простые числа...
25.01.2020
3
ответа
Преобразование циклов for в сценарии, который вызывается другим сценарием, в параллельные команды GNU.
В настоящее время у меня есть следующий сценарий для использования программы HaploTypeCaller в моей системе Unix в созданной мной воспроизводимой среде: #!/bin/bash
#параллельный вызов SNP с хромосомами по GATK
for i in ...
12.07.2019
3
ответа
Параллельная обработка оболочки: добавление значений
Я пытаюсь понять параллельную обработку в сценариях оболочки и последовательное добавление значений детерминированно (без случайного порядка) в вывод на простом примере. Ниже приведен фрагмент кода: ...
03.05.2019
3
ответа
Рабочие задания параллельно на Ubuntu - различия в конкуренции ввода-вывода между Perl и Java
Извинения, если это вне темы - это касается относительной эффективности выполнения сценариев Perl/Java I/O-heavy параллельно в системе Ubuntu. Я записал две простых версии сценария копии файла (...
27.09.2017
3
ответа
Как ускорить мою сборку
Я делаю сборку на машине Linux с Ubuntu 10.04 на нем. Как я могу действительно ускорить свою сборку? У меня есть 4 центральных процессора и много RAM. Я уже reniced группа процесса к-20. Есть ли что-то еще я...
25.09.2017
3
ответа
Доходящий до X команд параллельно
Я выполняю что-то вроде этого: найти.-maxdepth 1 - тип f - отмечает-iname "*.gpg" | вид | в то время как считанный файл; действительно повторяйте "$file Шифрования..." gpg - доверительную модель всегда - получателя "me@myself.com&
25.09.2017
3
ответа
Действительно ли безопасно передать stdout по каналу к B параллельно
Я петляю | B - параметрические усилители> file.txt. Так как я хочу ускорить скорость обработки, я использовал параллель-j+0 <a.txt для выполнения 20 заданий одновременно. a.txt содержит все команды: A...
20.09.2017
3
ответа
Как разделить массив в наборе пяти файлов и загрузить их параллельно?
Я пытаюсь скопировать файлы с testMachineB и testMachineC в testMachineA, поскольку я выполняю свой сценарий оболочки на testMachineA. Если файл не находится там в testMachineB, то это должно быть там в...
20.09.2017
3
ответа
Несколько процессов tar, пишущих в тот же архивный файл сразу
Я выполняю много задач на кластере Linux. Каждая задача создает много выходных файлов. Когда все задачи закончены, я работаю, что-то как tar cf foo.tar output_files/to создает архив tar. Это очень...
13.09.2017
3
ответа
выполнение исполняемого файла параллельно путем деления входного дерева каталогов
Командам нравится, находят, и grep извлек бы выгоду значительно, если бы они должны были работать параллельно. Есть ли утилита или программа, которая принимает управление как аргумент и делает выполненным параллельно путем выполнения нескольких...
13.09.2017
3
ответа
главная команда на многоядерном процессоре
Я использую процессор четверки freescale IMX6. Я хочу знать если главные списки команд использование ЦП всех 4 ядер или одноядерного. Я вижу, что использование ЦП приложения тем же с 4 ядрами...
12.09.2017
3
ответа
параллельное резервирование
Другу океанографу на работе необходимо создать резервную копию данных за многие месяцы. Она потрясена, поэтому я вызвался сделать это. Существуют сотни каталогов, для которых необходимо создать резервные копии, и мы хотим использовать tar / bzip ...
22.09.2016
3
ответа
запрос выполняется параллельно для сценариев цикла
У меня в сценарии оболочки есть следующее: для файла в $ local_dir / myfile.log. *; сделать file_name = $ (basename $ file); имя_сервера = $ (эхо $ имя_файла | вырезать -f 3 -d '.'); ...
05.11.2015
2
ответа
Как запустить преобразование PDF в TIFF параллельно?
У меня есть эта команда для пакетного преобразования документов PDF (первых 2 страниц )в файлы TIFF с использованием pdftoppm. Цель состоит в том, чтобы поместить изображения TIFF в отдельную папку с именем папки, совпадающим с именем исходного файла PDF.
04.11.2021
2
ответа
создать параллельный gpg
Я пытаюсь смолоть, сжать и зашифровать большую папку резервных копий, но процесс идет медленно, так как я считаю, что gpg является однопоточным. Я пытался использовать split для разделения корневой папки, поэтому вместо...
03.03.2021
2
ответа
параллельный :Пауза (замена )долгий -выполнение при превышении предела памяти
Допустим, у меня 10 ГБ ОЗУ и неограниченный объем подкачки. Я хочу запустить 10 заданий параллельно (gnu parallel — это вариант, но не обязательно единственный ). Эти рабочие места постепенно требуют все больше и больше...
21.01.2021
Выполнение задач параллельно, для использования нескольких процессоров
Параллелизм, или распараллеливание, или параллельные вычисления, означает использовать несколько процессоров для выполнения задачи более быстро, чем на единственном процессоре.
Для использования нескольких потоков, когда присутствие больше чем одного процессора будет не важно, используйте многопоточность или параллелизм вместо этого. Для параллелизма по нескольким машинам, и не только по нескольким процессорам в той же машине, кластере использования в дополнение к или вместо этого тега.
параллель гну является общим инструментом для параллельного выполнения.