Выполнение задач параллельно, для использования нескольких процессоров
Параллелизм, или распараллеливание, или параллельные вычисления, означает использовать несколько процессоров для выполнения задачи более быстро, чем на единственном процессоре.
Для использования нескольких потоков, когда присутствие больше чем одного процессора будет не важно, используйте многопоточность или параллелизм вместо этого. Для параллелизма по нескольким машинам, и не только по нескольким процессорам в той же машине, кластере использования в дополнение к или вместо этого тега.
параллель гну является общим инструментом для параллельного выполнения.
Полезные ссылки
Существует список IP-адресов в .txt файле, напр.: 1.1.1.1 2.2.2.2 3.3.3.3 Позади каждого IP-адреса существует сервер, и на каждом сервере существует sshd, работающий на порте 22. Не каждый сервер...
07.09.2017
Предположим, что я имею три (или больше) сценарии удара: script1.sh, script2.sh, и script3.sh. Я хотел бы назвать все три из этих сценариев и выполнить их параллельно. Один способ сделать это только к...
22.11.2014
Я хотел бы решить следующую проблему о отправке работы, которая была параллелизована для определенного узла. Позвольте мне начать с объяснения структуры моей проблемы, у меня есть два очень простых MATLAB ...
11.12.2018
Я нашел только puf (Параллельное устройство выбора URL), но я не мог заставить это читать URL из файла; что-то как puf <urls.txt не работает также. Операционная система, установленная на сервере...
12.09.2017
Под предположением, что диск ввод-вывод и свободная RAM является узким местом (в то время как процессорное время не является ограничением), инструмент существует, который может вычислить несколько дайджестов сообщения сразу? Я особенно...
09.01.2017
Я пытаюсь запускать индексы из основного скрипта, но я хочу убедиться, что в в то же время. Следующий упрощенный пример иллюстрирует. Каждый индекс создает ...
31.07.2015
У меня есть 1 000 gzipped файлов, которые я хочу отсортировать. Делая это последовательно, процедура выглядит довольно простой: найти. - имя *.gz - должностное лицо zcat {} | вид> {}.txt \; Не уверенный, что код...
22.09.2017
Я хочу параллелизировать для цикла, где количество повторений в цикле может быть очень большим такой как 10^6. Так, будет лучше, если я могу создать потоки, а не процесс. Как сделать это? Код...
28.09.2017
У меня есть три вида данных, которые находятся в различных форматах; для каждого типа данных существует сценарий Python, который преобразовывает его в единственный унифицированный формат. Этот сценарий Python является медленным и зависящим от ЦП (к...
13.09.2017
У меня есть смущающе параллельный процесс, который создает огромную сумму почти (но не полностью) идентичные файлы. Есть ли способ заархивировать файлы "на лету", так, чтобы данные не использовали...
13.09.2017
У меня есть следующий сценарий bash: для i в {0800..9999}; сделать для j в {001..032}; сделать wget http://example.com/"$i-$j".jpg готово
done Все фотографии существуют, и фактически каждая итерация делает ...
31.07.2017
Я хочу распараллелить процесс вычисления хэша, потому что у меня очень большое количество файлов и их размеры. Когда я вижу использование ЦП этими командами, я расстраиваюсь, потому что они используют только один поток;...
16.05.2021
В обычном дистрибутиве Linux такие утилиты, как rm, mv, ls, grep, wc и т. д., выполняются параллельно с их аргументами?
Другими словами, если я выгружу огромный файл на 32-поточном процессоре, будет ли он работать быстрее, чем на ...
26.06.2020
Я хочу запустить некоторые симуляции, используя инструмент Python, который я сделал. Загвоздка в том, что мне пришлось бы вызывать его несколько раз с разными параметрами/аргументами и всем остальным. На данный момент я использую...
13.03.2020
Я создал этот скрипт от скуки с единственной целью использования/тестирования параллелизма GNU, поэтому я знаю, что он не особенно полезен или оптимизирован, но у меня есть скрипт, который будет вычислять все простые числа...
25.01.2020
В настоящее время у меня есть следующий сценарий для использования программы HaploTypeCaller в моей системе Unix в созданной мной воспроизводимой среде: #!/bin/bash
#параллельный вызов SNP с хромосомами по GATK
for i in ...
12.07.2019
Я пытаюсь понять параллельную обработку в сценариях оболочки и последовательное добавление значений детерминированно (без случайного порядка) в вывод на простом примере. Ниже приведен фрагмент кода: ...
03.05.2019
Извинения, если это вне темы - это касается относительной эффективности выполнения сценариев Perl/Java I/O-heavy параллельно в системе Ubuntu. Я записал две простых версии сценария копии файла (...
27.09.2017
Я делаю сборку на машине Linux с Ubuntu 10.04 на нем. Как я могу действительно ускорить свою сборку? У меня есть 4 центральных процессора и много RAM. Я уже reniced группа процесса к-20. Есть ли что-то еще я...
25.09.2017
Я выполняю что-то вроде этого: найти.-maxdepth 1 - тип f - отмечает-iname "*.gpg" | вид | в то время как считанный файл; действительно повторяйте "$file Шифрования..." gpg - доверительную модель всегда - получателя "me@myself.com&
25.09.2017
Я петляю | B - параметрические усилители> file.txt. Так как я хочу ускорить скорость обработки, я использовал параллель-j+0 <a.txt для выполнения 20 заданий одновременно. a.txt содержит все команды: A...
20.09.2017
Я пытаюсь скопировать файлы с testMachineB и testMachineC в testMachineA, поскольку я выполняю свой сценарий оболочки на testMachineA. Если файл не находится там в testMachineB, то это должно быть там в...
20.09.2017
Я выполняю много задач на кластере Linux. Каждая задача создает много выходных файлов. Когда все задачи закончены, я работаю, что-то как tar cf foo.tar output_files/to создает архив tar. Это очень...
13.09.2017
Командам нравится, находят, и grep извлек бы выгоду значительно, если бы они должны были работать параллельно. Есть ли утилита или программа, которая принимает управление как аргумент и делает выполненным параллельно путем выполнения нескольких...
13.09.2017
Я использую процессор четверки freescale IMX6. Я хочу знать если главные списки команд использование ЦП всех 4 ядер или одноядерного. Я вижу, что использование ЦП приложения тем же с 4 ядрами...
12.09.2017
Другу океанографу на работе необходимо создать резервную копию данных за многие месяцы. Она потрясена, поэтому я вызвался сделать это. Существуют сотни каталогов, для которых необходимо создать резервные копии, и мы хотим использовать tar / bzip ...
22.09.2016
У меня в сценарии оболочки есть следующее: для файла в $ local_dir / myfile.log. *; сделать file_name = $ (basename $ file); имя_сервера = $ (эхо $ имя_файла | вырезать -f 3 -d '.'); ...
05.11.2015
У меня есть эта команда для пакетного преобразования документов PDF (первых 2 страниц )в файлы TIFF с использованием pdftoppm. Цель состоит в том, чтобы поместить изображения TIFF в отдельную папку с именем папки, совпадающим с именем исходного файла PDF.
04.11.2021
Я пытаюсь смолоть, сжать и зашифровать большую папку резервных копий, но процесс идет медленно, так как я считаю, что gpg является однопоточным. Я пытался использовать split для разделения корневой папки, поэтому вместо...
03.03.2021
Допустим, у меня 10 ГБ ОЗУ и неограниченный объем подкачки. Я хочу запустить 10 заданий параллельно (gnu parallel — это вариант, но не обязательно единственный ). Эти рабочие места постепенно требуют все больше и больше...
21.01.2021