10
ответов

Автоматически команды выполнения по SSH на многих серверах

Существует список IP-адресов в .txt файле, напр.: 1.1.1.1 2.2.2.2 3.3.3.3 Позади каждого IP-адреса существует сервер, и на каждом сервере существует sshd, работающий на порте 22. Не каждый сервер...
07.09.2017
7
ответов

Вызов нескольких сценариев удара и выполнение их параллельно, не в последовательности

Предположим, что я имею три (или больше) сценарии удара: script1.sh, script2.sh, и script3.sh. Я хотел бы назвать все три из этих сценариев и выполнить их параллельно. Один способ сделать это только к...
22.11.2014
6
ответов

Одновременно вычислите несколько обзоров (md5, sha256)?

Под предположением, что диск ввод-вывод и свободная RAM является узким местом (в то время как процессорное время не является ограничением), инструмент существует, который может вычислить несколько дайджестов сообщения сразу? Я особенно...
09.01.2017
6
ответов

Как запустить не более n параллельных подоболочек

Я пытаюсь запускать индексы из основного скрипта, но я хочу убедиться, что в в то же время. Следующий упрощенный пример иллюстрирует. Каждый индекс создает ...
31.07.2015
5
ответов

Существует ли параллель wget? Что-то как fping, но только для загрузки?

Я нашел только puf (Параллельное устройство выбора URL), но я не мог заставить это читать URL из файла; что-то как puf <urls.txt не работает также. Операционная система, установленная на сервере...
12.09.2017
4
ответа

Параллелизация для цикла с очень большим количеством повторений

Я хочу параллелизировать для цикла, где количество повторений в цикле может быть очень большим такой как 10^6. Так, будет лучше, если я могу создать потоки, а не процесс. Как сделать это? Код...
28.09.2017
4
ответа

Создание единственного потока вывода из трех других потоков, произведенных параллельно

У меня есть три вида данных, которые находятся в различных форматах; для каждого типа данных существует сценарий Python, который преобразовывает его в единственный унифицированный формат. Этот сценарий Python является медленным и зависящим от ЦП (к...
13.09.2017
4
ответа

Виртуальная файловая система только для записи для того, чтобы хранить файлы в архиве

У меня есть смущающе параллельный процесс, который создает огромную сумму почти (но не полностью) идентичные файлы. Есть ли способ заархивировать файлы "на лету", так, чтобы данные не использовали...
13.09.2017
3
ответа

Как ускорить мою сборку

Я делаю сборку на машине Linux с Ubuntu 10.04 на нем. Как я могу действительно ускорить свою сборку? У меня есть 4 центральных процессора и много RAM. Я уже reniced группа процесса к-20. Есть ли что-то еще я...
25.09.2017
3
ответа

Как создать ограниченную очередь для задач оболочки?

У меня есть 1 000 gzipped файлов, которые я хочу отсортировать. Делая это последовательно, процедура выглядит довольно простой: найти. - имя *.gz - должностное лицо zcat {} | вид> {}.txt \; Не уверенный, что код...
22.09.2017
3
ответа

Действительно ли безопасно передать stdout по каналу к B параллельно

Я петляю | B - параметрические усилители> file.txt. Так как я хочу ускорить скорость обработки, я использовал параллель-j+0 <a.txt для выполнения 20 заданий одновременно. a.txt содержит все команды: A...
20.09.2017
3
ответа

Как разделить массив в наборе пяти файлов и загрузить их параллельно?

Я пытаюсь скопировать файлы с testMachineB и testMachineC в testMachineA, поскольку я выполняю свой сценарий оболочки на testMachineA. Если файл не находится там в testMachineB, то это должно быть там в...
20.09.2017
3
ответа

Несколько процессов tar, пишущих в тот же архивный файл сразу

Я выполняю много задач на кластере Linux. Каждая задача создает много выходных файлов. Когда все задачи закончены, я работаю, что-то как tar cf foo.tar output_files/to создает архив tar. Это очень...
13.09.2017
3
ответа

выполнение исполняемого файла параллельно путем деления входного дерева каталогов

Командам нравится, находят, и grep извлек бы выгоду значительно, если бы они должны были работать параллельно. Есть ли утилита или программа, которая принимает управление как аргумент и делает выполненным параллельно путем выполнения нескольких...
13.09.2017
3
ответа

параллельное резервирование

Другу океанографу на работе необходимо создать резервную копию данных за многие месяцы. Она потрясена, поэтому я вызвался сделать это. Существуют сотни каталогов, для которых необходимо создать резервные копии, и мы хотим использовать tar / bzip ...
22.09.2016
3
ответа

запрос выполняется параллельно для сценариев цикла

У меня в сценарии оболочки есть следующее: для файла в $ local_dir / myfile.log. *; сделать file_name = $ (basename $ file); имя_сервера = $ (эхо $ имя_файла | вырезать -f 3 -d '.'); ...
05.11.2015
2
ответа

Рабочие задания параллельно на Ubuntu - различия в конкуренции ввода-вывода между Perl и Java

Извинения, если это вне темы - это касается относительной эффективности выполнения сценариев Perl/Java I/O-heavy параллельно в системе Ubuntu. Я записал две простых версии сценария копии файла (...
27.09.2017
2
ответа

'mpirun-np N': что, если и' больше, чем мои физические ядра?

Скажите, что у меня есть рабочая станция с 4 ядрами, что было бы Linux (Ubuntu) делать, если я выполнюсь, то mpirun-np 9 XXX 9 будет работать сразу вместе, или они будут работать 4 после 4? Я предполагаю, что использование 9 не хорошо, потому что...
27.09.2017
2
ответа

Параллелизация для цикла

Я хочу параллелизировать для циклов следующего кода. Как сделать это? #!/bin/bash N= 1$ n= 2$ для ((i=1; я <= $N; я ++)); сделайте min=100000000000000//устанавливают минуту на некоторое значение мусора для ((j=1;...
25.09.2017
2
ответа

Доходящий до X команд параллельно

Я выполняю что-то вроде этого: найти.-maxdepth 1 - тип f - отмечает-iname "*.gpg" | вид | в то время как считанный файл; действительно повторяйте "$file Шифрования..." gpg - доверительную модель всегда - получателя "me@myself.com&
25.09.2017
2
ответа

Фоновое выполнение параллельно

У меня есть программа./pgm берущий некоторые аргументы (скажите, что-a file1-b val), который требует, чтобы 2 секунды выполнились. Я хотел бы использовать все процессоры на своей машине для запущения этой программы на всех входных файлах...
16.09.2017
2
ответа

Выполнение переданных по каналу команд параллельно

Рассмотрите следующий сценарий. У меня есть две программы A и B. Программируйте выводы к stdout строкам строк в то время как производственные линейки программы B от stdin. Способ использовать эти две программы, конечно:...
12.09.2017
2
ответа

Как остановить xargs от плохого слияния вывода от нескольких процессов?

Я использую xargs с опцией - max-args=0 (альтернативно-P 0). Однако вывод процессов объединяется в stdout поток не принимая во внимание надлежащее разделение строки. Таким образом, я буду часто заканчивать...
21.06.2016
2
ответа

Запустите два скрипта одновременно

Я хочу запустить два скрипта одновременно. Как точно я делаю это? Если я имею переменную, названную нечто в script1, и изменяю его значение на 5, и если я использую переменную с тем же именем в script2 (...
11.12.2014
2
ответа

Как параллелизировать dd?

Я в настоящее время испытываю затруднения из-за dd, вызванного с редким файлом, как введено (если) и файлом как вывод с conv=sparse. dd, кажется, использует одно ядро ЦП (Intel(R) Core(TM) i7-3632QM CPU 2....
11.10.2014
2
ответа

Как я распределяю большую загрузку по нескольким компьютерам?

Я должен загрузить большой файл (1GB). У меня также есть доступ к нескольким компьютерам, запускающим Linux, но каждый ограничен скоростью загрузки 50kB/s администраторской политикой. Как я распределяю загрузку этого...
04.10.2014
2
ответа

разделите файл, передайте каждую часть как параметрический усилитель к сценарию, запустите каждый скрипт параллельно

У меня есть words.txt с 10 000 слов (одно к строке). У меня есть 5 000 документов. Я хочу видеть, который документы содержат который из тех слов (с regex шаблоном вокруг слова). У меня есть script.sh это...
02.08.2014
1
ответ

Вино и параллельная обработка

Я выполняю LMDE на своей машине. Я задавался вопросом, может ли вино поддерживать потребности параллельной обработки некоторого программного обеспечения. Кто-либо знает какие-либо сравнительные тесты производительности для вина?
06.01.2019
1
ответ

Стратегии создания системы распределенных вычислений с гибридным Mac и систем Linux

Я хочу создать систему распределенных вычислений для выполнения Matlab, C и других языков программирования для научных вычислений. Теперь у меня есть несколько старых машин Mac с установленным Mac OS Льва, действовал как сеть...
23.09.2017
1
ответ

Эффективная памятью утилита для возврата N сначала отсортировала значения

Я хотел бы реализовать очень популярный пример MapReduce с помощью только существующие программы, работающие в UNIX путь. Проблема состоит в том, чтобы найти N большинством частых значений в огромном объеме данных...
23.09.2017

Выполнение задач параллельно, для использования нескольких процессоров

Параллелизм, или распараллеливание, или параллельные вычисления, означает использовать несколько процессоров для выполнения задачи более быстро, чем на единственном процессоре.

Для использования нескольких потоков, когда присутствие больше чем одного процессора будет не важно, используйте или вместо этого. Для параллелизма по нескольким машинам, и не только по нескольким процессорам в той же машине, использования в дополнение к или вместо этого тега.

является общим инструментом для параллельного выполнения.

Полезные ссылки