1
ответ
Как мне запустить параллельное преобразование ffmpeg (pipe) на лету?
Я хочу выполнить следующее преобразование: for f in *.m4a; do ( ffmpeg -i "$f" -f wav - | opusenc --bitrate 38 - "${f%.m4a}.opus" ) & done Я знаю, что могу использовать ffmpeg напрямую для преобразования в ...
29.05.2019
1
ответ
Заставить GNU Parallel не задерживать выполнение аргументов из STDIN
GNU Parallel без каких-либо опций командной строки позволяет легко распараллелить команду, последний аргумент которой определяется строкой STDIN: $ последовательность 3 | параллельное эхо
2
1
3 Обратите внимание, что parallel делает ...
07.04.2019
1
ответ
Живое изменение вывода bjobs
При использовании bjobs команды LSF я хотел бы получать мгновенно изменяющийся вывод, если я отправляю другое задание, потому что мне неудобно запускать одну и ту же команду снова и снова. Я бы хотел что-то вроде top ...
11.02.2019
1
ответ
Вино и параллельная обработка
Я выполняю LMDE на своей машине. Я задавался вопросом, может ли вино поддерживать потребности параллельной обработки некоторого программного обеспечения. Кто-либо знает какие-либо сравнительные тесты производительности для вина?
06.01.2019
1
ответ
Как работает find -execdir +?
Я понимаю, что find -tests -execdir '{}' ';' запускает команду для каждого совпадающего файла с указанными тестами.Команда при использовании -execdir выполняется в том же родителе ...
18.10.2018
1
ответ
Использование top для определения номера ядра процессора с помощью qsub pbspro
У меня есть сервер с общей памятью с установленным PBSpro в качестве диспетчера заданий. Всего 320 ядер, и pbs настроен так, что есть 1 очередь заданий с 30 из 32 процессоров, так что 300 физических ядер должны быть ...
28.03.2018
1
ответ
Много красного цвета в htop - означает ли это, что мои задачи спотыкаются друг о друга?
Я читал, что красный цвет указывает на «процессы ядра». Означает ли это, что маленькие демоны регулируют, какая задача должна использовать ЦП? И, соответственно, транзакционные издержки при превышении лимита подписки ...
20.02.2018
1
ответ
Параллельное выполнение на разделенном экране?
Я очень хорошо знаю, что могу использовать xargs для параллельного выполнения команд. Однако, поскольку консоль команд важна, мне было интересно, могу ли я разделить окно консоли, подобно тому, как...
10.11.2017
1
ответ
Стратегии создания системы распределенных вычислений с гибридным Mac и систем Linux
Я хочу создать систему распределенных вычислений для выполнения Matlab, C и других языков программирования для научных вычислений. Теперь у меня есть несколько старых машин Mac с установленным Mac OS Льва, действовал как сеть...
23.09.2017
1
ответ
Эффективная памятью утилита для возврата N сначала отсортировала значения
Я хотел бы реализовать очень популярный пример MapReduce с помощью только существующие программы, работающие в UNIX путь. Проблема состоит в том, чтобы найти N большинством частых значений в огромном объеме данных...
23.09.2017
1
ответ
Используйте файлы из команды find в параллельных пакетах
У меня есть этот код для поиска каталогов в текущей папке, а затем tar его находит. -type d -maxdepth 1 -mindepth 1 -print -exec tar czf {} .tar.gz {} \; У меня есть сотни папок, и в настоящее время он делает одну за другой ...
10.09.2017
1
ответ
Список файлов параллельной загрузки Curl
первое сообщение извините, если я здесь натворил =) Использование 64-битной серверной версии Ubuntu 14.04lts. У меня есть список (url.list), содержащий только URL-адреса для загрузки, по одному в каждой строке, который выглядит так: http: //domain.com /
10.09.2017
1
ответ
Есть ли разные экраны на разных ядрах ЦП?
Я подключаюсь к серверу (OSX) с большим количеством ЦП. Я хочу запустить свою программу для множества разных входных файлов. Прямо сейчас я запускаю по одному: для ввода в "$ {inputs [@]}"
do. --...
27.08.2017
1
ответ
bash параллельное кодирование и загрузка
Я работаю над bash скриптом для кодирования видео с помощью ffmpeg в специальный формат. Чтобы сохранить полученное видео, я хочу загрузить его сразу после завершения кодирования.
Поэтому я хочу использовать ...
06.08.2017
1
ответ
Распараллеливание рекурсивного удаления с помощью find
Я хочу рекурсивно удалить все файлы, которые заканчиваются на .in. Это занимает много времени, и у меня много доступных ядер, поэтому я хотел бы распараллелить этот процесс. Судя по этой теме, похоже, что это ...
13.04.2017
1
ответ
Multi processing / Multi threading in BASH
У меня есть тестовый файл, который выглядит так 5002 2014-11-24 12:59:37.112 2014-11-24 12:59:37.112 0.000 UDP ...... 23.234.22.106 48104 101 0 0 0 8.8.8.8 53 68.0 1.0 1 0.0 0 68 0 48 Каждая строка содержит ...
20.04.2016
1
ответ
Где и когда возвращаются статусы выхода для фоновых заданий в bash?
Я пишу сценарий bash, который состоит из множества частей, но мне нужно как можно больше обеспечить отказоустойчивость и параллельную обработку. Пример ниже: while true
do var = $ (curl someurl) || continue var2 = ...
22.10.2015
0
ответов
Фоновое выполнение Bash не возвращается
Я пытаюсь написать сценарий, предназначенный для распараллеливания выполнения (программы, которая создает несколько файлов, )запускает процессы в фоновом режиме и, когда все команды в цикле for выполнены, выполняет дополнительная команда
25.11.2021
0
ответов
Сжатый диск на 1 ТБ показывает только 3,8 ГБ, что я сделал не так?
В Linux Mint 20.2 Cinnamon я хотел бы создать образ диска моего вторичного диска (SATA ), содержащий Windows 10, но сейчас это не имеет значения, сжатый напрямую с помощью Parallel gzip = pigz в NTFS отформатированный внешний HDD (сжатый на -лету -)
24.09.2021
0
ответов
Инструменты для группирования N команд по L сценариям (для N≫L )?
Допустим, у меня есть доступ к высокопроизводительному -Linux-кластеру, оснащенному планировщиком (, например. LSF, Slurm и т. д. ), которые позволят мне иметь до M заданий, работающих или ожидающих выполнения одновременно, из...
15.08.2021
0
ответов
Можно ли с помощью GNU parallel разделить по количеству символов, но предоставить только полные строки?
Я хотел бы разделить входной файл по количеству символов (ASCII в порядке ), в сочетании с новыми строками. То есть каждая группа из 10000 символов должна рассматриваться как одна запись, которую нужно передать дочернему...
30.07.2021
0
ответов
Как использовать команду parallel при динамическом получении параметров из файла?
Допустим, у меня есть файл со списком путей к нескольким файлам, как показано ниже :/home/пользователь/file1.txt /home/пользователь/file2.txt /home/пользователь/file3.txt /дом/пользователь/file4.txt /home/пользователь/file5.txt /home/user/file6....
24.07.2021
0
ответов
Как объединить несколько строк с помощью xargs
У меня есть большой входной файл, который содержит 30 миллионов строк, новые строки в \r\n. Я хочу обрабатывать этот файл параллельно, отправляя фрагменты из 1000 строк (или меньше, для остальной части файла )в REST API...
21.07.2021
0
ответов
Проблема с одновременным запуском нескольких программ или команд
У меня возникла проблема, потому что мне нужно выполнить около 1700 раз одну и ту же программу с разными данными. Эта программа делает несколько вычислений с использованием итераций, и ответ получается через 5 часов...
09.07.2021
0
ответов
Как запустить несколько заданий emerge параллельно?
Когда я устанавливаю много пакетов одновременно, я использую emerge --jobs=8 firefox vim. Это установит пакеты, но не будет запускать все параллельно. Например, он будет ждать компиляции rust перед компиляцией...
28.03.2021
0
ответов
Возможно ли непрерывное параллельное питание с большим количеством входных данных?
Я хочу сделать что-то вроде этого :inotifywait -m./input -e закрыть _запись -e перемещено _в | parallel --max -args 1 "someSlowSingleThreadedTaskThatActsOnThisFile" Не могу себе представить, что...
22.02.2021
0
ответов
Параллелизм и параллелизм в Bash
Меня немного смущают параллельность и параллелизм в оболочке bash. Насколько я понимаю, когда мы запускаем команды более чем в одной подоболочке одновременно, эти команды выполняются параллельно на...
22.10.2020
0
ответов
Могу ли я записать один и тот же tar-архив сразу на две ленты?
Можно ли одновременно записать tar-архив на два ленточных накопителя с помощью одной команды, направляя один и тот же вывод на оба накопителя? Я хочу сэкономить время, выполнив операцию в...
30.05.2020
0
ответов
bash multi-threads
У меня есть список IP, и мне нужно проверить их на наличие открытых портов с помощью nmap.
Пока что мой сценарий выглядит следующим образом: #!/bin/bash filename="$1"
порт="$2"
echo "STARTING NMAP"
while IFS= read -r line
do nmap -...
26.11.2018
0
ответов
параллелизм в скриптинге bash
Рассмотрим n операторов s1, s2, s3,..., sn. Каждое утверждение имеет бесконечные шаги выполнения, и я хочу запустить все параллельно. Мой скрипт оболочки выглядит как s1 s2 s3
.
.
.
...как изменить мою...
17.01.2018