0
ответов
фильтрация большого файла с помощью большого фильтра
Я хочу извлечь все строки из $file1, которые начинаются со строки, хранящейся в $file2. $file1 имеет размер 4 ГБ и содержит около 20 миллионов строк, $file2 имеет 2 миллиона строк, имеет размер около 140 МБ и содержит два ...
04.12.2020
0
ответов
GNU parallel + gunzip (или 7z, или bsdtar, или разархивировать ):извлечь каждый файл «имя_архива.zip» в (в -, чтобы -создать )его подпапку «имя_архива»
Как в названии. У меня есть много ZIP-архивов, которые я хочу извлечь. Все архивы имеют свое уникальное имя. Все архивы содержат файлы только (внутри архивов НЕТ папки (с )вообще :нет...
10.06.2020
0
ответов
Параллельная копия из локальных папок на удаленные серверы одновременно
У меня есть несколько папок, и каждая папка имеет около 1500 файлов. У меня есть вид для цикла, проходящего через каждую папку, а затем отправляя файлы на один или 4 удаленных хоста в зависимости от ...
18.11.2018
0
ответов
Почему параметр parallel --nice не устанавливает приятность?
Если я запускаю команду с помощью nice, я вижу, что ее процесс имеет ожидаемое значение удобства: В одном терминале: хороший сон 17, а в другом: $ ps -aoni, comm | grep sleep 10 sleep Но пытаюсь ...
06.02.2018
0
ответов
wget использует -i с -O
У меня есть db файлов для загрузки, содержащих поля для имени файла и download_url в формате: "foo-1.23.4.jar", "http://example.com/ files / 12345678 / download "
"bar-5.67.8.jar", "http://example.com/...
24.01.2018
0
ответов
Максимальное количество одновременных процессов при использовании gnuparallel в unix
Я использую gnu parallel для запуска некоторых параллельных процессов. Ниже я использую команду. parallel 'node /home/parunkarthick/NodeProject/nodescript_pd.js F_CHARGES' ::: 1 2 3 4 5 6 7 8 9 10 11 12 13 ...
02.01.2018
0
ответов
Почему моя параллельная команда выводит «Запуск» и «Завершено» одновременно?
ls * .txt | parallel 'echo Запуск в файле {}; mkdir {.}; компакт диск {.}; longCMD3 ../ {}> / dev / null; echo Finished file {} 'Этот лайнер частично работает, за исключением того, что longCMD3 занимает около 3 минут, но ...
01.01.2018
0
ответов
Сохранение результатов нескольких команд в определенной позиции в массиве
Утилита parset позволяет сохранять вывод команд в переменной или любом массиве. Однако я хочу сохранить вывод в определенных индексах массива. $ parset arr echo foo {} ::: a b c
$ echo $ {arr [0]}
фу а
$ ...
04.11.2017
0
ответов
GNU parallel - два параметра из массива в качестве параметра
У меня есть сценарий, который использует GNU parallel. Я хочу передать два параметра для каждой «итерации» при последовательном запуске. У меня есть что-то вроде: for ((i = 0; i <= 10; i ++))
сделать a = tmp1 [$ i] b = tmp2 [$ i]
готово ...
30.09.2017
0
ответов
обрабатывают файлы в каталоге по мере их появления [дубликат]
Возможный дубликат: как запустить команду, когда содержимое каталога обновляется? Я пытаюсь написать простой процесс etl, который будет искать файлы в каталоге каждую минуту, и если да, то ...
28.09.2017
0
ответов
GNU Parallel: более одного на процессор? [closed]
Если у меня только два ядра, параллельно ли запускаются только два процесса? Думаю, я все еще не понимаю процессы, потоки и ядра ....
12.09.2017
0
ответов
Можно ли настроить количество подзадач для параллельного GNU после вызова?
Если я уже начал работу с параллельным GNU аналогично: $ cat jobs | parallel -j 70 "program {};" возможно ли, например, какой-то сигнал, чтобы отрегулировать количество заданий этого ...
11.09.2017
0
ответов
Пауза в GNU parallel и ожидание символа
Я бы хотел, чтобы временная пауза была заменена эквивалентом getchar() при выполнении GNU parallel: parallel -j2 --halt 2 ::: 'sleep 5m; return 1' './runMe' Однако следующее не ...
05.09.2017
0
ответов
Параллельно для длительного фильтра
Я извлекаю номера телефонов из определенного списка веб-страниц и реализовал map-reduce как: PARALLEL_OPTS = "..."
SCRIPT = "curl --silent --cookie '$ COOKIES' {} | egrep -o '[2-9] [0-9] [0-9] [0-9] [0-9] [...
18.08.2016
0
ответов
Rsync снова копирует все, а не дельты
Я пытаюсь синхронизировать два смонтированных тома (1 ТБ) на одной машине с помощью rsync. Возможно, это не лучший подход, но я пытаюсь понять, что может быть не так, поскольку при каждом запуске rsync ...
02.08.2016
0
ответов
Означает ли «parallel --jobs 10», что будет запущено ровно 10 заданий?
При указании опции --jobs для GNU parallel , что именно это означает? Я выполняю: parallel --jobs 10 ./program ::: {1..100}, где программа является интенсивной задачей, а задания полностью ...
22.03.2016
0
ответов
Подстановка массива / команды csh с помощью gnu parallel
Во-первых, да, заблокирован в csh в системе Solaris, ничего не могу с этим поделать, извините. У меня есть пакет отчетов, который я запускал с помощью цикла foreach. Прямо сейчас он работает как единый поток, и я хотел бы ...
03.08.2015
0
ответов
Почему параллельное выполнение не работает с использованием '{}', а '-'? [дубликат]
Следуя страницам руководства и другим примерам, должно работать следующее: $ find * .gz | параллельный шаблон zgrep {}, но в результате получается: / bin / zgrep: строка 161: 1: отсутствует шаблон; попробуйте `/ bin / zgrep --help '...
20.02.2015
0
ответов
Запустить 2 команды, вторая после первой напечатала заданную строку [дубликат]
Я разрабатываю 2 разных стека :quarkus и angular. Для разработки в режиме dev (в режиме просмотра )мне нужно запустить оба приложения на разных терминалах :quarkus запускается из maven (mvn...
09.01.2011