Что определяет максимальный размер для отдельного аргумента команды?

Итак, @StephaneChazelas правильно меня поправляет в комментариях ниже - сама оболочка никоим образом не диктует максимальный размер аргумента, разрешенный вашей системой, а скорее он установлен вашим ядром.

Как уже говорили некоторые другие, кажется, что ядро ​​ограничивает 128 Кбайт максимальным размером аргумента, который вы можете передать новому процессу из любого другого при его первом запуске. Эта проблема возникает, в частности, из-за множества вложенных подоболочек $ (подстановка команд) , которые должны выполняться на месте и передавать весь свой вывод от одной к другой.

И это своего рода дикая догадка, но поскольку несоответствие ~ 5 КБ кажется настолько близким к стандартному размеру системной страницы, я подозреваю, что она предназначена для страницы, которую bash использует для обработки подоболочки. ваш $ (подстановка команд) требует, чтобы в конечном итоге доставил свой вывод и / или стек функций, который он использует для связывания вашей таблицы массива с вашими данными. Могу только предположить, что ни то, ни другое не дается бесплатно.

Ниже я демонстрирую, что, хотя это может быть немного сложно, можно передавать очень большие значения переменных оболочки новым процессам при их вызове, если вам удастся передать их в потоке.

Для этого я в основном использовал трубы. Но я также оценил массив оболочки в здесь-документе , указывающем на стандартный ввод cat. Результаты ниже.

И последнее замечание - если вам не нужен переносимый код, мне кажется, что mapfile может немного упростить вашу работу с оболочкой.

time bash <<-\CMD
    ( for arg in `seq 1 6533` ; do
        printf 'args+=(' ; printf b%.0b `seq 1 6533` ; echo ')'
    done ;
    for arg in `seq 1 6533` ; do
        printf %s\\n printf\ '%s\\n'\ \""\${args[$arg]}"\" ;
    done ) | . /dev/stdin >&2
CMD
bash <<<''  66.19s user 3.75s system 84% cpu 1:22.65 total

Возможно, вы могли бы удвоить это, а затем сделать это снова, если бы вы делали это в потоках - я не настолько болезнен, чтобы узнать, - но определенно это сработает, если вы потоковое.

Я попытался изменить часть генератора printf во второй строке на:

printf \ b%.0b

Он также работает:

bash <<<''  123.78s user 5.42s system 91% cpu 2:20.53 total

Так что, может быть, я немного болен. Я использую заполнение нулями здесь и добавляю в предыдущем значение «$ arg» к текущему значению «$ arg» . Я выхожу за пределы 6500 ...

time bash <<-\CMD
    ( for arg in `seq 1 33` ; do
        echo $arg >&2
        printf 'args+=('"${args[$((a=arg-1))]}$(printf "%0${arg}0d" \
            `seq 1 6533` ; printf $((arg-1)))"')\n'
    done ;
    for arg in `seq 1 33` ; do
        printf '/usr/bin/cat <<HERE\n%s\nHERE\n' "\${args[$arg]}"
    done ) | . /dev/stdin >&2
CMD

bash <<<''  14.08s user 2.45s system 94% cpu 17.492 total

И если я изменю строку cat , чтобы она выглядела так:

printf '/usr/bin/cat <<HERE | { printf '$arg'\  ; wc -c ;}
    %s\nHERE\n' "\${args[$arg]}"

Я могу получить количество байтов из wc. Помните, что это размеры каждого ключа в массиве args . Общий размер массива - это сумма всех этих значений.

1 130662
2 195992
3 261322
4 326652
5 391982
6 457312
7 522642
8 587972
9 653302
10 718633
11 783963
12 849293
13 914623
14 979953
15 1045283
16 1110613
17 1175943
18 1241273
19 1306603
20 1371933
21 1437263
22 1502593
23 1567923
24 1633253
25 1698583
26 1763913
27 1829243
28 1894573
29 1959903
30 2025233
31 2090563
32 2155893
33 2221223

В eglibc-2.18 / NEWS

* ARG_MAX is not anymore constant on Linux.  Use sysconf(_SC_ARG_MAX).
Implemented by Ulrich Drepper.

В eglibc-2.18 / debian / patches / kfreebsd / local-sysdeps.diff

+      case _SC_ARG_MAX:
+   request[0] = CTL_KERN;
+   request[1] = KERN_ARGMAX;
+   if (__sysctl(request, 2, &value, &len, NULL, 0) == -1)
+       return ARG_MAX;
+   return (long)value;

В linux / include / uapi / linux / limits.h

#define ARG_MAX       131072    /* # bytes of args + environ for exec() */

И 131072 - это ваш $ (getconf ARG_MAX) / 16-1 , возможно, вам следует начать с 0.

] Вы имеете дело с glibc и Linux. Было бы хорошо также исправить getconf, чтобы получить "правильное" ARG_MAX возвращаемое значение.

Изменить:

Чтобы немного прояснить (после короткого, но горячего обсуждения)

Константа ARG_MAX , которая определена в limits.h , дает максимальную длину одного аргумента, переданного с помощью exec.

Команда getconf ARG_MAX возвращает максимальное значение размера накопленных аргументов и размера среды, переданных в exec.