Сценарий Bash; оптимизация скорости обработки

Первое правило оптимизации: не оптимизировать. Тест сначала. Если тесты показывают, что Ваша программа является слишком медленной, ищите возможную оптимизацию.

Единственный способ быть уверенным состоит в том, чтобы сравнить для Вашего варианта использования. Существуют некоторые общие правила, но они только запрашивают типичные объемы данных в типовых приложениях.

Некоторые общие правила, которые могут или не могут быть верными ни при каком конкретном обстоятельстве:

• Для внутренней обработки в оболочке ATT ksh является самым быстрым. Если Вы делаете много обработок строк, используйте ATT ksh. Тире приходит вторым; удар, pdksh и zsh отстают.
• Если необходимо вызвать оболочку часто для выполнения очень короткой задачи каждый раз, победы тире из-за его низкого времени запуска.
• Запуск внешнего времени производственных издержек, таким образом, это быстрее, чтобы иметь один конвейер со сложными частями, чем конвейер в цикле.
• echo $foo медленнее, чем echo "$foo", потому что без двойных кавычек, это разделяет $foo в слова и интерпретирует каждое слово как подстановочный шаблон имени файла. Что еще более важно, то разделение и globbing поведение редко желаемы. Поэтому не забудьте всегда помещать двойные кавычки вокруг замен команды и подстановок переменных: "$foo", "$(foo)".
• Специальные инструменты имеют тенденцию выигрывать универсальные инструменты. Например, инструменты как cut или head может быть эмулирован с sed, но sed будет медленнее и awk будет еще медленнее. Строковая обработка Shell является медленной, но для коротких строк она в основном бьет вызов внешней программы.
• Более усовершенствованные языки, такие как Perl, Python и Ruby часто позволяют Вам записать более быстрые алгоритмы, но у них есть значительно более высокое время запуска, таким образом, они только стоят того для производительности для больших объемов данных.
• На Linux, по крайней мере, каналы имеют тенденцию быть быстрее, чем временные файлы.
• Большая часть использования сценариев оболочки вокруг процессов I/O-bound, таким образом, потребление ресурсов ЦП не имеет значения.

Редко, чтобы производительность была беспокойством в сценариях оболочки. Список выше чисто показателен; это прекрасно подходит для использования “медленных” методов в большинстве случаев, поскольку различием часто является часть процента.

Обычно точка сценария оболочки должна получить что-то сделанное быстро. Необходимо получить много от оптимизации для выравнивания по ширине тратящих дополнительных минут, пишущий сценарий.

Мы расширимся здесь на нашем globbing примере выше для иллюстрирования некоторых рабочих характеристик интерпретатора сценария оболочки. Сравнение bash и dash интерпретаторы для этого примера, где процесс порожден для каждого из 30 000 файлов, показывают, что тире может разветвиться wc процессы почти дважды с такой скоростью, как bash

bash-4.2$ time dash -c 'for i in *; do wc -l "$i"; done>/dev/null'
real    0m1.238s
user    0m0.309s
sys     0m0.815s


bash-4.2$ time bash -c 'for i in *; do wc -l "$i"; done>/dev/null'
real    0m1.422s
user    0m0.349s
sys     0m0.940s

Сравнение основного цикличного выполнения проносится, не вызывая wc процессы, шоу, что цикличное выполнение тире почти в 6 раз быстрее!

$ time bash -c 'for i in *; do echo "$i">/dev/null; done'
real    0m1.715s
user    0m1.459s
sys     0m0.252s



$ time dash -c 'for i in *; do echo "$i">/dev/null; done'
real    0m0.375s
user    0m0.169s
sys     0m0.203s

Цикличное выполнение является все еще относительно медленным в любой оболочке, как продемонстрировано ранее, таким образом, для масштабируемости мы должны попытаться использовать более функциональные методы, таким образом, повторение выполняется в скомпилированных процессах.

$ time find -type f -print0 | wc -l --files0-from=- | tail -n1
    30000 total
real    0m0.299s
user    0m0.072s
sys     0m0.221s

Вышеупомянутое является безусловно наиболее эффективным решением и иллюстрирует тезис хорошо, что нужно сделать как можно меньше в сценарии оболочки и цели только для использования его для соединения существующей логики, доступной в богатом наборе утилит, доступных в системе UNIX.

Украденный От Общего сценария оболочки путает Pádraig Brady.