Система сборки пакета для Debian (как Fedora Koji)
Если Ваш файл будет достаточно большим, то сортировка вызовет обмен с диском, или потому что выделенная виртуальная память становится слишком большой, или потому что sort сама программа подкачивает блоки к диску и назад. Более старый sort реализации, более вероятно, будут иметь этот "вид через дисковый буферный вид " поведения, так как это был единственный способ отсортировать большие файлы в былые времена.
sort имеет a -m опция, которая может помочь Вам здесь. Это могло бы быть быстрее для разделения файла на блоки — говорят с split -l — отсортируйте их независимо, затем объедините их назад вместе.
С другой стороны может случиться так, что это точно, что "делает вид через дисковый буфер". Единственный способ узнать, помогает ли это, состоит в том, чтобы сравнить его на Вашей конкретной контрольной нагрузке. Критический параметр будет количеством строки, которому Вы даете split -l.
После месяца поисков я все еще не нашел подходящую систему сборки, которая могла бы удовлетворить потребности нашей команды. Поэтому мне пришлось комбинировать новую из существующих компонентов. Вот они:
- Gitlab (сервер SCM) Jenkins (сервер CI и средство управления сборкой)
- Docker (облегчённое изолированное окружение для сборки)
- Git-buildpackage (очень удобное средство, сочетающее в себе
gitиdebuild; он может создаватьdebian/changelogиз коммитов, толкать метки для выпуска) Aptly (репозиторий для бинарных пакетов Debian);
Небольшое количество кода "middleware" на Python;
Однако, я многому научился (спасибо разработчикам Debian) из этого потока. Есть пара инструментов, разработанных сообществом, которые, вероятно, могут помочь тому, кто читает эту тему:
Вы можете проверить SUSE Open Build Service (OBS ). Он поддерживает сборку пакетов deb. Несколько полезных ссылок: