lmgrd: Нет такого файла или каталога

Я не думаю, что существует способ ограничить пространство подкачки, если только вы не измените программу, чтобы запрашивать только некачиваемую память, что даже если это возможно, вероятно, было бы непрактично.

Однако то, что вы можете и должны сделать, это ограничить общий объем памяти, доступный процессу. Можно использовать cgroups (новый общий способ), ulimit (setrlimit, традиционный способ) или инструмент timeout.