/etc/security/limits.conf
Это место, где можно установить такие ulimit
соответствующие дефолты или пользовательские ограничения.
Они становятся активными при новых сеансах работы с пользователями.
Я бы на самом деле использовал CloudLinux, так как именно ваши проблемы - это то, на что он был рассчитан. Многие evironments виртуального хостинга добавляют этот модуль ядра, чтобы ограничить использование собственных пользовательских ресурсов.