Я обнаружил, что это можно сделать, изменив файл /etc/security/limits.conf
(по крайней мере, в некоторых дистрибутивах linux). В моем случае, я просто добавил
#<домен> <тип> <пункт> <значение>
my_user - nice -20
затем вы можете выполнить
nice -n -20 matlab