Почему у меня так плохо работает модерн? Система продолжает зависать
Принятие Вас имеет adquate объем памяти, и все Ваши аппаратные средства работают, как предназначено, попытайтесь бездельничать с ulimit.
Третий вариант, если вы используете старое ядро (вы не говорите, какая у вас версия ядра), - это обновить ядро.
nouveau находится в постоянном и стремительном развитии, новая версия может решить ваши проблемы.
Если у вас уже установлена последняя (или очень свежая) версия ядра, обновление ядра вряд ли поможет, и, вероятно, лучшим вариантом будут проприетарные драйверы nvidia. по моему опыту, они «просто работают».
Если вы предпочитаете новые драйверы из соображений бесплатного программного обеспечения, вы всегда можете пробовать все несколько версий ядра, пока не получите новую версию, которая вам подходит.