Вы можете использовать tasksel
.
Откроется меню, в котором вы можете установить/удалить gnome, xfce, другие графические интерфейсы и другие вещи.
Используйте вкладку или клавиши со стрелками для перемещения и пробел для выбора/снятия выбора.
(Установите его, если по какой-то причине у вас его нет:apt install tasksel
).