Почему VNC так расширен вместо X11

Вы должны собрать свой драйвер как модуль и настроить ядро ​​так, чтобы вы могли принудительно выгружать модули.

Таким образом, когда вы меняете драйвер, ядро ​​перекомпилирует только драйвер (и вам не нужно устанавливать новое ядро, просто чтобы загрузить модуль из исходных кодов ядра.