В самом простом сценарии, так называемый DDX (зависимый от устройства X) часть X Server будет идентифицировать ваш драйвер Video и использует вызовы IOCTL для инициализации его, настроить видеоадаптер и (обычно) получить адрес кадра. Затем фреймбуфф будет использоваться для рендеринга. Здесь - это гораздо более подробное описание процесса.
Вещи станут более сложными, если некоторые из приложений решают использовать XV или GLX, но в конце концов все рендеринг на уровне аппаратного обеспечения будет выполняться вашими драйверами видео адаптера, а X Server никогда не пытается получить доступ к аппаратному обеспечению напрямую.