Какова связь между X-сервером и дисплеем?

Дисплей фактически является X-сервером; на каждый X-сервер приходится ровно один дисплей. Таким образом, несколько X-серверов не могут работать одновременно на одном дисплее, а X-сервер не может работать одновременно на нескольких дисплеях. (Строго говоря, последний пункт неверен, но я не думаю, что существует X-сервер, который может обслуживать несколько дисплеев.)

См. описание:displaynumber в справочной странице Xserverи раздел «Отображаемые имена» справочной страницы X.