Думаю, что это можно узнать, опросив переменную окружения [114029]$DESKTOP_SESSION[114030]. Я не совсем уверен, насколько это поддерживается, но в моем ограниченном тестировании это, кажется, доступно на Fedora & Ubuntu.
Другой вариант - переменная [114031]$XDG_SESSION_DESKTOP[114032].
Метод #2 - wmctrl
Также существует этот метод, использующий [114033]wmctrl[114034].
Ссылки
Как определить, какой оконный менеджер работает
Существует плагин, называемый CodeoverView, который можно использовать на Windows (и Mac?): http://www.vim.org/scripts/script.php?script_id=2888 ?