Reat, что фантастическое руководство.
Из Руководства пользователя VMware Workstation для VMware Workstation 7.1, страниц 172 и 173:
Ускоренные 3-D ограничения
Поддержка приложений, которые используют DirectX 9, ускорилась, графика применяется только к гостям Windows XP, на хостах, выполняющих Windows XP, Windows Vista, Windows 7 или Linux. Эта функция в настоящее время имеет следующие ограничения:
Рабочая станция теперь предлагает поддержку игр DirectX и приложений с
Версии DirectX 9 и ниже.Поддержка 3‐D приложения не оптимизирована для производительности.
Приложения OpenGL запущены в режиме эмуляции программного обеспечения.
Вы не можете использовать запись/воспроизведение.
Если поддержка OpenGL отсутствует для гостей Linux на Рабочей станции 7.1, я не думаю, что это присутствует в любой предыдущей версии. Документация для VMware Server даже не упоминает OpenGL.
3D Java не включен в JRE или JDK.
Некоторые инструкции для установки на Ubuntu здесь: https://help.ubuntu.com/community/Java3dUbuntu