LDOM - это уровень гипервизора Sun / Oracle для машин SPARC, поэтому он работает только на оборудовании SPARC (v9 или выше). См. https://en.wikipedia.org/wiki/Oracle_VM_Server_for_SPARC
Вы не можете запустить это внутри VirtualBox. VirtualBox не эмулирует оборудование SPARC, это технология виртуализации Intel / AMD.
Однако у вас должна быть возможность запускать зоны Solaris внутри вашей установки Solaris 11; они ближе к контейнерам и поэтому работают внутри одного ядра.