В то время как я понимаю, что Вы хотите систему UNIX, я думаю, что стоит смотреть на несколько более современных операционных систем.
Plan9 от Bell Labs от тех же людей, которые создали UNIX и берут ту же философию до крайности (все - файл, простота, составляя мелкие инструменты). Plan9 является монолитным (но маленький) традиционное ядро.
QNX является коммерческим микроядром (см. также openqnx), который совместно использует некоторое подобие (по крайней мере поверхностно) UNIX, но является более радикальным дизайном.
Наконец, MINIX является другим примером UNIX, вдохновил микроядро и сопровождается хорошей книгой, описывающей ее дизайн и внутренности.
Я настоятельно рекомендую чтение о вышеупомянутых системах перед осуществлением Вашего собственного проекта.
При рассмотрении веб-сайта VMware (что свежая идея...) они заявляют поддержку Fedora 11 и выше. Это очень, очень вряд ли что это будет работать. Вы могли попробовать qemu (я имел успех с версиями Linux значительно старше до MCC временные 0.99.10 +; но Red Hat 6.2 имеет проблемы с X).