Я понимаю, что эта тема очень старая, но есть такой простой ответ на вашу проблему.
В том же файле конфигурации вы также можете установить свойства для определенных окон под тегом applications
как таковые:
<application name="gedit">
<decor>no</decor>
</application>
После выполнения openbox --reconfigure
все окна gedit должны открываться без оформления окон.