У меня только что была аналогичная проблема с Fedora 24 на ядре 4.8.7 с Virtual Box 5.0.28 с хоста Windows 8.1.
У меня это получилось:
VBoxLinuxAdditions.run uninstall
в каталоге компакт-диска) dkms, gcc, kernel-devel, kernel-header
- последняя версия