Я перепробовал миллиард решений, ничего не помогло, сегодня я обновился до Fedora 26, все работает нормально, ошибка исправлена. Не знаю как, должно быть какое-то программное обеспечение с ошибками, которое было исправлено обновлением.
Замена пустой команды на noop решила проблему:
PKG_CHECK_MODULES(X11, x11 > 1.6.4, [AC_DEFINE(HAVE_X11)], [:])