Это совершенно нормально. NTP занимает несколько циклов, чтобы стабилизироваться и начать отбывать время. Клиентской части также требуется несколько циклов, чтобы признать, что сервер стабилен и может предложить время.
Вы можете увидеть, что происходит с вашим сервером Ubuntu, запустив этот
ntpq -pn
Я бы также порекомендовал вам удалить серверы пула из конфигурации ваших клиентов, так как вы сказали, что все ваши системы работают в автономном режиме.