Похоже, вы либо используете комбинацию pam _ldap/nss _ldap, либо nss -pam -ldapd. Оба не поддерживают кэширование хэшей паролей предыдущих успешных входов в систему.
Возможно, вы захотите использовать sssd вместо этого с включенным кэшированием паролей.