Параметр AddKeysToAgent будет работать по мере необходимости. Установка этого параметра в командной строке(-o AddKeysToAgent=yes
)или в файле конфигурации SSH(~/.ssh/config
-->AddKeysToAgent yes
)автоматически добавит ваши ключи SSH по мере их использования в работающий агент SSH. Это приведет к отсрочке запроса пароля и разблокировки ключей до тех пор, пока вы их не используете.
Спасибо BasketCase за #openssh на Freenode.