Я согласен с @terdon, если компьютер помнит фразу-пароль, это эквивалентно отсутствию фразы-пароля.
Однако есть альтернативы. Настройте PAM для использования парольной фразы ssh вместо пароля для входа в систему. Таким образом, вам нужно ввести только один секрет, так удобнее.
Кроме того: настройте ssh для использования многораундового шифрования, чтобы расшифровка вашего ключа занимала около секунды, это сделает более короткий пароль более безопасным. Используйте хороший простой для ввода, легко запоминающийся, трудно угадываемый пароль.