В общем, повторное использование паролей — плохая и небезопасная идея.
Вам необходимо оценить риски и простоту использования одного и того же пароля с учетом того, для чего используется ваш SSH-ключ. Шифруете ли вы конфиденциальную информацию с его помощью? Доступ к удаленным тестовым серверам? Производственные серверы? Это то, что только вы можете оценить.
Наличие отдельных паролей означает внедрение глубокоэшелонированной защиты:Если кто-то узнает ваш пароль и получит доступ к вашему компьютеру, он все равно не сможет использовать ваш SSH-ключ.