Этот тег Wiki имеет хорошую информацию о ssh
и как диагностировать некоторые основные проблемы.
Мое первое предположение должно было бы проверить полномочия ~/.ssh
и удостоверьтесь, что это не перезаписываемо никаким пользователем кроме Вас. Можно читать больше на этом здесь.
Использовать pacman -S nvidia
для получения официально поддерживаемого драйвера, который является тем же, Вы загрузили, и у Вас не должно быть проблем.