Итак, я заставил его работать после некоторого времени возиться и чтения руководства по gpg-agent здесь. Мне нужно было добавить
unset SSH_AGENT_PID
if [ "${gnupg_SSH_AUTH_SOCK_by:-0}" -ne $$ ]; then
export SSH_AUTH_SOCK="${HOME}/.gnupg/S.gpg-agent.ssh"
fi
в мой .bashrc, чтобы SSH_AUTH_SOCK указывал на правильное место вместо ssh-агента.