Puede permitir el reenvío X11 en la cuenta de usuario que está utilizando en el servidor. Una vez habilitado, xauth ya no hará referencia a.Xauthority, puede dejarlo o eliminarlo.
~/.ssh/config:
Host *
ForwardAgent yes
ForwardX11 yes
# If no may need ssh -X or -Y for forwarding.
ForwardX11Trusted no