Зачем все усложнять, просто используйте SSH?
Уже встроен или легко загружен из репо (не на этой машине, но с помощью apt-get search ssh, я думаю, что это что-то связанное с openssh), только для терминала, так как графический интерфейс вообще не передается.
Общая идея (после установки):
ssh (скрыто)
(ввод)
Вас попросят ввести пароль для учетной записи пользователя, а затем попросят принять сертификат машины.
После этого, как если бы вы были в Терминале на удаленной машине.
Примечание:
man ssh
для получения дополнительной информации о том, как использовать