SSH подключился к удаленному компьютеру, но запускал некоторые графические приложения локально.

В моем случае пользователь имел zsh в верхней части своего файла .bashrc, чтобы он мог перейти в оболочку zsh вместо bash.

bash был его оболочкой по умолчанию. Удаление этого решило проблему. Затем я chsh user -s /bin/zsh, чтобы пользователь сохранил zsh в качестве своей оболочки по умолчанию.