Вы можете поместить порт SSH в свой локальный файл конфигурации SSH-клиента, тогда вам не нужно будет указывать его при попытке подключения (ни с помощью ssh , ни напрямую, ни через git ).
Просто создайте файл ~/.ssh/config
и добавьте:
Host <IPv6-address>
Port 1111