Использовать связку ключей gnome -из сеанса ssh

Это невозможно, так как вы добавили закрытый ключ в конфигурацию B ssh сервера. Однако вы можете ограничить доступ к серверу A другими способами, например. правило брандмауэра, разрешающее подключение по ssh только с одного IP.