Не зная фактическую топологию сети, я думаю, что она может быть связана с гигабитными сетями с крупными кадрами. ssh не нравятся крупные кадры. Это оптимизировано к стандартным 1 500 байтам, измерил пакеты и становится сумасшедшим, если пакет больше, чем это. (например, 6 000 байтов)
Можно проверить это на интранет с двумя рабочими станциями оба поддерживающие крупный кадр. (И с гигабитной способной сетью между ними, конечно!)
Если Вы соединяетесь с удаленного на сервер, и пакеты поставляются неравномерно, это может произойти - в зависимости от параметров сети - что маршрутизатор оптимизирует пакеты, и сервер получит крупные кадры, и коммуникация перестанет работать.
Необходимо проверить конфигурацию сервера, если это - включенный крупный кадр.