Скорее всего, это потому, что Open MPI по умолчанию использует деревообразную схему запуска. Например, ssh с машины, на которой вы вызываете mpirun в slave1, а затем ssh с slave1 в slave2, ....и т.д.
См. http://blogs.cisco.com/performance/tree-based-launch-in-open-mpi и http://blogs.cisco.com/performance/tree-based-launch-in-open-mpi-part-2 для более подробной информации.