Это может быть то, потому что при выполнении терминала гнома из терминала гнома, все библиотеки и другой код должны были запустить программу уже, находятся в памяти. Если терминальная программа уже не работает затем, библиотеки должны будут быть выбраны от диска - который может занять время. Замедление происходит при запуске нового экземпляра терминальной программы от значка, когда у Вас есть другой экземпляр уже, работающий?