Вы можете сделать это таким образом,
$ echo "(remove space ( fromthefile )between space)." | sed ':l s/\(([^ )]*\)[ ]/\1/;tl'
(removespace(fromthefile)betweenspace).
Это удалит только пробелы между круглыми скобками.
Другой пример,
$ echo "foo bar(remove space ( fromthefile )between space)." | sed ':l s/\(([^ )]*\)[ ]/\1/;tl'
foo bar(removespace(fromthefile)betweenspace).