Вы были очень близки. Вам просто нужно два \
. Это потому, что один из set предназначен для самого текста, проходящего через BASH, а другой будет фактическим \
, который анализируется awk. Мне кажется, это работает:
echo 'ABC(T)' | awk ' {gsub("ABC\\(T\\)","ABC/G")}; Print $0' "$FILENAME"
И дает:
ABC/G