Mac OS xargs добавляет '? [m' в конце строки

Вы, вероятно, настроили gitи/или grepтак, чтобы всегда выводить с использованием цветов; в этом случае

git branch -D $(git branch --color=never | grep --color=never 'RTL-1[123]')

должно работать.

Вы можете использовать собственный шаблон git-, соответствующий:

git branch -D $(git branch --color=never -l '*RTL-1[123]*')

Чтобы избежать этого в будущем, вы должны использовать настройку autoдля color:, при выводе на терминал будет выводиться цвет, а в противном случае — нет. Для правильной настройки git:

git config --global color.ui auto

Для grepпроверьте свои псевдонимы.