Похоже, что существует метод интерактивного удаления каталогов с помощью xargs. Прочитав справочные страницы, я сам нашел решение.
Параметр -p вместе с параметром -n 1 решает проблему.
du -d2 -h ~/Downloads/* | grep -E '[0-9]G' | xargs -I{} sh -c "echo {} | cut -d' ' -f2" | xargs -p -n1 rm -r