Пожалуйста, не устанавливайте $PATH, это переменная окружения.
Для BASH, пока включен параметр оболочки extglob (, который используется по умолчанию для многих дистрибутивов Linux ), это просто:
rm !(*.csv)
С путем к папке это будет что-то вроде...
rm yourfolder/!(*.csv)
Если вы считаете, что extglob не включен в вашей среде, просто сделайте это:
shopt -s extglob