смонтировать :неизвестный тип файловой системы 'btrfs'

Вы не можете использовать {}в подстановке команд (, вызывая basename), так как это выполняется до того, как будет вызвано , даже xargs. Это означает, что tarпопытается изменить каталог на каталог с именем{}(буквально )для каждого архива.

Используйте цикл for, в xargsнет необходимости. например.

for t in *.tar ; do
  bn="$(basename "$t".tar)"
  mkdir -p "$bn"
  tar -xvf "$t" -C "$bn"
done

См. также:Почему не разборls(и что делать вместо )?