Las llaves solo se expandirán si tienen cadenas separadas por comas, por ej. {abc,def} o rango, por ej. {a..e} especificado entre ellos.
En su caso, puede escribir la subcarpeta 1 sin encerrarla entre llaves, ya que no es necesario
cat./{mainfolder1,mainfolder2,mainfolder3}/subfolder1/book.txt > out$var