Да, файловую систему ext3 можно преобразовать в BTRFS. Используйте btrfs-convert.

Да, файловая система должна быть размонтирована; btrfs-convertиспользует свободное пространство файловой системы для выполнения преобразования, поэтому вы не можете изменить свободное пространство (с помощью ext3 )во время этого процесса.

ПРЕДУПРЕЖДЕНИЕ о LVM

Я вижу, вы используете LVM для хранения файловой системы. Было бы лучше разместить файловую систему BTRFS на разделе, а не на логическом томе LVM из-за потенциально -катастрофических ошибок с BTRFS. Короче говоря, если вы обещаете никогда, никогда,когда-нибудь делать снимок файловой системы BTRFS, все будет в порядке.