Ваш комментарий

...filesystem that both Linux and Mac os can handle...

окончательно сужает Почему?

tl;dr

То, что вы хотите, должно быть выполнимо по частям, но не в комбинации.

Подробнее

«Ручать...»

Ручка имеет много оттенков

1. Родной :Линукс больше всего устраивает на ext4 (и reiser и... )Это родные ФС.
2. Linux (и, я думаю, Mac, о которых я почти ничего не знаю ), могут читать/записывать/создавать FAT. Но разрешения и т. д. неудовлетворительны для использования ОС
3. Linux почти может читать ntfs, но при записи возникают всевозможные подводные камни

Также /home/usernameна самом деле не совсем «ваше», хотя может так показаться. В частности, файлы, начинающиеся с "." и под.local.configи т. д. действительно очень часто используются между вами и различными приложениями/ОС. Так что спорить между собой 2 операционные системы — плохая идея.

Так

1. Вы можете читать/записывать FAT. И монтируй куда хочешь под/home/username
2. Вы можете смонтировать собственную ФС, например ext4 на/homeили/home/username
3. Вы можете автоматизировать/систематизировать описанное выше в/etc/fstab(Или, если вы хотите модно монтировать единицы systemd!)

После этого вы можете очистить/минимизировать доступ по символическим ссылкам :, например $HOME/Picturesна$HOME/Data/Pictures

где Data — это подключенный FAT-диск

Или создайте отдельные FAT-разделы Downloads Music Pictures и т. д. на диске и смонтируйте их по отдельности в соответствующих точках вашего $HOME.
Обратите внимание: :$HOME сам по себе является ext4 (говорит, что )разрешает символические ссылки