Убедившись в правильности разрешений, повторно отправил ключи, но это все равно не работало.
Затем я наткнулся на то, чего раньше не делал и не видел ни у кого упоминания.
Невозможно использовать -или разрешить _другое с включенной опцией sshfs (в fuse.conf)
После включения я запускал команды sshfs без sudo, и все работало отлично.