Вы можете комбинировать два подхода, выполнять кросс-компиляцию с мультиархивом для зависимостей, но использовать выделенный chroot для каждой целевой архитектуры.
Таким образом, у вас не будет столько проблем с конфликтами. Я не могу гарантировать, что он будет работать с вашим пакетом, но у него гораздо больше шансов, чем пытаться выполнять все архитектуры в одной корневой файловой системе.