Если вы не установили пакет с помощью yum или rpm, вы также не сможете удалить его с помощью yum.
Yum, по сути, сообщает, что пакет доступен в репозитории, но не установлен.
Чтобы удалить node.js, просто удалите его из того места, куда вы его загрузили.