Удалите его разумным использованием rm
.
Если Вы установили его вне своего диспетчера пакетов, почему Вы ожидаете, что диспетчер пакетов будет знать, как удалить его?
Обратите внимание, что это, конечно, означает, что любые программы, которые полагаются на эту библиотеку, не будут больше работать, и так как это за пределами управления пакетом, ничто не предупредит Вас об этом.