Команда ip link delete dummy0
то, что Вы использовали бы для удаления его в командной строке. Я понятия не имею, почему фиктивный интерфейс становится созданным в Вашей системе все же.
rmmod dummy
удалит фиктивный модуль, используемый для создания фиктивного интерфейса. Вы всегда будете получать интерфейс dummy0
при загрузке модуля.