Почему следующая команда уничтожает систему?

Дело не в этом трудный дешифровать на самом деле.

Эта часть кода просто определяет названную функцию : который называет два экземпляра себя в конвейере: :|:&. После определения запускается экземпляр этой функции.

Это приводит к быстрому растущему числу процессов подоболочки. Незащищенные системы (системы без предела числа процесса на пользователя) будут сильно затронуты такими fork-бомбами, так как законные процессы будут быстро превзойдены численностью и таким образом лишены большинства ресурсов ЦП.