diff, потребляющий огромное количество памяти и процессора

Действительно, лучшее решение для убийцы OOM - не иметь его. Настройте свою систему так, чтобы она не использовала избыточную память, и откажитесь от использования приложений и библиотек, которые от нее зависят. В наше время бесконечного диска, почему бы не обеспечить бесконечный своп? Нет необходимости выделять память под своп, если она не используется, верно?

Ответ на ваш вопрос может заключаться в том, что убийца OOM работает не так, как вы думаете. OOM killer использует эвристику для выбора процесса, который нужно убить, и правила не всегда означают, что умирает последний запрашивающий. Ср. Укрощение OOM killer. Так что дело не в том, что OOM killer "неэффективен", а скорее в том, что он делает выбор, отличный от того, который вы предпочли бы.