Оказывается, это был DoS. Около 60 процессов php5-cgi появляются и умирают в течение 30 секунд, забирая 1,6 ГБ ОЗУ, а затем уничтожаются.
Это не отображалось в моих журналах, потому что это был не один процесс, поглощающий 1,6 ГБ, это было 60 с лишним процессов.И убийца oom его не убивает, его что-то убивает в Apache.
Я наконец нашел его, когда настроил ведение журнала процессов, чтобы получить широкий спектр процессов, и написал несколько сценариев awk для увеличения их памяти. Теперь это кажется очевидным.
Попробуйте grep -R DataGen.
выполнить рекурсивный поиск в вашем рабочем каталоге файлов, содержащих «DataGen».