Что искать в файлах журнала, если я думаю, ограниченная память или дисковое пространство вызывают катастрофический отказ

Информация, которую Вы ищете, не найдена в обычных журналах системного журнала. Для просмотра истории производительности из командной строки sysstat является превосходным инструментом.

С sysstat, sadc собирает системную информацию и пишет им в файл журнала. Файл журнала является двоичным форматом, но может быть просмотрен с sar команда.

Вот пример вывода SAR без опций:

$ sar
09:15:01 AM     CPU     %user     %nice   %system   %iowait    %steal     %idle
10:05:01 AM     all     77.49      0.37     22.13      0.00      0.00      0.00
10:15:01 AM     all     77.30      0.40     22.29      0.00      0.00      0.00
10:25:01 AM     all     77.19      0.38     22.42      0.00      0.00      0.00
10:35:01 AM     all     39.31      0.35     23.80      0.01      0.00     36.53
10:45:01 AM     all     32.22      0.34     24.26      0.03      0.00     43.15
10:55:01 AM     all     32.80      0.33     23.78      0.01      0.00     43.08
11:05:01 AM     all     32.70      0.33     23.76      0.00      0.00     43.20
Average:        all     63.90      0.39     22.79      0.00      0.00     12.91

Информацией, которую Вы видите, является та же информация, предоставленная top, но исторические данные. Можно также видеть подробную информацию о RAM, сети и использовании диска. Вот пример для Использования оперативной памяти:

$ sar -r
09:15:01 AM kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit
02:15:01 PM    457076   1357116     74.81    277876    810948    205520      5.40
02:25:01 PM    456836   1357356     74.82    277876    811168    205384      5.40
02:35:01 PM    456976   1357216     74.81    277876    811256    204728      5.38
02:45:01 PM    457036   1357156     74.81    277876    811368    204840      5.38
02:55:01 PM    456588   1357604     74.83    277896    811492    204924      5.38
Average:       332452   1481740     81.67    277720    793953    416953     10.96

За пределами рабочего SAR локально, существует много систем контроля, которые показывают производительность, отклоняющуюся данные. Munin, кактусы и zabbix являются некоторыми примерами. Они обладают преимуществом построения графика и хранения данных для нескольких серверов в централизованном месте.

Обновление для ответа из комментариев:

sar команда скажет Вам, если у Вас закончилась RAM до катастрофического отказа. Это будет очевидно как kbbuffers, и kbcached отбросит существенно. Можно также проверить dmesg на OOM (из памяти) уничтожитель, но dmesg только записан в журналы, если klogd установлен. Вы не будете видеть журналов об из дискового пространства, если приложение конкретно не сообщит о своем отказе записать в диск. Однако, если диск будет полон, то системный журнал не сможет записать журнал в диск также.