Ммапирование очень больших файлов

Прочтите эту статью о влиянии imjournal на производительность:
http://www.rsyslog.com/doc/v8-stable/configuration/modules/imjournal.html

Особенно эта часть:

Warning: Some versions of systemd journal have problems with database corruption, which leads to the journal to return the same data endlessly in a tight loop. This results in massive message duplication inside rsyslog probably resulting in a denial-of-service when the system ressouces get exhausted. This can be somewhat mitigated by using proper rate-limiters, but even then there are spikes of old data which are endlessly repeated. By default, ratelimiting is activated and permits to process 20,000 messages within 10 minutes, what should be well enough for most use cases. If insufficient, use the parameters described below to adjust the permitted volume. It is strongly recommended to use this plugin only if there is hard need to do so.

Короче говоря, я думаю, вам следует подумать об использовании imuxsock.

1
28.11.2019, 22:31
1 ответ

Имеет смысл использовать только файловое -сопоставление для mmap файла, а не анонимное сопоставление. Если вы хотите записать в отображенную память и записать изменения обратно в файл, вам нужно использовать общее сопоставление. С файлом -, поддерживаемым общим сопоставлением, вам не нужно беспокоиться об убийце OOM, поэтому, пока ваш процесс 64 -бит, нет проблем с простым сопоставлением всего файла в памяти. (И даже если бы у вас не было 64 -бит, проблема была бы в нехватке адресного пространства, а не в недостатке ОЗУ, так что убийца OOM все равно не затронул бы вас; ваш mmap просто потерпит неудачу.)

2
27.01.2020, 23:29

Теги

Похожие вопросы