Почему я вижу больше процессов в KVM, чем в OpenVZ?

Общий путь

$ cat input.log | sed -e "s/^/$(date -R) /" >> output.log

Как это работает:

1. cat файл чтений называют input.log и просто печать это к его потоку стандартного вывода.

   Обычно стандартный вывод подключен к терминалу, но этот небольшой сценарий содержит | таким образом, оболочка перенаправляет стандартный вывод cat к стандартному входу sed.

2. sed считывает данные (как cat производит его), процессы он (согласно сценарию, обеспеченному -e опция), и затем печатает его к ее стандартному выводу. Сценарий "s/^/$(date -R) /" средства заменяют каждый запуск строки к тексту, сгенерированному date -R команда (общая конструкция для команды замены: s/pattern/replace/).

3. Затем согласно >> bash перенаправляет вывод sed в названный файл output.log (> средства заменяют содержание файла и >> средства добавляют в конец).

Проблема $(date -R) оцененный однажды, когда Вы запустите скрипт, таким образом, он вставит текущую метку времени в начало каждой строки. Текущая метка времени может быть далекой с момента, когда сообщение было сгенерировано. Для предотвращения его, необходимо обработать сообщения, поскольку они записаны в файл, не с заданием крона.

FIFO

Стандартное потоковое перенаправление описано выше названного канала. Можно перенаправить его не только с | между командами в сценарии, но через файл FIFO (иначе именованный канал). Одна программа запишет в файл, и другой считает данные и получит их, когда первое отправляет.

Выберите пример:

$ mkfifo foo.log.fifo
$ while true; do cat foo.log.fifo | sed -e "s/^/$(date -R) /" >> foo.log; done;

# have to open a second terminal at this point
$ echo "foo" > foo.log.fifo
$ echo "bar" > foo.log.fifo
$ echo "baz" > foo.log.fifo

$ cat foo.log      

Tue, 20 Nov 2012 15:32:56 +0400 foo
Tue, 20 Nov 2012 15:33:27 +0400 bar
Tue, 20 Nov 2012 15:33:30 +0400 baz

Как это работает:

1. mkfifo создает именованный канал

2. while true; do sed ... ; done выполняет бесконечный цикл, и при каждом повторении он работает sed с перенаправлением foo.log.fifo к его стандартному входу; sed блоки в ожидании входных данных и затем обрабатывают полученное сообщение и печатают его к стандартному выводу, перенаправленному к foo.log.

   В этой точке необходимо открыть новое окно терминала, потому что цикл занимает текущий терминал.

3. echo ... > foo.log.fifo печатает сообщение к его стандартному выводу, перенаправленному в файл FIFO и sed получает его и обрабатывает и пишет в регулярный файл.

Важное примечание является FIFO так же, как любой другой канал не имеет никакого смысла, если одна из его сторон не подключена ни к какому процессу. При попытке записать в канал, то текущий процесс заблокируется, пока кто-то не считал бы данные с другой стороны канала. Если Вы захотите читать из канала, то процесс заблокируется, пока кто-то не запишет данные в канал. sed цикл в примере выше ничего не делает (сны), пока Вы не делаете echo.

Для Вашей конкретной ситуации Вы просто настраиваете свое приложение для записи сообщений журнала в файл FIFO. Если Вы не можете настроить его - просто удаляют исходный файл журнала и создают файл FIFO. Но отметьте снова это если sed цикл умрет по некоторым причинам - Ваша программа будет заблокирована после попытки к write в файл, пока кто-то не будет read от FIFO.

Преимущество является текущей меткой времени, оцененной и приложенной к сообщению, поскольку программа пишет это в файл.

Асинхронная обработка с tailf

Для создания записи в журнал и обработки более независимыми, можно использовать два регулярных файла с tailf. Приложение запишет сообщение в необработанный файл, и другие новые строки чтения процесса (следуйте к записям асинхронно), и обработайте данные с записью во второй файл.

Давайте возьмем пример:

# will occupy current shell
$ tailf -n0 bar.raw.log | while read line; do echo "$(date -R) $line" >> bar.log; done;

$ echo "foo" >> bar.raw.log
$ echo "bar" >> bar.raw.log
$ echo "baz" >> bar.raw.log

$ cat bar.log

Wed, 21 Nov 2012 16:15:33 +0400 foo
Wed, 21 Nov 2012 16:15:36 +0400 bar
Wed, 21 Nov 2012 16:15:39 +0400 baz

Как это работает:

1. Выполненный tailf процесс, который будет следовать за записями к bar.raw.log и распечатайте их к стандартному выводу, перенаправленному к большому количеству while read ... echo цикл. Этот цикл выполняет два действия: считайте данные от стандартного входа до буферной названной переменной line и затем запишите сгенерированную метку времени со следующими буферизированными данными к bar.log.

2. Запишите некоторые сообщения в bar.raw.log. Необходимо сделать это в отдельном окне терминала, потому что первый будет занят tailf который будет следовать за записями и делать его задание. Довольно простой.

Профессионалы являются Вашим приложением, не заблокировался бы, если Вы уничтожаете tailf. Недостатки являются менее точными метками времени и копирующий файлы журнала.