Вопросы Теги

Рытье через огромные gziped файлы журнала

Linux разделяет настройки разрешения на 3 группы:

  • Владелец - пользователь, который владеет файлом
  • Группа - Группа пользователей
  • Мир - Не владелец и не часть Группы

Следующее разрешение может быть дано:

  • Читать
  • Записать
  • Выполниться

Можно использовать chmod управляйте для установки полномочий для каждой группы (Owner/User/World) путем применения желаемый (Read/Write/Execute) теги каждому из них. Цифры, которые используются для установки полномочий, являются на самом деле десятичным представлением двоичного файла (0/1) флаги, которые устанавливают на группу. Например, Вы хотите установить полномочия, которые позволят следующее:

  • Владелец - чтение, запишите и выполнитесь
  • Группа - чтение и выполняется (но не запись)
  • Мир - никакие полномочия

Так в этом случае для Owner мы будем иметь: read=1, write=1 и execute=1 получающийся в разрешении: 

111 -> 7

Group будет иметь: read=1, write=0 и execute=1 получающийся в разрешении:

101 -> 5

И наконец World будет иметь: read=0, write=0 и execute=0 получающийся в разрешении:

000 -> 0

Кроме того, можно ли установить, какой называют липким битом к каталогу. Это будет препятствовать тому, чтобы другие пользователи удалили или переименовали файлы в рамках того каталога. Только владелец может удалить или переименовать файлы в рамках того каталога. Таким образом в Вашем случае, корректном chmod команда будет похожа на это:

chmod 1777 temp

Где 777 позволяет read/write/execute для всех трех групп и дополнительного 1 липкий бит.

4
27.02.2013, 14:35
2 ответа

Существуют действительно хорошие индексаторы журнала, которые немного больше, чем уровень инструмента командной строки. Коммерчески, splunk является большим и трудно биться. Graylog2 является хорошей реализацией с открытым исходным кодом. Elasticsearch+Logstash довольно хороши также.

Существует немного издержек и к установке их для сбора и к выполнение сервера набора, но после того как у Вас есть центральный набор журнала как часть Вашей системы, они являются великими. Запросы и создание отчетов о журналах от многочисленных источников являются самым большим преимуществом для многоуровневых приложений.

Что касается командной строки, если можно включить вхождение в системный журнал, systemdжурналируемыйреализация допускает индексацию в ряде полей, поскольку объекты зарегистрированы. Не уверенный, если это было бы полезно в обработке текста хотя, больше для метаданных.

Не уверенный в любых специальных инструментах командной строки, у них все еще был бы штраф времени извлечения/загрузки/синтаксического анализа каждым разом, когда Вы загружаете файл.

Однако less делает большую часть того, в чем я нуждаюсь в единственном файле журнала. 

&pattern  grep pattern
/pattern  search forward
?pattern  search backward
shift-f   tail -f

tail режим может принять предыдущий шаблон во внимание также, которое является большим для того, чтобы смотреть журналы в прямом эфире

4
27.01.2020, 20:52

Поиск файла с less могла бы быть опция. Это не требует, чтобы файлы вписались в память. И это намного быстрее по сравнению с энергией (даже когда плагин LargeFile используется).

Оборотные стороны: Это не будет, вероятно, биться grep с точки зрения производительности. И большинство альтернатив дросселирует, если размер файла приближается к размеру RAM.

2
27.01.2020, 20:52
  • 1
    less не требует, чтобы файл вписался в память, это сделано разбить на страницы огромные файлы. Это извлекло бы выгоду из большого кэша файла, хотя, как любой не индексация утилиты будет. –  Matt 27.02.2013, 15:15

Теги

Похожие вопросы