Как сократить часть из файла журнала?

Что-то как

sed '1,/last date prior to chunk/d;/first date after chunk/,$d' logfile | tee cut-log | less

tee cut-log позволяет Вам видеть на экране, что помещается в файл cut-log.

Править:

Для удовлетворения обременительных стандартов fred.bear вот, sed решение (хотя возможно awk решение намного более симпатично):

b=BB; e=EE ;echo -e "AA\nAA\nBB\nBB\nCC\nCC\nDD\nDD\nEE\nEE\nFF\nFF" | sed -n ":b;/$b/b p;n;b b;:p;p;n;/$e/b e;b p;:e;p;n;/$e/b e;q"

Для печати всего между НЕЧТО и ПАНЕЛЬЮ включительно попробуйте:

$ sed -n '/FOO/,/BAR/p' file.txt

Это сделает то, что Вы хотите...
И Включая и, Исключая даты параметра показаны.

# set Test args
set  2011-02-24  2011-02-26  "junk"

from="$1"
till="$2"
file="$3"

# EITHER ====                              +++++++++  
# Ouptut lines between two parameter dates INCLUDING the parameter dates
  awk -v from=$from -v till=$till '
    ($2 >= from) && ($2 <= till) { print $0 ; next }
    ($2 > till) { exit }' "$file"

# OR ========                              ---------
# Ouptut lines between two parameter dates EXCLUDING the parameter dates
  awk -v from=$from -v till=$till '
    ($2 > from) && ($2 < till) { print $0 ; next }
    ($2 >= till) { exit }' "$file"

Это тестирует на (отсортированную) дату в поле 2... Вот является пример fo данными тестирования

    98  2011-02-05 xxxx
    99  2011-02-05 xxxx
   100  2011-02-06 xxxx
   101  2011-02-06 xxxx

И вот генератор данных для тестирования.

Если в Вашем файле журнала у Вас есть даты в этом формате YYYY-MM-DD, затем, для нахождения всех записей для говорят, 10.02.2011, можно сделать:

grep 2011-02-10 log_file

Теперь, скажем, если Вы хотите найти записи на 10.02.2011 и 11.02.2011, затем, снова использование grep но с несколькими шаблонами:

grep -E '2011-02-10|2011-02-11' log_file

Работа с этим размером файлов всегда трудна.

Путь вперед мог состоять в том, чтобы разделить этот файл на пару маленьких, чтобы сделать это можно использовать команду разделения.

split -d -l 50000 ToBigFile.data file_

Даже Вы, это разделено, можно все еще работать с файлом как то, если был бы тот с помощью удара для цикла

for f in `ls file_*`; do cat $f; done;

Но вместо кошки можно использовать инвертированный grep для избавлений от нежелательных данных, которые не важны для этого. (или вид улучшения, в котором Вы нуждаетесь).

В этой точке Вы будете просто работать с большим количеством меньших файлов, и команды, другие упомянутые выше будут работать, задыхаются на большом количестве меньших файлов.

И когда Вы сделаны, можно использовать секунду для цикла для создания нового меньшего файла снова.

for f in `ls file_*`; do cat $f >> NewFile.data ; done;

Обновление, Так как мы начинаем разделять данные в нескольких файлах, там будет большой работой с жестким диском, и это занимает время. (В этом вопросе, по-видимому, 5 минут).

С другой стороны, следующие шаги, вероятно, были бы быстрее.

Таким образом, этот метод, вероятно, бессмыслен для простого grep, awk, sed операция, но если шаблоны поиска становятся более сложными, это могло бы стать быстрее.

perl -wlne '/^2011-02-24/ .. /^2011-02-25/ and print' log_file