Как вырезать часть из файла журнала?

У меня есть файл журнала 8 Гб (журнал производства Rails). Мне нужно сократить это между некоторыми датами (линиями). Какую команду я могу использовать для этого?

Что-то вроде

sed '1,/last date prior to chunk/d;/first date after chunk/,$d' logfile | tee cut-log | less

tee cut-logпозволяет увидеть на экране, что помещается в файл cut-log.

РЕДАКТИРОВАТЬ:

Чтобы удовлетворить строгие стандарты fred.bear, вот решение sed (хотя, возможно, решение awk намного красивее):

b=BB; e=EE ;echo -e "AA\nAA\nBB\nBB\nCC\nCC\nDD\nDD\nEE\nEE\nFF\nFF" | sed -n ":b;/$b/b p;n;b b;:p;p;n;/$e/b e;b p;:e;p;n;/$e/b e;q"

Чтобы распечатать все между FOO и BAR включительно, попробуйте:

$ sed -n '/FOO/,/BAR/p' file.txt

Это будет делать то, что вы хотите ...
Отображаются как включающие, так и исключающие даты параметров.

# set Test args
set  2011-02-24  2011-02-26  "junk"

from="$1"
till="$2"
file="$3"

# EITHER ====                              +++++++++  
# Ouptut lines between two parameter dates INCLUDING the parameter dates
  awk -v from=$from -v till=$till '
    ($2 >= from) && ($2 <= till) { print $0 ; next }
    ($2 > till) { exit }' "$file"

# OR ========                              ---------
# Ouptut lines between two parameter dates EXCLUDING the parameter dates
  awk -v from=$from -v till=$till '
    ($2 > from) && ($2 < till) { print $0 ; next }
    ($2 >= till) { exit }' "$file"

Он проверяет (отсортированную) дату в поле 2 ... Вот пример тестовых данных

    98  2011-02-05 xxxx
    99  2011-02-05 xxxx
   100  2011-02-06 xxxx
   101  2011-02-06 xxxx

А вот и генератор тестовых данных .

Если в вашем файле журнала у вас есть даты в этом формате YYYY-MM-DD, то, чтобы найти все записи, скажем, 2011-02-10, вы можете сделать:

grep 2011-02-10 log_file

Теперь, скажем, если вы хотите найти записи для 2011-02-10 и 2011-02-11, то снова используйте, grepно с несколькими шаблонами:

grep -E '2011-02-10|2011-02-11' log_file

Работать с файлами такого размера всегда сложно.

Путь вперед может состоять в том, чтобы разбить этот файл на пару маленьких, для этого вы можете использовать команду split.

split -d -l 50000 ToBigFile.data file_

Даже если он разделен, вы все равно можете работать с файлом, как если бы он использовал цикл bash for

for f in `ls file_*`; do cat $f; done;

Но вместо кошки вы можете использовать инвертированный grep, чтобы избавиться от нежелательных данных, что для этого не имеет значения. (или вид уточнения, который вам нужен).

На этом этапе вы будете просто работать с большим количеством файлов меньшего размера, а команды, упомянутые выше, будут работать с большим количеством файлов меньшего размера.

И когда вы закончите, вы можете использовать второй цикл for, чтобы снова создать новый файл меньшего размера.

for f in `ls file_*`; do cat $f >> NewFile.data ; done;

Обновление Поскольку мы начинаем разделять данные на несколько файлов, с жестким диском будет много работы, и это займет время. (В этом вопросе видимо 5мин).

С другой стороны, следующие шаги, вероятно, будут быстрее.

Так что этот метод, вероятно, не имеет смысла для простых операций grep, awk, sed, но если шаблоны поиска станут более сложными, они могут стать быстрее.

perl -wlne '/^2011-02-24/ .. /^2011-02-25/ and print' log_file