Труба на несколько файлов в оболочке

У меня есть приложение, которое будет производить большое количество данных, которые я не хочу хранить на диске. Приложение в основном выводит данные, которые я не хочу использовать, но набор полезной информации, которая должна быть разбита на отдельные файлы. Например, с учетом следующего вывода:

JUNK
JUNK
JUNK
JUNK
A 1
JUNK
B 5
C 1
JUNK

Я мог запустить приложение три раза так:

./app | grep A > A.out
./app | grep B > B.out
./app | grep C > C.out

Это даст мне то, что я хочу, но это займет слишком много времени. Я также не хочу записывать все выходные данные в один файл и анализировать его.

Есть ли способ объединить три операции, показанные выше, таким образом, что мне нужно всего лишь запустить приложение один раз и получить три отдельных выходных файла?

Если у вас есть тройник

./app | tee >(grep A > A.out) >(grep B > B.out) >(grep C > C.out) > /dev/null

( отсюда )

( о замене процесса )

Вы можете использовать awk

./app | awk '/A/{ print > "A.out"}; /B/{ print > "B.out"}; /C/{ print > "C.out"}'

Вы также можете использовать возможности сопоставления с образцом вашей оболочки :

./app | while read line; do 
     [[ "$line" =~ A ]] && echo $line >> A.out; 
     [[ "$line" =~ B ]] && echo $line >> B.out; 
     [[ "$line" =~ C ]] && echo $line >> C.out; 
 done

Или даже:

./app | while read line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && echo $line >> "$foo".out; 
  done; done

Более безопасный способ справиться с обратными слешами и строками, начиная с -:

./app | while IFS= read -r line; do for foo in A B C; do 
     [[ "$line" =~ "$foo" ]] && printf -- "$line\n" >> "$foo".out; 
  done; done

Как отмечает @StephaneChazelas в комментариях, это не очень эффективно. Лучшее решение, вероятно, @ AurélienOoms ' .

Если у вас несколько ядер и вы хотите, чтобы процессы были параллельными, вы можете сделать:

parallel -j 3 -- './app | grep A > A.out' './app | grep B > B.out' './app | grep C > C.out'

Это породит три процесса в параллельных ядрах. Если вы хотите, чтобы какой-то вывод выводился на консоль или мастер-файл, он имеет преимущество в том, что вывод выводится в некотором порядке, а не в микшировании.

Утилиту gnu параллельно с Ole Tange можно получить из большинства репозиториев под названием Parallel или moreutils . Источник может быть получен от Savannah.gnu.org . Также вводное учебное видео здесь .

добавление

Используя более свежую версию параллели (не обязательно версию в вашем репозитории), вы можете использовать более элегантную конструкцию:

./app | parallel -j3 -k --pipe 'grep {1} >> {1}.log' ::: 'A' 'B' 'C'

Это позволяет получить результат запуска одного ./app и трех параллельных процессов grep в отдельных ядрах или потоках (как определено самой параллелью, также следует учитывать, что параметр -j3 является необязательным, но он приведен в этом примере для ознакомительных целей).

Более новую версию параллели можно получить, выполнив:

wget http://ftpmirror.gnu.org/parallel/parallel-20131022.tar.bz2

Затем обычная распаковка, cd to parallel- {date}, ./configure && make, sudo make install. Это установит параллель, страницу руководства параллель и страницу руководства параллельно.

Вот один в Perl:

./app | perl -ne 'BEGIN {open(FDA, ">A.out") and 
                         open(FDB, ">B.out") and 
                         open(FDC, ">C.out") or die("Cannot open files: $!\n")} 
                  print FDA $_ if /A/; print FDB $_ if /B/; print FDC $_ if /C/'

sed -ne/A/w\ A.out -e/B/w\ B.out -e/C/p <in >C.out

... если <inон доступен для чтения, все три выходных файла будут усечены до того, как им что-либо будет записано.