Программирование оболочки, избегая временных файлов

Я часто пишу сценарии оболочки KSH, которые следуют той же схеме:

• (1) получить вывод из одной или нескольких команд
• (2) отформатируйте его, используя grep | cut | awk | sed, и распечатайте его на экране или в файле

Для этого я часто сохраняю вывод (1) в временном файле, а затем выполняю форматирование в (2) для этого файла.

Возьмите этот код, например:

TMPFILE=file.tmp

# If tmpfile exists rm it.
[ -f $TMPFILE ] && rm -f $TMPFILE

for SERVICE in $(myfunc); do
    getInfo $SERVICE > $TMPFILE # Store raw output in the TMPFILE

    # I retrieve the relevant data from the TMPFILE
    SERV_NAME=$(head -1 $TMPFILE | sed -e 's/ $//')
    SERV_HOSTNAME=$(grep HOSTNAME $TMPFILE | cut -d "=" -f2)
    SERV_ARGS=$(grep Arguments $TMPFILE | cut -d ":" -f2)

    print $SERV_NAME $SEP $SERV_HOSTNAME $SEP $SERV_ARGS
    rm -f $TMPFILE #rm the TMPFILE in vue of next iteration
done

Есть ли способ, используя каналы, перенаправления и т. Д., Чтобы избежать записи файла на диск каждый раз?

Если это поможет, я использую ksh Версия M-11/16 / 88i

Ваш код выглядит как вполне оправданный пример использования мне временных файлов. Я бы остался: придерживайтесь этого подхода. Единственное, что действительно нужно изменить, - это способ создания временного файла. Используйте что-то вроде

 TMP=$(tempfile)

или

 TMP=$(mktemp)

или по крайней мере

 TMP=/tmp/myscript_$$

Таким образом, вы не сможете легко предсказать имя (безопасность) и исключите вмешательство правил между несколькими экземплярами скрипта, работающими одновременно.

Вы можете использовать переменную:

info="$(getInfo $SERVICE)"
SERV_NAME="$(head -1 $TMPFILE <<<"$info" | sed -e 's/ $//')"
...

От man ksh:

<<<word       A  short  form of here document in which word becomes the
              contents of the here-document after any parameter  expan-
              sion,  command  substitution, and arithmetic substitution
              occur.

Преимущества включают в себя:

• Включает параллельное выполнение.
• По моему опыту, это намного быстрее, чем временные файлы. Если у вас не так много данных, что вы в конечном итоге меняете их местами, они должны быть на несколько порядков быстрее (только за исключением буферов кеширования HD, которые могут быть такими же быстрыми при небольших объемах данных).
• Другие процессы или пользователи не могут испортить ваши данные.

У вас есть два варианта:

1. Вы получаете данные один раз (в вашем примере с getInfo) и сохраняете их в файле, как и вы.

2. Вы извлекаете данные каждый раз и не сохраняете их локально, то есть звоните getInfoкаждый раз

Я не вижу проблемы в создании временного файла, чтобы избежать повторной обработки / повторной выборки.

Если вы беспокоитесь о том, чтобы оставить временный файл где-нибудь, вы всегда можете использовать его, trapчтобы быть уверенным, что удалите его в случае, если сценарий убит / прерван

trap "rm -f $TMPFILE" EXIT HUP INT QUIT TERM

и использовать mktempдля создания уникального имени файла для вашего временного файла.

Вместо создания файла создайте операторы присваивания оболочки и оцените этот вывод.

for SERVICE in $(myfunc); do
    eval $(getInfo $SERVICE |
               sed -n -e '1/\(.*\) *$/SERV_NAME="\1"/p' \
                   -e '/HOSTNAME/s/^[^=]*=\([^=]*\).*/SERV_HOSTNAME="\1"/p' \
                   -e '/Arguments/^[^:]*:\([^:]*\).*/SERV_ARGS="\1"/p')
    print $SERV_NAME $SEP $SERV_HOSTNAME $SED $SERV_ARGS
done

Или, если вы просто хотите распечатать информацию:

for SERVICE in $(myfunc); do
    getInfo $SERVICE | awk -vsep="$SEP" '
        BEGIN{OFS=sep}
        NR == 1 { sub(/ *$/,""); SERV_NAME=$0 }
        /HOSTNAME/ { split($0, HOST, /=/; SERV_HOSTNAME=HOST[2]; }
        /Arguments/ { split($0, ARGS, /:/; SERV_ARGS }
        END { print SERV_NAME, SERV_HOSTNAME, SERV_ARGS }'
done