Выявление кодов ошибок в оболочке трубы

В настоящее время у меня есть сценарий, который делает что-то вроде

./a | ./b | ./c

Я хочу изменить его так, чтобы при выходе любого из a, b или c с кодом ошибки я печатал сообщение об ошибке и останавливался вместо того, чтобы передавать плохой вывод вперед.

Каким будет самый простой способ сделать это?

Если вы действительно не хотите, чтобы вторая команда продолжалась до тех пор, пока первая не станет успешной, вам, вероятно, придется использовать временные файлы. Вот простая версия:

tmp=${TMPDIR:-/tmp}/mine.$$
if ./a > $tmp.1
then
    if ./b <$tmp.1 >$tmp.2
    then
        if ./c <$tmp.2
        then : OK
        else echo "./c failed" 1>&2
        fi
    else echo "./b failed" 1>&2
    fi
else echo "./a failed" 1>&2
fi
rm -f $tmp.[12]

Перенаправление «1> & 2» можно также обозначить как «> & 2»; однако старая версия оболочки MKS неправильно обрабатывала перенаправление ошибок без предшествующей «1», поэтому я использовал это недвусмысленное обозначение надежности на протяжении многих лет.

Это приводит к утечке файлов, если вы что-то прерываете. В защищенном от взрыва (более или менее) программировании оболочки используются:

tmp=${TMPDIR:-/tmp}/mine.$$
trap 'rm -f $tmp.[12]; exit 1' 0 1 2 3 13 15
...if statement as before...
rm -f $tmp.[12]
trap 0 1 2 3 13 15

В первой строке прерывания написано «выполнить команды» rm -f $tmp.[12]; exit 1при появлении любого из сигналов 1 SIGHUP, 2 SIGINT, 3 SIGQUIT, 13 SIGPIPE или 15 SIGTERM или 0 (при выходе из оболочки по любой причине). Если вы пишете сценарий оболочки, последней ловушке нужно только удалить ловушку на 0, которая является ловушкой выхода из оболочки (вы можете оставить другие сигналы на месте, поскольку процесс в любом случае завершится).

В исходном конвейере 'c' может считывать данные из 'b' до завершения 'a' - обычно это желательно (например, это дает работу нескольким ядрам). Если «b» - это фаза «сортировки», то это не применимо - «b» должен увидеть весь свой ввод, прежде чем он сможет сгенерировать какой-либо из своих выходных данных.

Если вы хотите определить, какая команда не работает, вы можете использовать:

(./a || echo "./a exited with $?" 1>&2) |
(./b || echo "./b exited with $?" 1>&2) |
(./c || echo "./c exited with $?" 1>&2)

Это просто и симметрично - его легко расширить до 4-х или N-сегментного конвейера.

Простые эксперименты с set -e не помогли.

В bash вы можете использовать set -eи set -o pipefailв начале вашего файла. Последующая команда ./a | ./b | ./cзавершится ошибкой при сбое любого из трех сценариев. Код возврата будет кодом возврата первого неудачного сценария.

Обратите внимание, что pipefailэто недоступно в стандартном sh .

Вы также можете проверить ${PIPESTATUS[]}массив после полного выполнения, например, если вы запустите:

./a | ./b | ./c

Затем ${PIPESTATUS}будет массив кодов ошибок каждой команды в конвейере, поэтому, если средняя команда не удалась, echo ${PIPESTATUS[@]}будет содержать что-то вроде:

0 1 0

и что-то вроде этого запускается после команды:

test ${PIPESTATUS[0]} -eq 0 -a ${PIPESTATUS[1]} -eq 0 -a ${PIPESTATUS[2]} -eq 0

позволит вам проверить, что все команды в канале выполнены успешно.

К сожалению, для ответа Джонатана требуются временные файлы, а для ответов Мишеля и Имрона требуется bash (хотя этот вопрос помечен как оболочка). Как уже указывалось другими, невозможно прервать конвейер до запуска более поздних процессов. Все процессы запускаются сразу и, таким образом, все запускаются до того, как можно будет сообщить о каких-либо ошибках. Но в заголовке вопроса также говорилось о кодах ошибок. Их можно получить и исследовать после завершения конвейера, чтобы выяснить, не завершился ли какой-либо из задействованных процессов.

Вот решение, которое ловит все ошибки в трубе, а не только ошибки последнего компонента. Это похоже на pipefail в bash, только более мощный в том смысле, что вы можете получить все коды ошибок.

res=$( (./a 2>&1 || echo "1st failed with $?" >&2) |
(./b 2>&1 || echo "2nd failed with $?" >&2) |
(./c 2>&1 || echo "3rd failed with $?" >&2) > /dev/null 2>&1)
if [ -n "$res" ]; then
    echo pipe failed
fi

Чтобы определить, не удалось ли что-нибудь, echoкоманда выводит стандартную ошибку в случае сбоя какой-либо команды. Затем объединенный стандартный вывод ошибок сохраняется $resи исследуется позже. По этой же причине стандартная ошибка всех процессов перенаправляется на стандартный вывод. Вы также можете отправить этот вывод /dev/nullили оставить его как еще один индикатор того, что что-то пошло не так. Вы можете заменить последнее перенаправление на /dev/nullфайл, если вам не нужно хранить вывод последней команды где угодно.

Чтобы больше поиграть с этой конструкцией и убедить себя, что она действительно делает то, что должно, я заменил ./a, ./bи ./cподоболочки, которые выполняют echo, catи exit. Вы можете использовать это, чтобы убедиться, что эта конструкция действительно перенаправляет весь вывод от одного процесса к другому и что коды ошибок записываются правильно.

res=$( (sh -c "echo 1st out; exit 0" 2>&1 || echo "1st failed with $?" >&2) |
(sh -c "cat; echo 2nd out; exit 0" 2>&1 || echo "2nd failed with $?" >&2) |
(sh -c "echo start; cat; echo end; exit 0" 2>&1 || echo "3rd failed with $?" >&2) > /dev/null 2>&1)
if [ -n "$res" ]; then
    echo pipe failed
fi