Использование docker-compose с CI - как бороться с кодами выхода и демонизированными связанными контейнерами?

Прямо сейчас наши агенты Jenkins генерируют docker-compose.yml для каждого из наших проектов Rails, а затем запускают docker-compose up. Docker-compose.yml имеет основной «веб-контейнер», внутри которого находится rbenv и все другие наши зависимости Rails. Он связан с контейнером БД, который содержит тестовую БД Postgres.

Проблема возникает, когда нам действительно нужно запустить тесты и сгенерировать коды выхода. Наш CI-сервер будет развернут только в том случае, если тестовый сценарий вернет exit 0, но docker-compose всегда возвращает 0, даже если одна из команд контейнера не работает.

Другая проблема заключается в том, что контейнер БД работает бесконечно, даже после того, как веб-контейнер завершил выполнение тестов, поэтому docker-compose upникогда не возвращается.

Есть ли способ использовать docker-compose для этого процесса? Нам нужно будет иметь возможность запускать контейнеры, но выходить после завершения веб-контейнера и возвращать его код выхода. Прямо сейчас мы застряли вручную, используя докер, чтобы развернуть контейнер БД и запустить веб-контейнер с параметром --link.

Начиная с версии 1.12.0, вы можете использовать --exit-code-fromопцию.

Из документации :

--exit-code-из СЕРВИСА

Вернуть код выхода выбранного сервисного контейнера. Подразумевается --abort-on-container-exit.

docker-compose runэто простой способ получить желаемый статус выхода. Например:

$ cat docker-compose.yml 
roit:
    image: busybox
    command: 'true'
naw:
    image: busybox
    command: 'false'
$ docker-compose run --rm roit; echo $?
Removing test_roit_run_1...
0
$ docker-compose run --rm naw; echo $?
Removing test_naw_run_1...
1

Кроме того, у вас есть возможность осмотреть мертвые контейнеры. Вы можете использовать -fфлаг, чтобы получить только статус выхода.

$ docker-compose up
Creating test_naw_1...
Creating test_roit_1...
Attaching to test_roit_1
test_roit_1 exited with code 0
Gracefully stopping... (press Ctrl+C again to force)
$ docker-compose ps -q | xargs docker inspect -f '{{ .Name }} exited with status {{ .State.ExitCode }}'
/test_naw_1 exited with status 1
/test_roit_1 exited with status 0

Что касается контейнера db, который никогда не возвращается, если вы его используете, docker-compose upвам нужно будет удалить этот контейнер; вероятно, это не то, что вы хотите. Вместо этого вы можете использовать docker-compose up -dдля запуска своих контейнеров демонизированные и вручную уничтожить контейнеры, когда ваш тест будет завершен. docker-compose run должен запускать связанные контейнеры для вас, но я слышал болтовню о SO об ошибке, мешающей этому работать, как задумано прямо сейчас.

Основываясь на ответе Кодзиро:

docker-compose ps -q | xargs docker inspect -f '{{ .State.ExitCode }}' | grep -v '^0' | wc -l | tr -d ' '

1. получить идентификаторы контейнеров
2. получить код выхода последних прогонов для каждого идентификатора контейнера
3. только коды состояния, которые не начинаются с '0'
4. подсчитать количество кодов состояния, отличных от 0
5. обрезать пустое пространство

Возвращает количество возвращенных кодов выхода, отличных от 0. Было бы 0, если бы все вышло с кодом 0.

Если вы хотите запускать docker-compose runтесты вручную, добавление --rmфлага, как ни странно, заставляет Compose точно отражать статус выхода вашей команды.

Вот мой пример:

$ docker-compose -v
docker-compose version 1.7.0, build 0d7bf73

$ (docker-compose run bash false) || echo 'Test failed!'  # False negative.

$ (docker-compose run --rm bash false) || echo 'Test failed!'  # True positive.
Test failed!

$ (docker-compose run --rm bash true) || echo 'Test failed!'  # True negative.

Используйте, docker waitчтобы получить код выхода:

$ docker-compose -p foo up -d
$ ret=$(docker wait foo_bar_1)

fooэто «название проекта». В приведенном выше примере я указал его явно, но если вы его не укажете, это имя каталога. bar- это имя, которое вы даете тестируемой системе в вашем docker-compose.yml.

Обратите внимание, что это docker logs -fтоже правильно, выходя, когда контейнер останавливается. Итак, вы можете поставить

$ docker logs -f foo_bar_1

между docker-compose upи, docker waitчтобы вы могли наблюдать за выполнением тестов.

--exit-code-from SERVICEи --abort-on-container-exitне работают в сценариях, когда вам нужно запустить все контейнеры до завершения, но не работают, если один из них завершился раньше. Примером может быть одновременное выполнение двух тестовых костюмов в разных контейнерах.

С помощью предложения @spenthil вы можете обернуть docker-composeсценарий, который завершится ошибкой, если это произойдет с какими-либо контейнерами.

#!/bin/bash
set -e

# Wrap docker-compose and return a non-zero exit code if any containers failed.

docker-compose "$@"

exit $(docker-compose -f docker-compose.ci.build.yml ps -q | tr -d '[:space:]' |
  xargs docker inspect -f '{{ .State.ExitCode }}' | grep -v 0 | wc -l | tr -d '[:space:]')

Затем на вашем CI-сервере просто измените docker-compose upна ./docker-compose.sh up.

docker-rails позволяет вам указать, какой код ошибки контейнера возвращается в основной процесс, чтобы ваш CI-сервер мог определить результат. Это отличное решение для CI и разработки рельсов с докером.

Например

exit_code: web

в вашем docker-rails.ymlдаст webкод выхода контейнера в результате команды docker-rails ci test. docker-rails.yml- это просто мета-оболочка вокруг стандарта, docker-compose.ymlкоторая дает вам возможность наследовать / повторно использовать одну и ту же базовую конфигурацию для разных сред, например, разработка vs test vs parallel_tests.

В случае, если вы можете запустить больше служб для создания докеров с тем же именем на одном движке докеров, и вы не знаете точное имя:

docker-compose up -d
(exit "${$(docker-compose logs -f test-chrome)##* }")

echo %? - возвращает код выхода из сервиса test-chrome

Льготы:

• ждать точного выхода службы
• использует имя службы, а не имя контейнера

Вы можете увидеть статус выхода с помощью:

echo $(docker-compose ps | grep "servicename" | awk '{print $4}')