Тесты на Python в Дженкинсе?

135

Как заставить Дженкинса выполнять юнит-тесты Python? Можно ли в стиле JUnit выводить XML из встроенного unittestпакета?

python unit-testing jenkins junit xunit erikbwork
источник
1
Все ответы предполагают, что вы хотите запустить тестовые случаи из командной строки. Но если вы хотите запустить тесты программно, попробуйте следующее:import nose ; nose.runmodule() # aka nose.run(defaultTest=__name__)
MarkHu
1
ИМХО простое предложение «py.test --junitxml results.xml test.py» лучше всего отвечает на этот вопрос. 'yum install pytest', чтобы установить py.test. Затем вы можете запустить любой скрипт Python unittest и получить результаты jUnit xml
gaoithe
1
@gaoithe, который отвечает на часть jenkins, но не отвечает требованию использовать встроенный модуль unittest. В этом проекте это было заданное требование.
erikbwork
@ erikb85 Когда я говорю «запустить любой скрипт python unittest», я имею в виду скрипт, который использует модуль unittest.
gaoithe

Ответы:

173

Образцы испытаний:

tests.py:

# tests.py

import random
try:
    import unittest2 as unittest
except ImportError:
    import unittest

class SimpleTest(unittest.TestCase):
    @unittest.skip("demonstrating skipping")
    def test_skipped(self):
        self.fail("shouldn't happen")

    def test_pass(self):
        self.assertEqual(10, 7 + 3)

    def test_fail(self):
        self.assertEqual(11, 7 + 3)

JUnit с pytest

запустить тесты с:

py.test --junitxml results.xml tests.py

results.xml:

<?xml version="1.0" encoding="utf-8"?>
<testsuite errors="0" failures="1" name="pytest" skips="1" tests="2" time="0.097">
    <testcase classname="tests.SimpleTest" name="test_fail" time="0.000301837921143">
        <failure message="test failure">self = &lt;tests.SimpleTest testMethod=test_fail&gt;

    def test_fail(self):
&gt;       self.assertEqual(11, 7 + 3)
E       AssertionError: 11 != 10

tests.py:16: AssertionError</failure>
    </testcase>
    <testcase classname="tests.SimpleTest" name="test_pass" time="0.000109910964966"/>
    <testcase classname="tests.SimpleTest" name="test_skipped" time="0.000164031982422">
        <skipped message="demonstrating skipping" type="pytest.skip">/home/damien/test-env/lib/python2.6/site-packages/_pytest/unittest.py:119: Skipped: demonstrating skipping</skipped>
    </testcase>
</testsuite>

Юнит с носом

запустить тесты с:

nosetests --with-xunit

nosetests.xml:

<?xml version="1.0" encoding="UTF-8"?>
<testsuite name="nosetests" tests="3" errors="0" failures="1" skip="1">
    <testcase classname="tests.SimpleTest" name="test_fail" time="0.000">
        <failure type="exceptions.AssertionError" message="11 != 10">
            <![CDATA[Traceback (most recent call last):
File "/opt/python-2.6.1/lib/python2.6/site-packages/unittest2-0.5.1-py2.6.egg/unittest2/case.py", line 340, in run
testMethod()
File "/home/damien/tests.py", line 16, in test_fail
self.assertEqual(11, 7 + 3)
File "/opt/python-2.6.1/lib/python2.6/site-packages/unittest2-0.5.1-py2.6.egg/unittest2/case.py", line 521, in assertEqual
assertion_func(first, second, msg=msg)
File "/opt/python-2.6.1/lib/python2.6/site-packages/unittest2-0.5.1-py2.6.egg/unittest2/case.py", line 514, in _baseAssertEqual
raise self.failureException(msg)
AssertionError: 11 != 10
]]>
        </failure>
    </testcase>
    <testcase classname="tests.SimpleTest" name="test_pass" time="0.000"></testcase>
    <testcase classname="tests.SimpleTest" name="test_skipped" time="0.000">
        <skipped type="nose.plugins.skip.SkipTest" message="demonstrating skipping">
            <![CDATA[SkipTest: demonstrating skipping
]]>
        </skipped>
    </testcase>
</testsuite>

Юнит с носом2

Вам нужно будет использовать nose2.plugins.junitxmlплагин. Вы можете настроить nose2файл конфигурации, как обычно, или с помощью параметра --pluginкомандной строки.

запустить тесты с:

nose2 --plugin nose2.plugins.junitxml --junit-xml tests

nose2-junit.xml:

<testsuite errors="0" failures="1" name="nose2-junit" skips="1" tests="3" time="0.001">
  <testcase classname="tests.SimpleTest" name="test_fail" time="0.000126">
    <failure message="test failure">Traceback (most recent call last):
  File "/Users/damien/Work/test2/tests.py", line 18, in test_fail
    self.assertEqual(11, 7 + 3)
AssertionError: 11 != 10
</failure>
  </testcase>
  <testcase classname="tests.SimpleTest" name="test_pass" time="0.000095" />
  <testcase classname="tests.SimpleTest" name="test_skipped" time="0.000058">
    <skipped />
  </testcase>
</testsuite>

JUnit с unittest-xml-отчетов

Добавить следующее к tests.py

if __name__ == '__main__':
    import xmlrunner
    unittest.main(testRunner=xmlrunner.XMLTestRunner(output='test-reports'))

запустить тесты с:

python tests.py

тест-отчеты / TEST-SimpleTest-20131001140629.xml:

<?xml version="1.0" ?>
<testsuite errors="1" failures="0" name="SimpleTest-20131001140629" tests="3" time="0.000">
    <testcase classname="SimpleTest" name="test_pass" time="0.000"/>
    <testcase classname="SimpleTest" name="test_fail" time="0.000">
        <error message="11 != 10" type="AssertionError">
<![CDATA[Traceback (most recent call last):
  File "tests.py", line 16, in test_fail
    self.assertEqual(11, 7 + 3)
AssertionError: 11 != 10
]]>     </error>
    </testcase>
    <testcase classname="SimpleTest" name="test_skipped" time="0.000">
        <skipped message="demonstrating skipping" type="skip"/>
    </testcase>
    <system-out>
<![CDATA[]]>    </system-out>
    <system-err>
<![CDATA[]]>    </system-err>
</testsuite>
dnozay
источник
4
+1 за простое предложение «py.test --junitxml results.xml test.py». 'yum install pytest', чтобы установить py.test. Затем вы можете запустить любой скрипт Python unittest и получить результаты jUnit xml.
gaoithe
1
Если вы хотите использовать unittest-xml-reports и воспользоваться функцией обнаружения тестов , вы можете поставить unittest.main(module=None, testRunner=xmlrunner.XMLTestRunner(output='test-reports')).
Росберг Линхарес
@RosbergLinhares, почему вам нужно module=Noneиспользовать Test Discovery? Работает именно так, как описано в ответе unittest.main(testRunner=xmlrunner.XMLTestRunner(output='test-reports')).
17
@RosbergLinhares, во время обнаружения теста модули только импортируются, но не выполняются. Итак, как любое из этих решений должно работать с открытием? Я только что попробовал, ничего из этого не работает. Или я что-то упустил?
Константин
20

Я бы второй, используя нос. Теперь встроены базовые отчеты XML. Просто используйте параметр командной строки --with-xunit, и он создаст файл nosetests.xml. Например:

тесты носа

Затем добавьте действие посткомпоновки «Опубликовать отчет о результатах теста JUnit» и заполните поле «XML отчета о тестировании» с помощью nosetests.xml (при условии, что вы запускали тесты в $ WORKSPACE).

Джошуа Д. Бойд
источник
11

Вы можете установить пакет unittest-xml-reports, чтобы добавить тестовый прогон, который генерирует XML для встроенного unittest.

Мы используем pytest , в который встроен вывод XML (это опция командной строки).

В любом случае, выполнение модульных тестов может быть выполнено с помощью команды оболочки.

Дэйв Бачер
источник
4

Я использовал тесты на носу. Есть дополнения для вывода XML для Jenkins

Джон Ла Рой
источник
3

При использовании buildout, который мы используем collective.xmltestreportдля создания XML-вывода в стиле JUnit, возможно, его исходный код или сам модуль могут помочь.

Мартейн Питерс
источник
2 
python -m pytest --junit-xml=pytest_unit.xml source_directory/test/unit || true # tests may fail

Запустите это как оболочку от jenkins, вы можете получить отчет в pytest_unit.xml как артефакт.

Раджиб Митра
источник