Что такое покрытие кода и как ВЫ его измеряете?

276

Что такое покрытие кода и как ВЫ его измеряете?

Мне задали этот вопрос относительно нашего автоматизированного покрытия кода тестирования. Похоже, что вне автоматизированных инструментов это больше искусство, чем наука. Есть ли реальные примеры использования покрытия кода?

Брайан Дж.
источник

Ответы:

243

Покрытие кода - это измерение того, сколько строк / блоков / дуг вашего кода выполнено во время выполнения автоматических тестов.

Покрытие кода осуществляется с помощью специализированного инструмента, позволяющего двоичным инструментам добавлять трассировочные вызовы и запускать полный набор автоматических тестов для инструментального продукта. Хороший инструмент даст вам не только процент выполненного кода, но также позволит вам углубиться в данные и точно определить, какие строки кода были выполнены во время определенного теста.

Наша команда использует Magellan - собственный набор инструментов для покрытия кода. Если вы магазин .NET, Visual Studio имеет встроенные инструменты для сбора покрытия кода. Вы также можете свернуть некоторые пользовательские инструменты, как описано в этой статье .

Если вы магазин C ++, у Intel есть некоторые инструменты, которые работают для Windows и Linux, хотя я ими не пользовался. Я также слышал, что есть инструмент gcov для GCC, но я ничего о нем не знаю и не могу дать вам ссылку.

Что касается того, как мы его используем - покрытие кода является одним из критериев выхода для каждого этапа. На самом деле у нас есть три метрики покрытия кода - покрытие из юнит-тестов (от команды разработчиков), сценариев (от команды тестирования) и комбинированное покрытие.

Кстати, хотя охват кода является хорошим показателем того, сколько тестов вы проводите, это не обязательно хороший показатель того, насколько хорошо вы тестируете свой продукт. Есть другие метрики, которые вы должны использовать вместе с охватом кода, чтобы гарантировать качество.

Франси Пенов
источник
42
«Есть другие метрики, которые вы должны использовать вместе с охватом кода, чтобы гарантировать качество». Не могли бы вы сказать, что это за другие показатели?
Солдаты
Вы также можете использовать Testwell CTC ++ , это довольно полный инструмент покрытия кода для C, C ++, C # и Java
B_PRIEUR
1
@Abdul Когда вы измеряете покрытие кода, вы должны выполнять оба вида тестов и измерять покрытие кода для них отдельно. Что касается «дуг кода» - это ветви выполнения кода, например if / then.
Франси Пенов
1
@ Maverick Большинство людей предполагают модульное тестирование, когда они говорят о покрытии кода, однако в Microsoft мы измеряли покрытие кода как с помощью модульных тестов, так и интеграционного тестирования.
Франци Пенов
1
@darth_coder вообще ничего. Приложение также не будет автоматически оснащено инструментами, и, если нет ничего, что собирает данные инструментов, присутствие нового приложения не имеет значения. Единственный случай, когда это может повлиять на ситуацию, - это если приложение запускается одновременно с выполнением автоматизированных тестов и приводит к тому, что инструментированный код ОС запускается в том же процессе, что и автоматизация тестирования, тем самым потенциально показывая некоторый код ОС, который выполняется не тронут тестами.
Франци Пенов,
190

Покрытие кода в основном проверяет, какая часть вашего кода покрыта тестами. Таким образом, если у вас 90% покрытия кода, это означает, что 10% кода не покрыто тестами. Я знаю, что вы можете подумать, что 90% кода покрыты, но вы должны смотреть под другим углом. Что мешает вам получить 100% покрытие кода?

Хороший пример будет таким:

if(customer.IsOldCustomer()) 
{
}
else 
{
}

Теперь в приведенном выше коде есть два пути / ветви. Если вы всегда нажимаете на ветку «ДА», то вы не покрываете другую часть, и это будет показано в результатах покрытия кода. Это хорошо, потому что теперь вы знаете, что на это не распространяется, и вы можете написать тест, чтобы охватить остальную часть. Если не было никакого покрытия кода, то вы просто сидите на бомбе замедленного действия, чтобы взорваться.

NCover - хороший инструмент для измерения покрытия кода.

azamsharp
источник
5
Лучший ответ почти 10 лет назад! Черт! :)
Никос
4
Простой и значимый ответ :)
Парвин
Да. Единственный, который имел смысл. Хотя я даже не удосужился продолжить прокрутку вниз. Это где я остановился. Отмеченный.
TheRealChx101
64

Просто помните, что «100% покрытие кода» не означает, что все тестируется полностью - хотя это означает, что тестируется каждая строка кода, это не означает, что они тестируются в каждой (общей) ситуации.

Я бы использовал покрытие кода, чтобы выделить биты кода, для которых я, вероятно, должен написать тесты. Например, если какой-либо инструмент покрытия кода показывает, что myImportantFunction () не выполняется во время выполнения моих текущих модульных тестов, их, вероятно, следует улучшить.

По сути, 100% покрытие кода не означает, что ваш код совершенен. Используйте это как руководство, чтобы написать более всесторонние (модульные) тесты.

DBR
источник
1
- «100% покрытие кода» не означает, что все проверено полностью - хотя это означает, что тестируется каждая строка кода, это не значит, что они проверяются в каждой (общей) ситуации ..- »под каждой (общей) ситуация "это в отношении ввода данных и параметров? Мне трудно понять, почему, если все проверено, это не равнозначно тому, чтобы быть проверенным полностью.
Абдул
20
То, что каждая строка вашего кода выполняется в какой-то момент в ваших тестах, не означает, что вы протестировали все возможные сценарии, в которых может выполняться код. Если у вас только что была функция, которая брала xи возвращала, x/xи вы запустили тест, используя my_func (2), у вас было бы 100% покрытие (так как код функции был бы выполнен), но вы пропустили огромную проблему, когда 0 является параметром. Т.е. вы не проверили все необходимые сценарии даже при 100% покрытии.
Стив
Можете ли вы взглянуть на эту ситуацию, когда модульные тесты написаны не для всех методов. Будет ли охват кода еще 100%. stackoverflow.com/questions/43395968/…
Сачин Кумар
52

Дополняя несколько пунктов ко многим из предыдущих ответов:

Покрытие кода означает, насколько хорошо ваш тестовый набор покрывает ваш исходный код. т.е. в какой степени исходный код охватывается набором тестовых случаев.

Как упоминалось в ответах выше, существуют различные критерии покрытия, такие как пути, условия, функции, операторы и т. Д.

  1. Охват условий: все логические выражения должны оцениваться как true и false.
  2. Охват решения: не только логические выражения, которые должны быть вычислены для истинного и ложного значений один раз, но и для охвата всего последующего тела if-elseif-else.
  3. Охват цикла: означает, что каждый возможный цикл был выполнен один раз, более одного раза и ноль раз. Кроме того, если у нас есть предположение о максимальном пределе, тогда, если это возможно, протестируйте максимальное предельное время и на единицу больше максимального предельного времени.
  4. Охват входа и выхода: Проверьте все возможные вызовы и их возвращаемое значение.
  5. Значение параметра Покрытие (ПВХ). Проверить, проверены ли все возможные значения параметра. Например, строка может быть любой из этих обычно: а) ноль, б) пусто, в) пробел (пробел, табуляции, новая строка), г) допустимая строка, д) недопустимая строка, е) однобайтовая строка, г ) двухбайтовая строка. Неспособность проверить каждое возможное значение параметра может оставить ошибку. Тестирование только одного из них может привести к 100% охвату кода при покрытии каждой строки, но поскольку тестируется только один из семи вариантов, это означает, что охват значения параметра составляет только 14,2%.
  6. Охват наследования: в случае объектно-ориентированного источника при возврате производного объекта, на который ссылается базовый класс, должно быть проверено покрытие для оценки, если возвращен родственный объект.

Примечание: Статический анализ кода обнаружит, есть ли какой-либо недоступный код или зависший код, то есть код, не охваченный каким-либо другим вызовом функции. А также другое статическое покрытие. Даже если статический анализ кода сообщает, что код покрыт на 100%, он не дает отчетов о вашем наборе тестирования, если проверено все возможное покрытие кода.

Chand51
источник
2
Хорошее дополнение здесь к другим ответам
HDave
15

Покрытие кода было хорошо объяснено в предыдущих ответах. Так что это скорее ответ на вторую часть вопроса.

Мы использовали три инструмента для определения покрытия кода.

  1. JTest - проприетарный инструмент, созданный на основе JUnit. (Он также генерирует юнит-тесты.)
  2. Cobertura - инструмент с открытым исходным кодом, который можно легко сочетать с тестами JUnit для создания отчетов.
  3. Эмма - другая - эта, которую мы использовали для немного другой цели, чем юнит-тестирование. Он использовался для создания отчетов о покрытии, когда конечный пользователь обращается к веб-приложению. Это в сочетании с инструментами веб-тестирования (например, Canoo) может дать вам очень полезные отчеты о покрытии, которые сообщают вам, сколько кода покрывается во время типичного использования конечным пользователем.

Мы используем эти инструменты для

  • Прочтите, что разработчики написали хорошие юнит-тесты
  • Убедитесь, что весь код обойден во время тестирования черного ящика
Вивек Кодира
источник
6

Покрытие кода - это просто мера проверяемого кода. Существует множество критериев охвата, которые можно измерить, но обычно это различные пути, условия, функции и операторы в программе, которые составляют общий охват. Метрика покрытия кода - это просто процент тестов, которые выполняют каждый из этих критериев покрытия.

Что касается отслеживания охвата модульных тестов в моих проектах, я использую инструменты статического анализа кода для отслеживания.

SaaS Developer
источник
5

Для Perl есть отличный модуль Devel :: Cover, который я регулярно использую в своих модулях.

Если сборкой и установкой управляет Module :: Build, вы можете просто запустить ./Build testcoverхороший HTML-сайт, который сообщает вам покрытие для каждой подпрограммы, строки и условия, с красивыми цветами, позволяющими легко увидеть, какой путь к коду не был пройден.

Moritz
источник
1

В предыдущих ответах кодовое покрытие было хорошо объяснено. Я просто добавив некоторые знания , связанные с инструментами , если ваш работают над iOSи OSXплатформы, Xcode обеспечивает возможность охвата тестирования и мониторинга кода.

Ссылки Ссылки:

https://developer.apple.com/library/archive/documentation/DeveloperTools/Conceptual/testing_with_xcode/chapters/07-code_coverage.html

https://medium.com/zendesk-engineering/code-coverage-and-xcode-6b2fb8756a51

Обе полезные ссылки для изучения и изучения покрытия кода с Xcode.

taha027
источник