Какие ключевые показатели эффективности (KPI) используются для измерения DevOps?

Я пытаюсь привнести хорошее поведение в программу трансформации DevOps, чтобы поддержать это, я смотрю на определение действенных метрик вокруг дисциплин операций:

• Управление проблемами и инцидентами
• Управление мощностями
• Управление изменениями и выпусками

Чтобы было абсолютно ясно, это функции, которые раньше принадлежали операционной организации и теперь принадлежат организации Agile / DevOps. Существуют ключевые показатели эффективности, которые определяют плохое поведение:

• Время до первопричины Анализ завершен:
  • Управляет неполными RCA только для того, чтобы вовремя ввести их в систему.
• Продолжительность выполнения теста:
  • Отключает длительные тесты, независимо от их бизнес-ценности.
• Среднее использование облачных сервисов:
  • Способствует чрезмерному выделению вычислительных ресурсов, что приводит к снижению времени отклика

Какие ключевые показатели эффективности можно использовать для поощрения хорошего поведения в программе DevOps?

Я не думаю, что есть какие-либо "универсальные" KPI DevOps. Например, скорость отличная, если только она не является ключевым фактором для вашего бизнеса. Amazon очень заботится о скорости, потому что у них массовая розничная торговля. Это менее важно для небольшого приложения с 100 пользователями.

Возникает вопрос: как вы выбрать лучшие ключевые показатели эффективности , имеющие отношение к вашему бизнесу? Это процесс исследований и открытий, который затрагивает все ваше предприятие.

Что тебя волнует?

• Качество
• надежность
• Ремонтопригодность
• Скорость
• Совершенствование процессов
• Уровни обслуживания

Что поддерживает ваши заинтересованные стороны ночью? Что определяет, заработаете ли вы деньги в этом квартале или нет? Приведенный выше список может включать некоторые из этих вещей, а может и нет. Составьте свой список, а затем выясните, как согласовать стимулы в каждом отделе для их достижения.

Стимулы определяют поведение, поэтому совместно выбирайте цели SMART. Выберите два или три предмета из списка «мозгового штурма» и начните цикл оценки / исправления для каждого. Не выбирайте слишком много сразу - вы, скорее всего, добьетесь успеха, сосредоточившись на двух или трех вещах.

DevOps не имеет KPI . Это все равно, что спросить, что такое KPI Любви. Но некоторые из вещей, которые вы упомянули ( Управление проблемами и инцидентами , Управление мощностями , управление изменениями и Release ) есть хороший KPI, некоторые из которых основаны на теории за DevOps.

В целом, для любого бизнес-процесса вы можете создать карту цепочки создания стоимости, описывающую, как стоимость течет от клиента через предприятие обратно к клиенту . Весь цикл всегда должен начинаться и заканчиваться Заказчиком, но иногда для сервисной организации Заказчик может быть внутренним. Пропускная способность стоимости через такую цепь может быть хорошим способом , чтобы создать свой KPI в противовзломных образом. Измерение любого KPI в любом отдельном звене цепочки создания стоимости имеет смысл только до тех пор, пока это конкретное звено является узким местом процесса, а вы пытаетесь использовать или устранить узкое место.

Общая проблема с KPI - это когда он начинается на полпути через цепочку. Например, процесс изменения и выпуска часто начинается с разработчиков и заканчивается развертыванием. Этот процесс исключен:

• Клиент, имеющий проблему
• Служба поддержки выявляет проблемы
• Команда разработчиков, определяющая проблему для отставания
• Команда разработчиков настраивает развертывание для клиента
• Клиент осознает ценность решения

Проблема в том, что измерение только одного цикла может привести к двум основным проблемам:

1. Узкое место находится в любой из исключенных частей, упомянутых выше, и ваши клиенты не осознают ценность, а вы не получаете доход, пропорциональный скорости вашего цикла. Так что, в то время как ваши инженерные разработки превосходны, ваш бизнес страдает

2. Отключение от Клиентов сделает ваш цикл релиза пустым - не приносящим никакой пользы, несмотря на вносимые изменения - или даже противоречит потребностям ваших Клиентов, и выполняемая работа может иметь отрицательную деловую ценность.

Другая проблема, связанная с KPI, заключается в том, что, начиная с клиента и заканчивая им, он может фактически не измерять ценность для клиента. Хорошим примером может служить процесс реагирования на проблему и инцидент, а также MTTR (среднее время восстановления) в качестве KPI. Проблема вообще ни на кого не влияет? Какова ценность для клиентов? Вы могли бы иметь отличную MTTR 3 часа более 100 инцидентов. Но если большинство из них были внутренними, без какого-либо или минимального воздействия на клиентов и разрешались в считанные минуты, в то время как один крупный инцидент с огромным влиянием на клиентов занимал 3 дня, ценность для бизнеса была бы ниже, чем если бы у вас был 1-дневный MTTR, потому что вы игнорируйте большинство внутренних инцидентов, но вы отреагировали на огромный инцидент, связанный с влиянием клиентов, в течение 1 часа.

ПРИМЕЧАНИЕ. Для внутреннего клиента в случае бизнес-процесса группы поддержки производное значение - это не стоимость работы для внутреннего клиента, а ценность, полученная бизнесом при разблокировании внутреннего клиента в его собственном бизнес-процессе. Разблокировка команды, которая является узким местом в их собственном процессе, приносит большую ценность, чем разблокировка команды, не являющейся узким местом, или отдельного человека. Все KPI такой группы поддержки должны включать стоимость бизнеса в свои расчеты.

1. Частота развертывания
2. Скорость развертывания
3. Коэффициент успешности развертывания
4. Как быстро можно восстановить службу после неудачного развертывания
   И, наконец,
5. DevOps Культура, которая на самом деле не может быть измерена