Как вы управляете ожиданиями на работе?

Несмотря на все шумихи вокруг науки о данных, машинного обучения и истории успеха, существует много как оправданных, так и завышенных ожиданий от ученых-исследователей и их прогностических моделей.

Мой вопрос к практикующим статистикам, специалистам по машинному обучению и специалистам по данным - как вы управляете ожиданиями деловых людей в вашей компании, особенно в том, что касается точности прогнозирования моделей? Проще говоря, если ваша лучшая модель может достичь точности только 90%, а высшее руководство ожидает не менее 99%, как вы справляетесь с подобными ситуациями?

Рациональные деловые люди не платят за точность, они платят либо

• сэкономить деньги на прибыльном процессе (тем самым делая его более прибыльным), или путем
• создание новых денег (создание новых прибыльных процессов).

Таким образом, любой реализуемый проект должен быть сформулирован в терминах, отражающих это. Первым шагом всегда является понимание того, над каким из двух процессов вы работаете, и вы должны иметь четкое представление о том, как этого можно достичь, помня о том, что по мере вашего продвижения детали того, как вы это делаете, могут измениться.

Если вы сможете повысить точность процесса, вы, вероятно, сможете заработать деньги для фирмы, а деловые люди будут инвестировать в ваш прогресс. Единственная разумная причина, по которой деловые люди могут настаивать на точности 99 процентов и отвергать 90 процентов, - это если у них уже был способ сделать это лучше, чем 90 процентов. Если это так, они, конечно, оправданы в своей позиции.

Понимание и представление экономического обоснования проектов, над которыми вы работаете, в терминах, которые понимают деловые люди, является частью процесса созревания любого инженера. Он вообще не уникален для Data Science, хотя Data Science имеет некоторые уникальные аспекты (такие как более низкая зрелость, но более высокая вероятность обнаружения случайных случайностей - по крайней мере, в современной среде.

Соответствующий процесс, близкий к Data Science, который делает этот шаг явным, можно найти здесь: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

Но большинство структур архитектуры предприятия применимы аналогичным образом.

Соберите конкурентоспособных аналогов. Попробуйте определить современное состояние и посмотрите, как ваши модели сравниваются с этим. Это также сильно зависит от того, как долго ваша команда работает над этим. Научно-ориентированные модели не создаются статически, они развиваются динамически, потому что хороший ученый всегда будет пытаться найти способы улучшить его.

Верхние управления персоналом должны знать , что данные ученый исследует новые методы, иногда / часто не зная их качества. Они должны знать, что методы машинного обучения не сразу дают идеальные модели. Если они это сделают, это не будет проблемой в любом случае.

Специалист по данным должен быть оценен тем, как он оправдывает и обсуждает свои результаты и как он планирует будущее. Способ, которым руководящий персонал справляется со своими ожиданиями, состоит в том, чтобы не иметь нереально высоких.

Тем не менее, если в области контекста ожидаются разумные результаты, подумайте над этими вопросами:

1. Стали ли результаты улучшаться с течением времени?
2. Будущие ожидания положительны?
3. Насколько хороши результаты по сравнению с аналогичными системами (от конкурентов)?

Мне нравится этот вопрос, потому что он касается политики, которая существует в каждой организации. На мой взгляд, и в значительной степени ожидания в отношении эффективности модели зависят от культуры организации и степени, в которой организация «технически грамотна». Один из способов прояснить, что я имею в виду, - рассмотреть различия между 4 крупными объектами «науки о данных» - Google, FB, Amazon и Yahoo - по сравнению с 4 крупными холдинговыми структурами - WPP, Omnicon, Interbrand и Publicis. Google и др. Очень технически грамотны. Агентства, с другой стороны, как известно, склоняются к технической фобии. Что является доказательством этого? Прежде всего, технически грамотная группа была основана или управляется инженерами, специалистами по компьютерам, фанатами и людьми с сильным техническим опытом. Кто управляет техническими неграмотными компаниями? Маркетологи, которые достигли известности благодаря их мягкому общению и человеческим навыкам. И не только потому, что, работая в некоторых из этих магазинов в Нью-Йорке, я могу засвидетельствовать, что эти организации систематически наказывают и / или вытесняют высокотехнологичные грамотные типы, которые не соответствуют культуре. Далее, рассмотрим их совокупные (фондовые) рыночные ограничения. Группа технико-грамотных людей добавляет до 800 миллиардов долларов, а группа неграмотных в сфере технологий - 80 миллиардов. Технологически грамотные предприятия в 10 раз больше, чем другие в рыночной капитализации. Это четкое утверждение ожиданий рынка, и оно невелико для неграмотных. Итак, с помощью экстраполяции, какую надежду вы можете иметь для того, чтобы бросить вызов ожиданиям «предсказательной точности» таких бозо? Работая в некоторых из этих магазинов в Нью-Йорке, я могу засвидетельствовать, что эти организации систематически наказывают и / или вытесняют высоко технически грамотные типы, которые не соответствуют культуре. Далее, рассмотрим их совокупные (фондовые) рыночные ограничения. Группа технико-грамотных людей добавляет до 800 миллиардов долларов, а группа неграмотных в сфере технологий - 80 миллиардов. Технологически грамотные предприятия в 10 раз больше, чем другие в рыночной капитализации. Это четкое утверждение ожиданий рынка, и оно невелико для неграмотных. Итак, с помощью экстраполяции, какую надежду вы можете иметь для того, чтобы бросить вызов ожиданиям «предсказательной точности» таких бозо? Работая в некоторых из этих магазинов в Нью-Йорке, я могу засвидетельствовать, что эти организации систематически наказывают и / или вытесняют высоко технически грамотные типы, которые не соответствуют культуре. Далее, рассмотрим их совокупные (фондовые) рыночные ограничения. Группа технико-грамотных людей добавляет до 800 миллиардов долларов, а группа неграмотных в сфере технологий - 80 миллиардов. Технологически грамотные предприятия в 10 раз больше, чем другие в рыночной капитализации. Это четкое утверждение ожиданий рынка, и оно невелико для неграмотных. Итак, с помощью экстраполяции, какую надежду вы можете иметь для того, чтобы бросить вызов ожиданиям «предсказательной точности» таких бозо? Если учесть их совокупные (фондовые) рыночные ограничения, техническая грамотная группа составляет около 800 миллиардов долларов, а техническая неграмотная - 80 миллиардов. Технологически грамотные предприятия в 10 раз больше, чем другие в рыночной капитализации. Это четкое утверждение ожиданий рынка, и оно невелико для неграмотных. Итак, с помощью экстраполяции, какую надежду вы можете иметь для того, чтобы бросить вызов ожиданиям «предсказательной точности» таких бозо? Если учесть их совокупные (фондовые) рыночные ограничения, техническая грамотная группа составляет около 800 миллиардов долларов, а техническая неграмотная - 80 миллиардов. Технологически грамотные предприятия в 10 раз больше, чем другие в рыночной капитализации. Это четкое утверждение ожиданий рынка, и оно невелико для неграмотных. Итак, с помощью экстраполяции, какую надежду вы можете иметь для того, чтобы бросить вызов ожиданиям «предсказательной точности» таких бозо?

Таким образом, учитывая этот культурный прорыв и в зависимости от того, где вы упали, у вас должны быть более или менее реалистичные ожидания. Конечно, в разных «неграмотных» организациях будут менеджеры, которые знают, что делают, но по большей части в этих объектах преобладает идиотизм наименьшего общего знаменателя технических навыков, то есть людей, которые в лучшем случае являются техническими полуграмотные (и опасные) или, чаще, совершенно неисчислимые, но не знают этого. Например, я работал на парня, который хотел, чтобы слова типа «корреляция» были вычеркнуты из колоды c-suite. Это крайний случай: в конце концов, каждый секретарь знает, что такое «корреляция».

Это поднимает вопрос о том, как справляться с безумно наивным и неисчислимым числом, когда они задают действительно тупой вопрос, такой как: «Почему вы не получаете 99% -ную точность предсказания?» Один хороший ответ - ответить на вопрос типа: «Почему вы предполагаете, что такой нереально высокий ПА даже возможен?» Другой может быть: «Потому что, если бы я на самом деле получил 99% ПА, я бы предположил, что я делаю что-то не так». Что весьма вероятно, чтобы быть правдой, даже с 90% ПА.

Существует более фундаментальный вопрос о настойчивости в отношении PA как единственного критерия ценности модели. Покойный Лео Брейман оставил много следов в сообществе статистического и прогностического моделирования, одним из которых является PA. Его основной задачей в PA было рассмотрение многих критических замечаний, высказанных в 90-х годах в отношении нестабильности и ошибок, присущих запуску одного дерева CART. Его решение состояло в том, чтобы мотивировать «случайные леса» как приблизительный и временный метод, который позволил бы максимально повысить точность и уменьшить нестабильность за счет устранения древовидной структуры. Он сравнил более низкое значение MSE из ~ 1000 итеративных «мини-моделей» RF с ошибкой из одной модели логистической регрессии. Единственная проблема заключалась в том, что он никогда не удосужился упомянуть сравнение вопиющих яблок с апельсинами:

Приз Netflix 2008 года предложил значительное денежное вознаграждение любому статистику или команде, способной улучшить MSE своей системы рекомендаций. В то время Netflix тратил 150 миллионов долларов в год на эту систему, убежденный, что затраты были более чем возмещены за счет лояльности клиентов и покупки фильмов, которые иначе никогда бы не были выбраны. Возможные победители использовали сложный ансамбль из 107 различных моделей.

Однако, как выяснил Netflix, реальная проблема заключалась в том, что с точки зрения полностью загруженных затрат фактическое улучшение погрешности по сравнению с их текущей моделью составило всего лишь 0,005% -ное снижение рейтинга на 5 баллов. Не говоря уже о том, что ИТ-затраты во времени, тяжелые работы и обслуживание победившего ансамбля из 107 моделей более чем сводят на нет любые выгоды от уменьшения ошибок. Учитывая это, Netflix в конечном итоге отказался от погони за MSE, и больше не было присуждено никаких призов Netflix.

И в этом суть: минимизация ошибки прогнозирования может быть легко подстроена или взломана и подвержена мошенничеству аналитика (то есть, найти решение, которое прославляет навыки моделирования аналитика, положительно влияя на его потенциальный бонус на конец года). Более того, это полностью статистическое решение и цель, поставленные в экономическом и деловом вакууме. Метрика практически не учитывает вспомогательные, сопутствующие расходы - очень реальные операционные последствия, оцениваемые от А до Я, которые должны быть неотъемлемой частью любого полностью загруженного процесса принятия решений, основанного на компромиссе.

Это стало одной из тех проблем, которая заложена в организациях и которую очень, очень трудно изменить. Другими словами, я полностью осознаю, что я склоняюсь к ветряным мельницам с этими разговорами о предостережениях с использованием PA.