Я слышал следующее выражение раньше:
«Оптимизация - корень зла в статистике».
Например, верхний ответ в этой теме делает это утверждение в связи с опасностью слишком агрессивной оптимизации во время выбора модели.
Мой первый вопрос заключается в следующем: относится ли эта цитата к какому-либо конкретному лицу? (например, в статистической литературе)
Из того, что я понимаю, в заявлении говорится о рисках переоснащения. Традиционная мудрость гласит, что правильная перекрестная проверка уже борется с этой проблемой, но, похоже, в этой проблеме есть нечто большее.
Должны ли статистики и специалисты по ОД опасаться чрезмерной оптимизации своих моделей даже при соблюдении строгих протоколов перекрестной проверки (например, 100-кратное 10-кратное резюме)? Если так, как мы узнаем, когда прекратить искать «лучшую» модель?
источник
Ответы:
Цитата является перефразировкой цитаты Дональда Кнута , которую он сам приписал Хоару. Три выдержки из приведенной выше страницы:
Не знаю, согласен ли я со статистическим перефразированием *. В статистике много «зла», которое не имеет отношения к оптимизации.
Я думаю, что критически важно полностью понять (или настолько полно, насколько это возможно) свойства тех процедур, которые вы выполняете.
источник
Несколько способов анализа предложения (в статистике) при условии, что оптимизация относится к (управляемому данными) выбору модели:
источник