Вопрос о компромиссном отклонении и способах оптимизации

Поэтому мне было интересно, как, например, лучше всего оптимизировать модель, которую они пытаются построить, когда сталкиваются с проблемами, вызванными большим смещением или высокой дисперсией. Теперь, конечно, вы можете поиграть с параметром регуляризации, чтобы достичь удовлетворительной цели, но мне было интересно, возможно ли это сделать, не полагаясь на регуляризацию.

Если b - это оценка смещения модели, а v - ее дисперсия, не имеет ли смысла пытаться минимизировать b * v?

Существует множество способов минимизировать отклонения и отклонения, и, несмотря на популярное изречение, это не всегда компромисс.

Двумя основными причинами высокого смещения являются недостаточная вместимость модели и недостаточное оснащение, поскольку фаза обучения не была завершена. Например, если вам нужно решить очень сложную задачу (например, распознавание изображений), и вы используете модель с низкой пропускной способностью (например, линейная регрессия), эта модель будет иметь высокий уклон в результате того, что модель не в состоянии понять сложность проблема.

Основной причиной высокой дисперсии является переоснащение на тренировочном наборе.

При этом существуют способы уменьшения как смещения, так и дисперсии на модели ML. Например, самый простой способ добиться этого - получить больше данных (в некоторых случаях даже синтетические данные помогают).

На практике мы склонны делать следующее:

• Во-первых, мы увеличиваем пропускную способность модели, чтобы максимально уменьшить дисперсию тренировочного набора. Другими словами, мы хотим сделать модель более подходящей (даже потерять 0 на тренировочном наборе). Это сделано потому, что мы хотим убедиться, что модель обладает достаточной способностью понимать данные.

• Затем мы пытаемся уменьшить смещение . Это делается с помощью регуляризации ( досрочная остановка , нормальные штрафы , отсева и т. Д.)