Генеративные и дискриминационные модели (в байесовском контексте)

Каковы различия между порождающими и дискриминационными (дискриминантными) моделями (в контексте байесовского обучения и умозаключений)?

и какое это имеет отношение к предсказанию, теории принятия решений или обучению без учителя?

$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

$(y)$$p(x|y)$

Могут быть случаи, когда одна модель лучше другой (например, дискриминационные модели обычно имеют тенденцию работать лучше, если у вас много данных; генеративные модели могут быть лучше, если у вас есть некоторые дополнительные немеченые данные). На самом деле, существуют модели гибридов, которые пытаются привнести лучшее из обоих миров. См. Этот документ для примера: принципиальные гибриды порождающих и дискриминационных моделей

Одно дополнение к ответу выше:

Поскольку дискриминант заботится только о P (Y | X), в то время как порождающий заботится о P (X, Y) и P (X) одновременно, чтобы хорошо предсказать P (Y | X), порождающая модель имеет меньшую степень свободы в модели по сравнению с дискриминантной моделью. Таким образом, порождающая модель более устойчива , менее подвержена переоснащению, а дискриминант - наоборот.

Это объясняет приведенный выше ответ

Могут быть случаи, когда одна модель лучше другой (например, дискриминационные модели обычно имеют тенденцию работать лучше, если у вас много данных; генеративные модели могут быть лучше, если у вас есть некоторые дополнительные немеченые данные).