Почему экспоненциальное семейство не включает все распределения?

Я читаю книгу:

Епископ, Распознавание образов и машинное обучение (2006)

который определяет экспоненциальное семейство как распределения вида (уравнение 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Но я не вижу никаких ограничений на или . Не означает ли это, что любое распределение может быть помещено в эту форму путем соответствующего выбора и (на самом деле только один из них должен быть выбран правильно!)? Так почему же экспоненциальное семейство не включает в себя все вероятностные распределения? Чего мне не хватает? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Наконец, меня интересует более конкретный вопрос: находится ли распределение Бернулли в экспоненциальном семействе ? Википедия утверждает, что так оно и есть, но, поскольку я, очевидно, что-то здесь смущен, мне хотелось бы понять почему.

mathematical-statistics exponential-family becko
источник

чтобы доказать, что распределение Бернулли принадлежит к экспоненциальному семейству, попробуйте использовать тот факт, что и посмотрите, куда это вас

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$

приведет

Просто чтобы уточнить, вы спрашиваете, можно ли написать какой-либо дистрибутив в этой форме, или можно ли в этой форме написать какой-либо дистрибутив? Вы, кажется, получили ответы на последний вопрос.

Оуэн

@ Да, теперь я вижу, что это решающий момент. Хотя любое распределение может быть записано в этой форме (путем соответствующей установки

), это не означает, что любое семейство может быть записано в этой форме.

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

Бекко

@becko, это точно. Выражение в тексте «экспоненциальная семья» несколько вводит в заблуждение, потому что не существует только одной экспоненциальной семьи; скорее каждый выбор порождает семью. Многие авторы вместо этого говорят «экспоненциальная семья», делая это более ясным; например, см. страницу Википедии: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

Брент Керби,

@becko Я думаю, что ваш аргумент показывает, что любое данное распределение может быть одним членом экспоненциального семейства, но не то, что любое семейство распределений может быть экспоненциальным семейством.

Мэтью Друри

Ответы:

Ну, одно из следствий вашего определения: является то , что поддержка семьи распределения индексируются параметра не зависит от . (Поддержка распределения вероятностей - это (закрытие) наименьшее множество с вероятностью один, или, другими словами, где живет распределение

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$ .) Таким образом, достаточно привести контрпример семейства распределений с поддержкой в зависимости от параметра. Наиболее простым примером является следующее семейство равномерных распределений:

. (другой ответ @Chaconne дает более сложный контрпример).

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$

Къетил б Халворсен
источник

Рассмотрим нецентральное распределение Лапласа

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

Если вы не сможете написать как внутреннее произведение между и некоторой функцией от . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

Экспоненциальное семейство включает подавляющее большинство хороших именованных дистрибутивов, с которыми мы обычно сталкиваемся, поэтому на первый взгляд может показаться, что в нем есть все, что интересует, но это ни в коем случае не является исчерпывающим.

JLD
источник