Что такого крутого в теореме о представлении де Финетти?

Из теории статистики Марка Дж. Шервиша (стр. 12):

Хотя теорема ДеФинетти о представлении 1.49 является центральной для мотивации параметрических моделей, она фактически не используется в их реализации.

Как теорема является центральной в параметрических моделях?

probability modeling mathematical-statistics parametric gui11aume
источник

Я думаю, что это главное в байесовских моделях. Я только что обсуждал это с синглтоном. Это значение в байесовской статистике игнорируется, за исключением тех байесов, которые были последователями деФинетти. Смотрите эту ссылку на Диакониса и Фридмана с 1980 года

Майкл Черник

@cardinal: страница 12 (я обновил вопрос).

gui11aume

Обратите внимание, что Шервиш сказал «... центральное место в параметрических моделях ...».

motivating

$\textbf{motivating}$

Дзен

Я часто задавался вопросом, какая часть представления является «реальной» и сколько основано на конкретных интерпретациях теоремы. Его можно так же легко использовать для описания предыдущего распределения, как и для описания модели.

вероятностная

Ответы:

Теорема о представлении де Финетти в рамках субъективистской интерпретации вероятностей дает единый смысл статистических моделей и значения параметров и их предыдущих распределений.

Предположим, что случайные величины представляют результаты последовательных бросков монеты, значения и соответствуют результатам «Головки» и «Хвосты» соответственно. Анализируя в контексте субъективистской интерпретации исчисления вероятности значение обычной частотной модели, согласно которой независимы и одинаково распределены, Де Финетти заметил, что условие независимости подразумевает, например, что и, следовательно, результаты первого броски не изменили бы мою неуверенность относительно результата $X_1,\dots,X_n$ $1$ $0$ $X_i$

P {X_{n} = x_{n} ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = P {X_{n} = x_{n}},

$P\{X_n=x_n\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = P\{X_n=x_n\} \, ,$

n - 1

$n-1$

n

$n$ -й бросок Например, если я верю том, что это сбалансированная монета, то после получения информации о том, что первые бросков оказались «головами», я бы все же полагал, условно на эту информацию, что Вероятность получения «Головки» на броске 1000 равна . По сути, гипотеза о независимости подразумевает, что невозможно ничего узнать о монете, наблюдая за результатами ее бросков.

a priori

$\textit{a priori}$

999

$999$

1 / 2

$1/2$

X_{i}

$X_i$

Это наблюдение привело Де Финетти к введению условия, более слабого, чем независимость, которое разрешает это очевидное противоречие. Ключом к решению Де Финетти является своего рода распределительная симметрия, известная как взаимозаменяемость.

$\textbf{Definition.}$ Для заданного конечного набора случайных объектов пусть обозначает их совместное распределение. Этот конечный набор можно заменить, если , для каждой перестановки . Последовательность случайных объектов является заменяемой, если каждое из ее конечных подмножеств является взаимозаменяемым. $\{X_i\}_{i=1}^n$ $\mu_{X_1,\dots,X_n}$ $\mu_{X_1,\dots,X_n} = \mu_{X_{\pi(1)},\dots,X_{\pi(n)}}$ $\pi:\{1,\dots,n\}\to\{1,\dots,n\}$ $\{X_i\}_{i=1}^\infty$

Предполагая только, что последовательность случайных величин является взаимозаменяемой, Де Финетти доказал заметную теорему, которая проливает свет на значение широко используемых статистических моделей. В конкретном случае, когда принимают значения и , теорема о представлении Де Финетти говорит, что можно заменить, если и только если есть случайная величина , с распределением , таким, что в котором . Более того, у нас есть это $\{X_i\}_{i=1}^\infty$ $X_i$ $0$ $1$ $\{X_i\}_{i=1}^\infty$ $\Theta:\Omega\to[0,1]$ $\mu_\Theta$

P {X_{1} = x_{1}, \dots, X_{n} = x_{n}} = \int_{[0, 1]} θ^{s} (1 - θ)^{n - s} d μ_{Θ} (θ),

$P\{X_1=x_1,\dots,X_n=x_n\} = \int_{[0,1]} \theta^s(1-\theta)^{n-s}\,d\mu_\Theta(\theta) \, ,$

s = \sum_{i = 1}^{n} x_{i}

$s=\sum_{i=1}^n x_i$

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \to_{n \to \infty}^{} Θ almost surely,

$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow[n\to\infty]{} \Theta \qquad \textrm{almost surely},$ который известен как сильный закон больших чисел де Финетти.

Эта теорема о представлении показывает, как возникают статистические модели в байесовском контексте: согласно гипотезе взаимозаменяемости наблюдаемых , a так что при заданном значении наблюдаемые являются независимыми и одинаково распределенными. Более того, строгий закон де Финетти показывает, что наше предварительное мнение о ненаблюдаемой , представленной распределением , является мнением о пределе , прежде чем мы получим информацию о значениях реализаций. любого из $\{X_i\}_{i=1}^\infty$ $\textbf{there is}$ $\textit{parameter}$ $\Theta$ $\Theta$ $\textit{conditionally}$ $\Theta$ $\mu_\Theta$ $\bar{X}_n$ $X_i$ «S. Параметр играет роль полезной вспомогательной конструкции, которая позволяет нам получать условные вероятности, включающие только наблюдаемые, через отношения типа $\Theta$

P {X_{n} = 1 ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = E [Θ ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}] .

$P\{X_n=1\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = \mathrm{E}\left[\Theta\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\right] \, .$

Zen
источник

Спасибо за этот проницательный ответ! Ваша точка зрения на независимость очень важна, и я понимаю ее впервые.

gui11aume

(«полезный» был лучше :))

Нил Г

Мне трудно понять утверждение "существует параметр так что (учитывая ) iid." Из теоремы о представлении кажется, что все, что мы можем вывести, это то, что . То есть ожидаемое значение истинной плотности совпадает с ожидаемым значением плотности бернулли с параметром . Не могли бы вы уточнить для меня, как мы можем отбросить ожидаемое значение, чтобы сделать утверждение о самой истинной плотности?

Θ

$\Theta$

Θ

$\Theta$

X_{i}

$X_i$

E [θ^{s} (1 - θ)^{s}] = E [P (X_{i} = x_{i} \forall i | θ)]

$E [\theta^s (1-\theta)^s] = E[P(X_i = x_i \, \forall \, i | \theta) ]$

θ

$\theta$

user795305

Подынтегральное выражение - . Поскольку это учитывается как , условно определены с учетом .

Pr {X_{1} = x_{1}, \dots, X_{n} = x_{n} ∣ Θ = θ}

$\Pr\{X_1=x_1,\dots,X_n=x_n\mid\Theta=\theta\}$

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

X_{i}

$X_i$

Θ = θ

$\Theta=\theta$

Дзен

@ Zen Спасибо! Я понимаю первое предложение, однако часть ", поскольку оно учитывается как "мне до сих пор неясно. Откуда ты знаешь, что это так? Кажется, вы отбрасываете ожидаемое значение из идентификатора, который я написал в моем предыдущем комментарии, но я не уверен, насколько это оправдано.

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

user795305

Все математически верно в ответе дзен. Однако я не согласен с некоторыми моментами. Пожалуйста, знайте, что я не утверждаю / не верю, что моя точка зрения - хорошая; напротив, я чувствую, что эти пункты еще не совсем ясны для меня. Это несколько философские вопросы, о которых мне нравится обсуждать (и хорошее упражнение по английскому для меня), и меня также интересуют любые советы.

Что касается примера с «Головами», комментарий Дзен: «Гипотеза независимости подразумевает, что невозможно ничего узнать о монете, наблюдая за результатами ее бросков». Это не так с точки зрения частых: изучение монеты означает изучение « , что возможно путем оценки (точечная оценка или доверительный интервал) « из предыдущих результатов. Если частый наблюдатель наблюдает за «головами», то он / она приходит к выводу, что , вероятно, близко к , и поэтому следовательно. $999$ $X_i$ $\theta$ $\theta$ $999$ $999$ $\theta$ $1$ $\Pr(X_n=1)$
Кстати, что за случайный случай в этом бросающем монету примере ? Вообразив, что каждый из двух человек бесконечно много раз играет в одну и ту же монету, подбрасывает монету, почему они находят разные ? Я имею в виду, что характеристика подбрасывания монеты - это фиксированная которая является общим значением для любого игрока («почти любой игрок» по техническим математическим соображениям). Более конкретным примером, для которого нет интерпретируемой случайной является случайная выборка с заменой в конечной совокупности и . $\Theta$ $\theta = \bar X_\infty$ $\theta$ $\bar X_\infty$ $\Theta$ $0$ $1$
Что касается книги Шервиша и вопроса, поднятого ОП, я думаю (быстро говоря), что Шервиш означает, что обменность - это «крутое» предположение, а затем теорема деФинетти «крута», потому что она говорит, что каждая обменная модель имеет параметрическое представление. Конечно, я полностью согласен. Однако, если я предполагаю заменяемую модель, такую как и тогда мне было бы интересно выполнить вывод о и , а не о реализации . Если меня интересует только реализация тогда я не вижу интереса в предположении об обмене. $(X_i\mid\Theta=\theta)\sim_\text{iid} \text{Bernoulli}(\theta)$ $\Theta \sim \text{Beta}(a,b)$ $a$ $b$ $\Theta$ $\Theta$

Уже поздно...

Стефан Лоран
источник

Привет, Стефан! Спасибо за ваши комментарии к моему ответу. Что вашего первого замечания о том, что , в моем ответе все изложено в байесовском контексте. Нет реальной попытки установить контраст с другими парадигмами логического вывода. Короче говоря, я пытался выразить, что теорема де Финетти означает для меня, как байесовский.

"this is not true from the frequentist perspective"

$\textbf{"this is not true from the frequentist perspective"}$

Дзен

О вашей второй пуле: случайное значение является (как) пределом , как указано в LLN де Финетти. Таким образом, когда некоторые байесовцы говорят, что моим предшественником является , он подразумевает, что это распределение отражает его неопределенность относительно этого предела, прежде чем он получит доступ к данным. Разные байесовцы могут иметь разные приоры, но при подходящих условиях регулярности они будут иметь соглашение о (похожие постеры), так как они получают все больше и больше информации о результатах бросков.

Θ

$\Theta$

{\bar{X}}_{n}

$\bar{X}_n$

Θ

$\Theta$

μ_{Θ}

$\mu_\Theta$

a posteriori

$\textit{a posteriori}$

Θ

$\Theta$

Дзен

Фиксированная, но неизвестная не является байесовской концепцией.

θ

$\theta$

Дзен

О вашей третьей пуле, учитывая: 1) что шервиш - байесовский статистик; 2) количество времени и энергии, которые он тратит на обсуждение взаимозаменяемости в своей книге; Я полагаю, что для него роль теоремы Де Финетти очень глубока, выходя далеко за пределы хладнокровия. Но я согласен, что это очень круто, в любом случае!

Дзен

Чтобы прояснить мою точку зрения: я не верю, что в «базовой» (неиерархической) байесовской модели есть случайная . Существует фиксированная неизвестная , и предыдущий дистрибутив описывает веру в это. Роль случайной величины - просто математическая обработка байесовского вывода, она не имеет никакой интерпретации в эксперименте. Если вы действительно допускаете взаимозаменяемые, но не независимые наблюдения, такие как пример моего третьего пункта, то вы должны поставить гиперприоры на и .

θ

$\theta$

θ

$\theta$

Θ

$\Theta$

a

$a$

b

$b$

Стефан Лоран

Вас, ребята, может заинтересовать статья на эту тему (для доступа требуется подписка на журнал - попробуйте получить доступ к ней из вашего университета):

О'Нил, Б. (2011) Обмениваемость, корреляция и эффект Байеса. Международный статистический обзор 77 (2), с. 241-250.

Эта статья обсуждает теорему о представлении как основу для байесовской и частой моделей IID, а также применяет ее к примеру с подбрасыванием монет. Это должно прояснить обсуждение предположений о частичной парадигме. На самом деле он использует более широкое расширение теоремы о представлении, выходящее за рамки биномиальной модели, но все же должно быть полезным.

Статистика
источник

Может быть, есть рабочая версия этого документа? У меня нет доступа к банкомату :-(

IMA

@ Stats Я прочитал эту статью после того, как вижу ваш ответ. Должен сказать, что это лучшая статья, иллюстрирующая байесовскую и частую публикацию по этому вопросу, которую я когда-либо видел. Я хотел бы прочитать эту статью гораздо раньше. (+1)

КевинКим