У нас есть N выборок из равномерного распределения где неизвестно. Оцените из данных.$X_i$θ $[0,\theta]$$\theta$$\theta$

Итак, правило Байеса ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

и вероятность:

0≤Xi≤θ$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (редактировать: когда для всех и 0 в противном случае - спасибо whuber)$0 \le X_i \le \theta$$i$

но без какой-либо другой информации о , кажется, что априор должен быть пропорционален (то есть равномерно) или (приор Джеффриса?) на но тогда мои интегралы не не сходятся, и я не знаю, как поступить. Любые идеи?1 $\theta$$1$ [0,∞$\frac{1}{L}$$[0,\infty]$

Это вызвало некоторые интересные дебаты, но обратите внимание, что это действительно не имеет большого значения для вопроса интереса. Лично я думаю, что, поскольку является параметром масштаба, аргумент группы преобразования является подходящим, приводя к$\theta$

$$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$$

Это распределение имеет ту же форму при масштабировании задачи (вероятность также остается «инвариантной» при масштабировании). Ядро этого априора может быть получено путем решения функционального уравнения . Значения зависят от проблемы и действительно имеют значение, только если размер выборки очень мал (например, 1 или 2). Задняя часть представляет собой усеченное парето, определяемое как:$f(y)=y^{-1}$$af(ay)=f(y)$$L,U$

$$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$$ Где - N-е число статистика заказа или максимальное значение выборки. Мы получаем апостериорное среднее Если мы установите и чтобы получить более простое выражение .$X_{(N)}$ $$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$$ $U\to\infty$$L\to 0$$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Но теперь предположим, что мы используем более общий априор, заданный (обратите внимание, что мы сохраняем пределы чтобы гарантировать, что все правильно - никаких особых математических выражений тогда ). Апостериор тогда такой же, как и выше, но с заменой на - при условии, что . Повторяя приведенные выше расчеты, мы упростили среднее$p(\theta|cI)\propto\theta^{-c-1}$$L,U$$N$$c+N$$c+N\geq 0$

$$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$$

Таким образом, единообразный априор ( ) даст оценку при условии, что (среднее значение для бесконечно ). Это показывает, что спор здесь немного похож на то, использовать или нет или в качестве делителя в оценке дисперсии.$c=-1$$\frac{N-1}{N-2}X_{(N)}$$N\geq 2$$N=2$$N$$N-1$

Один аргумент против использования неподходящей униформы априора в этом случае состоит в том, что апостериор неправильный, когда , так как он пропорционален . Но это имеет значение только если или очень мало.$N=1$$\theta^{-1}$$N=1$

Поскольку цель здесь, по-видимому, заключается в получении некоторой достоверной и полезной оценки , предварительное распределение должно соответствовать спецификации распределения населения, из которого происходит выборка. Это никоим образом не означает, что мы «вычислим» предшествующее использование самого образца - это сведет на нет действительность всей процедуры. Мы действительно знаем, что совокупность, из которой происходит выборка, представляет собой совокупность одинаковых случайных величин, каждая из которых находится в диапазоне . Это предположение поддерживается и является частью предшествующей информации, которой мы обладаем (и она не имеет ничего общего с выборкой , то есть с конкретной реализацией подмножества этих случайных переменных).$\theta$$[0,\theta]$

Теперь предположим, что эта совокупность состоит из случайных величин (в то время как наша выборка состоит из реализаций случайных величин). Поддерживаемое предположение говорит нам, что $m$$n<m$$n$

$$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$$

Обозначим для компактности . Тогда у нас есть который также может быть записан как $\max_{i=1,...,n}\{X_i\} \equiv X^*$$\theta \ge X^*$

$$\theta = cX^*\qquad c\ge 1$$

Функция плотности из из IID Равномерное с.в. в диапазоне является $\max$$N$$[0,\theta]$

$$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$$

для поддержки и ноль в другом месте. Затем, используя и применяя формулу изменения переменной, мы получаем предварительное распределение для , которое согласуется с поддерживаемым предположением: $[0,\theta]$$\theta = cX^*$$\theta$

$$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$$

что может быть неправильно, если мы не укажем константу соответствующим образом. Но наш интерес заключается в том, чтобы иметь правильную апостериор для , а также мы не хотим ограничивать возможные значения (за исключением ограничения, подразумеваемого поддерживаемым предположением). Таким образом , мы выходим неопределенными. Затем, написав апостериорный$c$$\theta$$\theta$$c$
$\mathbf X = \{x_1,..,x_n\}$

$$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$$

для некоторой нормализующей константы A. Мы хотим

$$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$$

$$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$$

Вставка в заднюю часть

$$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$$

Обратите внимание, что неопределенная константа предыдущего распределения удобно удаляется.$c$

Апостериор суммирует всю информацию, которую конкретный образец может дать нам относительно значения . Если мы хотим получить конкретное значение для мы можем легко рассчитать ожидаемое значение апостериора, $\theta$$\theta$

$$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$$

Есть ли интуиция в этом результате? Что ж, по мере того, как число увеличивается, более вероятно, что максимальная реализация среди них будет все ближе и ближе к их верхней границе, - что в точности соответствует последнему среднему значению : если, скажем, , , но если , Это показывает, что наша тактика в отношении выбора предыдущего была разумной и соответствовала рассматриваемой проблеме, но не обязательно «оптимальной» в некотором смысле.$X$$\theta$$\theta$$N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$$N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

Теорема о равномерном априорном распределении (интервальный случай):

«Если вся информация о внешняя по отношению к данным , захвачена одним предложением тогда Ваша единственная возможная логически-внутренне согласованная предварительная спецификация - это $\theta$$D$

$$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$$ $$f(\theta)=\text{Uniform}(a,b)$$

Таким образом, ваша предварительная спецификация должна соответствовать предварительной версии Джеффри, если вы действительно верите в приведенную выше теорему ".

Не является частью теоремы о равномерном предыдущем распределении:

В качестве альтернативы вы можете указать свое предыдущее распределение как распределение Парето, которое является сопряженным распределением для униформы, зная, что ваше последующее распределение должно быть другим равномерным распределением по сопряженности. Однако, если вы используете дистрибутив Pareto, вам нужно будет каким-то образом указать параметры распределения Pareto.$f(\theta)$