Теорема Халмоса-Сэвиджа говорит, что для доминирующей статистической модели статистика достаточно, если (и только если) для всех существует -измеримая версия производной Радона Никодима где является привилегированный мера такая , что для и .$(\Omega, \mathscr A, \mathscr P)$$T: (\Omega, \mathscr A, \mathscr P)\to(\Omega', \mathscr A')$$\{P \in \mathscr{P} \}$$T$$\frac{dP}{dP*}$$dP*$$P*=\sum_{i=1}^\infty P_i c_i$$c_i >0, \sum _{i=1}^\infty c_i =1$$P_i \in \mathscr P$

Я пытался понять, почему теорема верна, но у меня ничего не получилось, поэтому мой вопрос в том, существует ли интуитивный способ понять теорему.

Техническая лемма

Я не уверен, насколько это интуитивно понятно, но основной технический результат, лежащий в основе вашего утверждения теоремы Халмоса-Сэвиджа, заключается в следующем:

Лемма. Пусть - -конечная мера на . Предположим, что - это набор мер на таких что для каждого , . Тогда существует последовательность неотрицательных чисел и последовательность элементов , такая что и для каждого .$\mu$$\sigma$$(S, \mathcal{A})$$\aleph$$(S, \mathcal{A})$$\nu \in \aleph$$\nu \ll \mu$$\{c_i\}_{i=1}^\infty$$\aleph$$\{\nu_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\nu \ll \sum_{i=1}^\infty c_i \nu_i$$\nu \in \aleph$

Это дословно взято из теоремы A.78 в теории статистики Шервиша (1995) . В нем он приписывает это проверочным статистическим гипотезам Лемана (1986) ( ссылка на третье издание ), где результат приписывается самим Халмосу и Сэвиджу (см. Лемму 7). Другой хороший справочник - « Математическая статистика Шао» (второе издание, 2003 г.) , где соответствующими результатами являются лемма 2.1 и теорема 2.2.

Приведенная выше лемма гласит, что если вы начнете с семейства мер, в которых доминирует $\sigma$ конечная мера, то фактически вы можете заменить доминирующую меру счетной выпуклой комбинацией мер изнутри семейства. Шервиш пишет перед утверждением теоремы А.78,

«В статистических приложениях у нас часто будет класс мер, каждый из которых является абсолютно непрерывным по отношению к одной $\sigma$ конечной мере. Было бы хорошо, если бы одна доминирующая мера находилась в исходном классе или могла быть построена из класс. Следующая теорема решает эту проблему. "

Конкретный пример

Предположим, что мы проводим измерение величины $X$ которая, по нашему мнению, распределена равномерно на интервале $[0, \theta]$ для некоторого неизвестного $\theta > 0$ . В этой статистической задаче мы неявно рассматриваем множество $\mathcal{P}$ борелевских вероятностных мер на $\mathbb{R}$ состоящее из равномерных распределений на всех интервалах вида $[0, \theta]$ . То есть, если $\lambda$ обозначает меру Лебега и, при $\theta > 0$ , $P_\theta$ обозначает $\operatorname{Uniform}([0, \theta])$ распределение (т. Е.

$$P_\theta(A) = \frac{1}{\theta} \lambda(A \cap [0, \theta]) = \int_A \frac{1}{\theta} \mathbf{1}_{[0, \theta]}(x) \, dx$$ для каждого борелевского$A \subseteq \mathbb{R}$ ), то мы просто имеем $$\mathcal{P} = \{P_\theta : \theta > 0\}.$$ Это множество распределений кандидатов для нашего измерения$X$ .

В семействе $\mathcal{P}$ явно доминирует мера Лебега $\lambda$ (которая является $\sigma$ конечной), поэтому приведенная выше лемма (с $\aleph = \mathcal{P}$ ) гарантирует существование последовательности $\{c_i\}_{i=1}^\infty$ неотрицательных чисел, суммирующих $1$ и a последовательность $\{Q_i\}_{i=1}^\infty$ равномерных распределений в $\mathcal{P}$ таким образом, что

$$P_\theta \ll \sum_{i=1}^\infty c_i Q_i$$ для каждого $\theta > 0$ . В этом примере мы можем построить такие последовательности явно!

Во-первых, пусть $(\theta_i)_{i=1}^\infty$ будет перечислением положительных рациональных чисел ( это можно сделать явно ), и пусть $Q_i = P_{\theta_i}$ для каждого $i$ . Далее, пусть $c_i = 2^{-i}$ , так что $\sum_{i=1}^\infty c_i = 1$ . Я утверждаю, что эта комбинация $\{c_i\}_{i=1}^\infty$ и $\{Q_i\}_{i=1}^\infty$ работает.

Чтобы увидеть это, зафиксируем $\theta > 0$ и пусть $A$ - борелевское подмножество в $\mathbb{R}$ такое, что $\sum_{i=1}^\infty c_i Q_i(A) = 0$ . Нам нужно показать, что $P_\theta(A) = 0$ . Так как $\sum_{i=1}^\infty c_i Q_i(A) = 0$ и каждое слагаемое неотрицательно, то отсюда следует , что $c_i Q_i(A) = 0$ для каждого. Более того, поскольку каждоеположительно, из этого следует, чтодля каждого. То есть для всехимеем Так как каждыйположительно, следовательно,для каждого.$i$$c_i$$Q_i(A) = 0$$i$$i$

$$Q_i(A) = P_{\theta_i}(A) = \frac{1}{\theta_i} \lambda(A \cap [0, \theta_i]) = 0.$$ $\theta_i$$\lambda(A \cap [0, \theta_i]) = 0$$i$

Теперь выберите подпоследовательность из которая сходится к сверху (это можно сделать поскольку плотно в ). Тогда как , поэтому по непрерывности меры мы заключаем, что поэтому . Это доказывает претензию.$\{\theta_{i_k}\}_{k=1}^\infty$$\{\theta_i\}_{i=1}^\infty$$\theta$$\mathbb{Q}$$\mathbb{R}$$A \cap [0, \theta_{\theta_{i_k}}] \downarrow A \cap [0, \theta]$$k \to \infty$

$$\lambda(A \cap [0, \theta]) = \lim_{k \to \infty} \lambda(A \cap [0, \theta_{i_k}]) = 0,$$ $P_\theta(A) = 0$

Таким образом, в этом примере мы смогли явно построить счетную выпуклую комбинацию вероятностных мер из нашей доминирующей семьи, которая все еще доминирует над всей семьей. Приведенная выше лемма гарантирует, что это может быть сделано для любой доминируемой семьи (по крайней мере, пока доминирующая мера -finite).$\sigma$

Теорема Халмоса-Сэвиджа

Итак, теперь перейдем к теореме Халмоса-Сэвиджа (для которой я буду использовать несколько иные обозначения, чем в вопросе из-за личных предпочтений). Учитывая теорему Халмоса-Сэвиджа, теорема факторизации Фишера-Неймана является лишь одним из применений леммы Дуба-Дынкина и правила цепочки для производных Радона-Никодима!

Теорема Халмоса-Сэвиджа. Пусть будет доминирующей статистической моделью (это означает, что является набором вероятностных мер на и существует конечная мера на такая, что для всех ). Пусть - измеримая функция, где - стандартный борелевский Космос. Тогда следующие значения эквивалентны:$(\mathcal{X}, \mathcal{B}, \mathcal{P})$$\mathcal{P}$$\mathcal{B}$$\sigma$$\mu$$\mathcal{B}$$P \ll \mu$$P \in \mathcal{P}$$T : (\mathcal{X}, \mathcal{B}) \to (\mathcal{T}, \mathcal{C})$$(T, \mathcal{C})$

1. $T$ достаточно для (это означает, что существует ядро ​​вероятности такое что является версией для всех и ).$\mathcal{P}$$r : \mathcal{B} \times \mathcal{T} \to [0, 1]$$r(B, T)$$P(B \mid T)$$B \in \mathcal{B}$$P \in \mathcal{P}$
2. Существует последовательность неотрицательных чисел, такая что и последовательность вероятностных мер в таких что для всех , где , и для каждого существует -измеримая версия .$\{c_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\{P_i\}_{i=1}^\infty$$\mathcal{P}$$P \ll P^*$$P \in \mathcal{P}$$P^* = \sum_{i=1}^\infty c_i P_i$$P \in \mathcal{P}$$T$$dP/dP^*$

Доказательство. По вышеприведенной лемме мы можем сразу заменить на для некоторой последовательности неотрицательных чисел, такой что и последовательность вероятностных мер в .$\mu$$P^* = \sum_{i=1}^\infty c_i P_i$$\{c_i\}_{i=1}^\infty$$\sum_{i=1}^\infty c_i = 1$$\{P_i\}_{i=1}^\infty$$\mathcal{P}$

(1. влечет 2.) Пусть достаточно. Затем мы должны показать, что существуют -измеримые версии для всех . Пусть - ядро ​​вероятности в формулировке теоремы. Для каждого и мы имеем Таким образом, является версией для всех .$T$$T$$dP/dP^*$$P \in \mathcal{P}$$r$$A \in \sigma(T)$$B \in \mathcal{B}$

$$\begin{aligned} P^*(A \cap B) &= \sum_{i=1}^\infty c_i P_i(A \cap B) \\ &= \sum_{i=1}^\infty c_i \int_A P_i(B \mid T) \, dP_i \\ &= \sum_{i=1}^\infty c_i \int_A r(B, T) \, dP_i \\ &= \int_A r(B, T) \, dP^*. \end{aligned}$$ $r(B, T)$$P^*(B \mid T)$$B \in \mathcal{B}$

Для каждого , пусть обозначает версию Радона-Никодима на измеримом пространстве (так , в частности является измеримый). Тогда для всех и мы имеем Таким образом, на самом деле является$P \in \mathcal{P}$$f_P$$dP/dP^*$$(\mathcal{X}, \sigma(T))$$f_P$$T$$B \in \mathcal{B}$$P \in \mathcal{P}$

$$\begin{aligned} P(B) &= \int_{\mathcal{X}} P(B \mid T) \, dP \\ &= \int_{\mathcal{X}} r(B, T) \, dP \\ &= \int_{\mathcal{X}} r(B, T) f_P \, dP^* \\ &= \int_{\mathcal{X}} P^*(B \mid T) f_P \, dP^* \\ &= \int_{\mathcal{X}} E_{P^*}[\mathbf{1}_B f_P \mid T] \, dP^* \\ &= \int_B f_P \, dP^*. \end{aligned}$$ $f_P$$T$-размерная версия on . Это доказывает, что из первого условия теоремы вытекает второе.$dP/dP^*$$(\mathcal{X}, \mathcal{B})$

(2 означает : 1.) Предположим , что можно выбрать -измеримое версии из для каждого . Для каждого пусть обозначает конкретную версию (например, является функцией такой, что является версией ). Поскольку является стандартным борелевским пространством, мы можем выбрать таким образом, чтобы сделать его вероятностным ядром (см., Например, теорему B.32 в « Теории статистики Шервиша» (1995)). Покажем, что$T$$f_P$$dP/dP^*$$P \in \mathcal{P}$$B \in \mathcal{B}$$r(B, t)$$P^*(B \mid T = t)$$r(B, t)$$r(B, T)$$P^*(B \mid T)$$(T, \mathcal{C})$$r$$r(B, T)$является версией для любого и любого . Итак, пусть заданы и . Тогда для всех мы имеем Это показывает, что является версией для любого и любого , и доказательство сделано.$P(B \mid T)$$P \in \mathcal{P}$$B \in \mathcal{B}$$A \in \sigma(T)$$B \in \mathcal{B}$$P \in \mathcal{P}$

$$\begin{aligned} P(A \cap B) &= \int_A \mathbf{1}_B f_P \, dP^* \\ &= \int_A E_{P^*}[\mathbf{1}_B f_P \mid T] \, dP^* \\ &= \int_A P^*(B \mid T) f_P \, dP^* \\ &= \int_A r(B, T) f_P \, dP^* \\ &= \int_A r(B, T) \, dP. \end{aligned}$$ $r(B, T)$$P(B \mid T)$$P \in \mathcal{P}$$B \in \mathcal{B}$

Резюме. Важным техническим результатом, лежащим в основе теоремы Халмоса-Сэвиджа, который представлен здесь, является тот факт, что в доминирующем семействе вероятностных мер фактически преобладает счетная выпуклая комбинация вероятностных мер из этого семейства. Учитывая этот результат, остальная часть теоремы Халмоса-Сэвиджа в основном представляет собой просто манипуляции с основными свойствами производных Радона-Никодима и условными ожиданиями.