Интерпретация производной Радона-Никодима между вероятностными мерами?

Я видел в некоторых моментах использование производной Радона-Никодима одной вероятностной меры по отношению к другой, особенно в дивергенции Кульбака-Лейблера, где она является производной вероятностной меры модели для некоторого произвольного параметра с относительно реального параметра θ 0 :$\theta$$\theta_0$

$$\frac {dP_\theta}{dP_{\theta_0}}$$

Где это обе вероятностные меры в пространстве точек данных, обусловленные значением параметра: .$P_\theta(D)=P(D|\theta)$

Какова интерпретация такой производной Радона-Никодима в расходимости Кульбака-Лейблера или, в более общем смысле, между двумя вероятностными мерами?

Во-первых, нам не нужны вероятностные меры, только конечность. Так пусть M = ( Ω , F ) измеримое пространство и пусть μ и v , быть σ -конечной меры по М .$\sigma$$\mathcal M = (\Omega, \mathscr F)$$\mu$$\nu$$\sigma$$\mathcal M$

Теорема Радона-Никодима утверждает, что если для всех A ∈ F , обозначаемых через µ ≫ ν , тогда существует неотрицательная борелевская функция f такая, что ν ( A ) = ∫ A$\mu(A) = 0 \implies \nu(A) = 0$$A \in \mathscr F$$\mu \gg \nu$$f$ для всех A ∈ F .

$$\nu(A) = \int_A f \,\text d\mu$$ $A \in \mathscr F$

Вот как мне нравится думать об этом. Во-первых, для любых двух мер на определим μ ∼ ν как среднее значение μ ( A ) = $\mathcal M$$\mu \sim \nu$ . Это правильное отношение эквивалентностии мы говоримчто μ и ν являютсяэквивалентнымив этом случае. Почему это разумная эквивалентность мер? Меры - это просто функции, но их области сложно представить. А что если две обыкновенные функции f , g : R → R обладают этим свойством, т.е. f ( x ) = $\mu(A) = 0 \iff \nu(A) = 0$$\mu$$\nu$$f, g :\mathbb R \to \mathbb R$ ? Итак, определим h ( x ) = { f ( x ) / g ( x ) g ( x ) ≠ 0 π e o.w. и заметим, что где-нибудь на носителе g мы имеем g h = f , а вне носителя g g h = 0 ⋅ π e = 0 = f (так как$f(x) = 0 \iff g(x) = 0$

$$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$$ $g$$gh = f$$g$ $gh = 0 \cdot \pi^e = 0 = f$$f$и share поддерживает) поэтому h позволяет нам масштабировать g в f . Как @whuber указывает, ключевой идеей здесь является не то, что 0 / 0 как - то «безопасным» делать или игнорировать, а при г = 0 , то это не имеет значения , что час делает так что мы можем просто определить его как угодно (например , быть π е, который не имеет особого значения здесь), и все еще работает. Также в этом случае мы можем определить аналогичную функцию h ′ с помощью g / f, так что f h ′ = g .$g$$h$$g$$f$$0/0$$g = 0$$h$$\pi^e$$h'$$g / f$$fh' = g$

Далее предположим, что , но другое направление не обязательно выполняется. Это означает, что наше предыдущее определение h все еще работает, но теперь h ′ не работает, так как у него будет фактическое деление на 0 . Таким образом, мы можем перемасштабировать g в f через g h = f , но мы не можем пойти в другом направлении, потому что нам нужно было бы перемасштабировать что-то 0 в нечто ненулевое.$g(x) = 0 \implies f(x) = 0$$h$$h'$$0$$g$$f$$gh = f$$0$

Теперь давайте вернемся к и ν и обозначим нашу RND через f . Если μ ∼ ν , то это интуитивно означает, что одно может быть перераспределено в другое, и наоборот. Но, как правило, мы хотим пойти в этом направлении только в одном направлении (т. Е. Перемасштабировать хорошую меру, такую ​​как мера Лебега, в более абстрактную меру), поэтому нам нужно только μ ≫ ν, чтобы делать полезные вещи. Этот масштаб является сердцем RND.$\mu$$\nu$$f$$\mu \sim \nu$$\mu \gg \nu$

Возвращаясь к точке @ whuber в комментариях, есть дополнительная тонкость , почему это безопасно игнорировать вопрос . Это потому, что с мерами мы всегда определяем вещи вплоть до наборов меры 0, поэтому на любом множестве A с μ ( A ) = 0 мы можем просто заставить нашу RND принимать любое значение, скажем, 1 . Так что это не то, что 0 / 0 искробезопасный, а где - нибудь , что мы имеем 0 / 0 есть множество меры 0 WRT $0/0$$0$$A$$\mu(A) = 0$$1$$0/0$$0/0$$0$$\mu$ так что мы можем просто определить наш RND, чтобы он был чем-то хорошим, не влияя ни на что.

В качестве примера предположим, что для некоторого k > 0 . Тогда ν ( A ) = ∫$k \cdot \mu = \nu$$k > 0$ поэтому мы имеем, что f ( x ) = k = d

$$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$$ - RND (это может быть более формально обосновано теоремой об изменении мер). Это хорошо, потому что мы точно восстановили коэффициент масштабирования.$f(x) = k = \frac{\text d\nu}{\text d\mu}$

Вот второй пример, чтобы подчеркнуть, как изменение RND на наборах меры не влияет на них. Пусть f ( x ) = φ ( x ) + 1 Q ( x ) , то есть это стандартный нормальный PDF плюс 1, если вход рациональный, и пусть X будет RV с этой плотностью. Это означает, что P ( X ∈ A ) = ∫ A ( φ + 1 Q$0$$f(x) = \varphi(x) + 1_{\mathbb Q}(x)$$1$$X$= ∫ A

$$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$$ так что на самом деле X все еще является стандартным гауссовым RV. Это никак не повлияло на распределение для изменения X на Q, потому что это набор мер 0 относительно λ . $$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$$ $X$$X$$\mathbb Q$$0$$\lambda$

$X \sim \text{Pois}(\eta)$$Y \sim \text{Bin}(n, p)$$P_X$$P_Y$$c$$c$$c(A) = 0 \iff A = \emptyset$

$$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$$

$$P_Y(A) = \int_A \,\text dP_Y$$ $$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$$ $$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$$

$P(X = n) > 0$$n$$Y$

---

$P \ll Q$$\mu$$\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$