Специальное распределение вероятностей

Если - это распределение вероятностей с ненулевыми значениями на , для какого типа (типов) существует константа такая, что для всех ? $p(x)$ $[0,+\infty)$ $p(x)$ $c\gt 0$ $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ $0\lt\epsilon\lt 1$

Вышеуказанное неравенство на самом деле является дивергенцией Кульбака-Лейблера между распределением и его сжатой версией . Я обнаружил, что это неравенство справедливо для распределений по экспоненте, гамме и по Вейбуллу, и мне интересно знать, работает ли это для более широкого класса вероятностных распределений. $p(x)$ ${(1+\epsilon)}p({x}{(1+\epsilon)})$

Есть идеи, что означает это неравенство?

probability stochastic-processes kullback-leibler probability-inequalities Sus20200
источник

Поскольку положителен, он будет сжат (в направлении x), а не растянут.

ϵ

$\epsilon$

Glen_b

Этот вопрос неоднозначен: каковы ваши квантификаторы? Вы хотите, чтобы это неравенство сохранялось для всех , хотя бы одного или чего-то еще? Является учетом априорной или вы имеете в виду должно существовать хотя бы одно такое значение в ? И поскольку вы упоминаете классы вероятностных распределений, под « » вы подразумеваете одно конкретное распределение или, возможно, имеете в виду их параметрическое семейство?

ϵ

$\epsilon$

ϵ

$\epsilon$

c

$c$

c

$c$

p (x)

$p(x)$

whuber

@whuber Спасибо за ваши комментарии. Я внес исправление в свое постановление проблемы, чтобы уточнить упомянутые проблемы. Я имею в виду, для какого справедливо указанное выше неравенство? Ответом может быть либо введение параметрического семейства распределений, либо предложение дифференциального уравнения для которое является достаточным и дает желаемое неравенство.

p (x)

$p(x)$

p (x)

$p(x)$

Sus20200

Разве это неравенство не будет работать для любого p (x), который является непрерывным и с бесконечной поддержкой? Вы вычисляете дивергенцию KL внутри параметрического семейства ( . Если KL диффундируемо в 0, то его производная равна 0. Принимая за максимум кривизны KL (для ), у нас есть граница. С дополнительной работой, возможно, будет возможно связать C из свойств p

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

Гийома Дехаена

Это может быть бесконечность, пока . Разложение первого порядка в KL - это

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

Артур Б.

прелиминарии

Написать

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

Логарифмы и отношения между и предполагают выражение как и его аргумента в качестве экспонент. Для этого определите $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

для всех вещественных для которых правая часть определена и равна везде, где . Обратите внимание, что смена переменных влечет за собой и (принимая за плотность распределения), что закон полной вероятности может быть выражен как $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

Предположим, что когда . $e^{q(y)+y}\to 0$ $y\to\pm\infty$ Это исключает вероятностные распределения с бесконечным числом скачков плотности около или . В частности, если хвосты в конечном счете монотонны, подразумевает это предположение, показывая, что оно не является серьезным. $p$ $0$ $\infty$ $p$ $(1)$

Чтобы упростить работу с логарифмами, также учтите, что

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

Поскольку следующие вычисления будут выполняться с кратностью , определите $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

Мы также можем заменить на , где соответствует а положительное соответствует положительному . $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

Анализ

Одним из очевидных способов, с помощью которых неравенство может не сработать, было бы то, что интеграл расходится для некоторого . Это произошло бы, например, если бы любой правильный интервал положительных чисел, независимо от того, насколько мал, в котором были тождественно нулевыми, но не были равны нулю на интервале . Это привело бы к тому, что подынтегральное выражение было бы бесконечно с положительной вероятностью. $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$

Поскольку вопрос о природе не является специфическим , мы могли бы увязнуть в технических вопросах, касающихся того, насколько гладким может быть . Давайте избегать таких проблем, все еще надеясь получить некоторое понимание, предполагая, что везде имеет столько производных, сколько мы могли бы использовать. (Двух будет достаточно, если непрерывен.) Поскольку это гарантирует, что остается ограниченным на любом ограниченном множестве, это означает, что никогда не будет нулевым, когда . $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

Обратите внимание, что вопрос действительно касается поведения когда приближается к нулю сверху. Поскольку этот интеграл является непрерывной функцией в интервале , он достигает некоторого максимума когда ограничен любым положительным интервалом , что позволяет нам выбрать , потому что очевидно $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

заставляет работать неравенство. Вот почему нам нужно заниматься только вычислением по модулю . $\epsilon^2$

Решение

Используя изменения переменной с на , с на и на , давайте рассчитаем до второго порядка в (или ) в надежде на достижение упрощение Для этого определите $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

быть остатком порядка в разложении Тейлора вокруг . $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

Изменение переменных на в левом интеграле показывает, что оно должно исчезать, как отмечено в предположении, следующем за . Изменение переменных обратно на в правом интеграле дает $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

Неравенство выполняется (при наших различных технических предположениях) тогда и только тогда, когда коэффициент в правой части конечен. $\delta^2$

интерпретация

Это хороший момент, чтобы остановиться, потому что он, кажется, раскрывает существенную проблему: ограничен квадратичной функцией именно тогда, когда квадратичная ошибка в разложении Тейлора не дает взорваться (относительно распределения) по мере приближения к . $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

Давайте проверим некоторые из случаев, упомянутых в вопросе: экспоненциальное и гамма-распределение. (Экспонента является частным случаем гаммы.) Нам никогда не нужно беспокоиться о параметрах масштаба, потому что они просто меняют единицы измерения. Только немасштабные параметры имеют значение.

Здесь, поскольку для , Разложение Тейлора вокруг произвольного равноИз теоремы Тейлора с остатком следует, что в доминирует для достаточно малых . Поскольку ожидание конечно, справедливо неравенство для гамма-распределений. $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

Подобные вычисления подразумевают неравенство для распределений Вейбулла, полунормальных распределений, логнормальных распределений и т. Д. Фактически, чтобы получить контрпримеры, нам нужно было бы нарушить хотя бы одно предположение, заставляя нас смотреть на распределения, где обращается в нуль на некотором интервале или не непрерывно дважды дифференцируемый, или имеет бесконечно много мод. Это простые тесты для применения к любому семейству распределений, обычно используемых в статистическом моделировании. $p$

Whuber
источник

Специальное распределение вероятностей

Ответы:

прелиминарии

Анализ

Решение

интерпретация