Существование моментной функции и дисперсии

Этот вопрос предоставляет хорошую возможность собрать некоторые факты о функциях, генерирующих моменты ( mgf ).

В ответе ниже мы делаем следующее:

Покажите, что если mgf конечен хотя бы для одного (строго) положительного значения и одного отрицательного значения, то все положительные моменты $X$ конечны (включая нецелые моменты).
Докажите, что условие в первом пункте выше эквивалентно распределению $X$ имеющему экспоненциально ограниченные хвосты. Другими словами, хвосты $X$ падают, по крайней мере, так же быстро, как хвосты экспоненциальной случайной величины $Z$ (с точностью до константы).
Кратко отметьте характеристику распределения по его мгф, если оно удовлетворяет условию пункта 1.
Изучите некоторые примеры и контрпримеры, чтобы помочь нашей интуиции и, в частности, показать, что мы не должны понимать чрезмерную важность отсутствия конечности mgf.

Этот ответ довольно длинный, за что я заранее извиняюсь. Если это будет лучше, например, в блоге или где-то еще, пожалуйста, не стесняйтесь оставлять такие отзывы в комментариях.

Что мгф говорит о моментах?

MGF случайной величины определяется как . Отметим, что всегда существует, поскольку оно является интегралом неотрицательной измеримой функции. Однако, если не может быть конечным . Если это конечное (в нужных местах), то для все (не обязательно целых), абсолютные моменты (а значит, и $X \sim F$ $m(t) = \mathbb E e^{tX}$ $m(t)$ $p > 0$ $\mathbb E |X|^p < \infty$ $\mathbb E X^p$ конечно). Это тема следующего предложения.

Предложение : если существуют такие и , что и , то моменты всех порядков существуют и конечны. $\newcommand{\tn}{t_{n}}\newcommand{\tp}{t_{p}}\tn < 0$ $\tp > 0$ $m(\tn) < \infty$ $m(\tp) < \infty$ $X$

Прежде чем погрузиться в доказательство, приведем две полезные леммы.

$\tn$ $\tp$ $t_0 \in [\tn,\tp]$ $m(t_0) < \infty$
$e^x$ $t_0$ $\theta \in [0,1]$ $t_0 = \theta \tn + (1-\theta) \tp$

e^{t_{0} X} = e^{θ t_{n} X + (1 - θ) t_{p} X} \leq θ e^{t_{n} X} + (1 - θ) e^{t_{p} X} .

$e^{t_0 X} = e^{\theta \tn X + (1-\theta) \tp X} \leq \theta e^{\tn X} + (1-\theta) e^{\tp X} \>.$

E e^{t_{0} X} \leq θ E e^{t_{n} X} + (1 - θ) E e^{t_{p} X} < \infty

$\mathbb E e^{t_0 X} \leq \theta \mathbb E e^{\tn X} + (1-\theta) \mathbb E e^{\tp X} < \infty$

Таким образом, если mgf конечен в любых двух разных точках, он конечен для всех значений в интервале между этими точками.

$L_p$ $0 \leq q \leq p$ $\mathbb E |X|^p < \infty$ $\mathbb E |X|^q < \infty$

Это дает нам достаточно для продолжения доказательства предложения.

$\tn < 0$ $\tp > 0$ $t_0 = \min(-\tn,\tp) > 0$ $m(-t_0) < \infty$ $m(t_0) < \infty$

e^{- t_{0} X} + e^{t_{0} X} = 2 \sum_{n = 0}^{\infty} \frac{t_{0}^{2 n} X^{2 n}}{(2 n)!},

$e^{-t_0 X} + e^{t_0 X} = 2 \sum_{n=0}^\infty \frac{t_0^{2n} X^{2n}}{(2n)!} \>,$

k

$k$

e^{- t_{0} X} + e^{t_{0} X} \geq 2 t_{0}^{2 k} X^{2 k} / (2 k)! .

$e^{-t_0 X} + e^{t_0 X} \geq 2 t_0^{2k} X^{2k}/(2k)! \>.$

E e^{- t_{0} X} + E e^{t_{0} X} < \infty

$\mathbb E e^{-t_0 X} + \mathbb E e^{t_0 X} < \infty$ , Монотонность интеграла дает . Следовательно, все четные моменты конечны. Лемма 2 сразу позволяет нам «заполнить пробелы» и сделать вывод, что все моменты должны быть конечными.

E X^{2 k} < \infty

$\mathbb E X^{2k} < \infty$

X

$X$

результат

В результате возникает вопрос о том, что если какой-либо из моментов бесконечен или не существует, мы можем сразу сделать вывод, что mgf не является конечным в открытом интервале, содержащем начало координат. (Это просто противоположное утверждение утверждения.) $X$

Таким образом, приведенное выше предложение обеспечивает «правильное» условие, чтобы что-то сказать о моментах на основе его mgf. $X$

Экспоненциально ограниченные хвосты и мгф

Предложение : ФМГ конечно в открытом интервале , содержащей начало , если и только если хвосты являются экспоненциально ограничены , т для некоторых и . $m(t)$ $(\tn,\tp)$ $F$ $\mathbb P( |X| > x) \leq C e^{-t_0 x}$ $C > 0$ $t_0 > 0$

Доказательство . Мы разберемся с правильным хвостом отдельно. Левый хвост обрабатывается полностью аналогично.

$(\Rightarrow)$ Предположим, что для некоторого . Затем правый хвост является экспоненциально ограниченным ; другими словами, существуют и такие, что Чтобы увидеть это, обратите внимание, что для любого , по неравенству Маркова, Возьмем и чтобы завершить это направление доказательства. $m(t_0) < \infty$ $t_0 > 0$ $F$ $C > 0$ $b > 0$

P (X > x) \leq C e^{- b x} .

$\mathbb P(X > x) \leq C e^{-b x} \>.$

t > 0

$t > 0$

P (X > x) = P (e^{t X} > e^{t x}) \leq e^{- t x} E e^{t X} = m (t) e^{- t x} .

$\mathbb P(X > x) = \mathbb P(e^{tX} > e^{tx}) \leq e^{-tx} \mathbb E e^{t X} = m(t) e^{-t x} \>.$

C = m (t_{0})

$C = m(t_0)$

b = t_{0}

$b = t_0$

$(\Leftarrow)$ Предположим, что существуют и такие, что . Тогда при , где первое равенство вытекает из а стандартный факт об ожидании неотрицательных случайных величин . Выберите любой такой, что ; тогда интеграл в правой части конечен. $C >0$ $t_0 > 0$ $\mathbb P(X > x) \leq C e^{-t_0 x}$ $t > 0$

E e^{t X} = \int_{0}^{\infty} P (e^{t X} > y) d y \leq 1 + \int_{1}^{\infty} P (e^{t X} > y) d y \leq 1 + \int_{1}^{\infty} C y^{- t_{0} / t} d y,

$\mathbb E e^{t X} = \int_0^\infty \mathbb P( e^{t X} > y)\,\mathrm dy \leq 1 + \int_1^\infty \mathbb P( e^{t X} > y)\,\mathrm dy \leq 1 + \int_1^\infty C y^{-t_0/t} \, \mathrm dy \>,$

t

$t$

0 < t < t_{0}

$0 < t < t_0$

Это завершает доказательство.

Замечание об уникальности распределения с учетом его mgf

Если mgf конечен в открытом интервале, содержащем ноль, то ассоциированное распределение характеризуется его моментами , т.е. это единственное распределение с моментами . Стандартное доказательство коротко, как только у вас есть (относительно простые) факты о характеристических функциях . Подробности можно найти в большинстве современных вероятностных текстов (например, Биллингсли или Дарретт). В этом ответе обсуждается пара вопросов . $\mu_n = \mathbb E X^n$

Примеры и контрпримеры

( ) Распределение Логнормальное : представляет логнормальное , если для некоторой нормальной случайной величины . Так что с вероятностью один. Поскольку для всех , это сразу говорит нам, что для всех . Таким образом, mgf конечен на неотрицательной полупрямой . ( Примечание: мы использовали только неотрицательность чтобы установить этот факт, так что это верно для всех неотрицательных случайных величин.) $X$ $X = e^Y$ $Y$ $X \geq 0$ $e^{-x} \leq 1$ $x \geq 0$ $m(t) = \mathbb E e^{t X} \leq 1$ $t < 0$ $(-\infty,0]$ $X$

Однако для всех . Мы возьмем стандартное логнормальное в качестве канонического случая. Если , то . При изменении переменных мы имеем Для и достаточно больших мы имеем по приведенным выше границам. Но для любого , и, следовательно, mgf бесконечен для всех . $m(t) = \infty$ $t > 0$ $x > 0$ $e^{x} \geq 1 + x + \frac{1}{2} x^2 + \frac{1}{6} x^3$

E e^{t X} = (2 π)^{- 1 / 2} \int_{- \infty}^{\infty} e^{t e^{u} - u^{2} / 2} d u .

$\mathbb E e^{t X} = (2\pi)^{-1/2} \int_{-\infty}^\infty e^{t e^u - u^2/2} \,\mathrm d u \>.$

t > 0

$t > 0$

u

$u$

t e^{u} - u^{2} / 2 \geq t + t u

$t e^u - u^2/2 \geq t+tu$

\int_{K}^{\infty} e^{t + t u} d u = \infty

$\int_{K}^\infty e^{t + tu} \,\mathrm du = \infty$

K

$K$

t > 0

$t > 0$

С другой стороны, все моменты логнормального распределения конечны. Таким образом, существование mgf в интервале около нуля не является необходимым для заключения вышеупомянутого предложения .

( б ) Симметризованное логнормальное : мы можем получить еще более экстремальный случай, «симметризовав» логнормальное распределение. Рассмотрим плотность для такую что Нетрудно видеть в свете предыдущего примера, что mgf конечен только для . Тем не менее, четные моменты точно такие же, как у логнормальных, а нечетные моменты равны нулю! Таким образом, mgf не существует нигде (кроме как в источнике, где он всегда существует), и все же мы можем гарантировать конечные моменты всех порядков. $f(x)$ $x \in \mathbb R$

f (x) = \frac{1}{2 \sqrt{2 π} | x |} e^{- \frac{1}{2} (\log | x |)^{2}} .

$f(x) = \frac{1}{2\sqrt{2\pi}|x|} e^{-\frac{1}{2} (\log |x|)^2} \>.$

t = 0

$t = 0$

( c ) Распределение Коши : у этого распределения также есть mgf, который бесконечен для всех , но никакие абсолютные моменты являются конечными для . Результат для mgf следует для так как для и поэтому Доказательство при аналогично. (Может быть , несколько менее хорошо известно, что моменты для делать существуют Коши. Смотрите этот ответ $t \neq 0$ $\mathbb E|X|^p$ $p \geq 1$ $t > 0$ $e^x \geq x^3 / 6$ $x > 0$

E e^{t X} \geq \int_{1}^{\infty} \frac{t^{3} x^{3}}{6 π (1 + x^{2})} d x \geq \frac{t^{3}}{12 π} \int_{1}^{\infty} x d x = \infty .

$\mathbb E e^{tX} \geq \int_1^\infty \frac{t^3 x^3}{6\pi(1+x^2)} \,\mathrm dx \geq \frac{t^3}{12\pi} \int_1^\infty x \,\mathrm dx = \infty \>.$

t < 0

$t < 0$

0 < p < 1

$0 < p < 1$ .)

( d ) Распределение по полу Коши : если (стандартный) Коши, вызовитеслучайная переменная полу Коши. Тогда из предыдущего примера легко увидеть, что для всех ; тем не менее, конечно для . $X$ $Y = |X|$ $\mathbb E Y^p = \infty$ $p \geq 1$ $\mathbb E e^{tY}$ $t \in (-\infty,0]$

кардинальный
источник

Спасибо за публикацию этого - это удивительно легко понять, учитывая, насколько это технически - хорошо сделано.

Макро

Знаете ли вы какие-либо результаты о мгф в гильбертовом пространстве?

Badatmath

Существование моментной функции и дисперсии

Ответы: