Что делает значение некоторых дистрибутивов неопределенным?

21

Многие PDF-файлы варьируются от минус до положительной бесконечности, но некоторые средства определены, а некоторые нет. Какая общая черта делает некоторые вычислимыми?

Кевин Новачик
источник
14
Сходящиеся интегралы.
Sycorax сообщает, что восстановит Монику
1
Эти распределения являются математическими абстракциями. Если интеграл не сходится, то среднее не определено. Однако в ответах ниже не упоминается, что PDF-файлы от минус бесконечности до плюс бесконечности не могут моделировать реальные источники данных. Нет такого физического процесса для генерации таких данных в реальной жизни. На мой взгляд, все реальные источники данных будут ограничены, и вы сможете приблизить среднее значение.
Кагдас Озгенц
3
@Cagdas Это замечание не является правильным. Есть много процессов с тяжелым хвостом. Их расходящиеся ожидания проявляются как чрезвычайная изменчивость в долгосрочных средних. Например, убедительное применение модели Коши можно найти в публикации Дугласа Заре по адресу stats.stackexchange.com/a/36037/919 .
whuber
2
@CagdasOzgenc: Вы должны прочитать «Черный лебедь» Талеба, чтобы понять, насколько неправильны эти рассуждения. Хотя эвристически может не существовать процесса, который идеально генерирует распределение с неопределенным средним или бесконечным средним значением, существует множество примеров, когда люди недооценивают, насколько жирными являются их распределения, и переходят к вычислению средних, тогда как истинное распределение имеет Я имею в виду, что это совершенно другое и, как правило, искажено. Такого рода неправильные рассуждения привели к тому, что многие финансовые аналитики оценивали риск, где риск недооценивался на много порядков.
Алекс Р.
1
@Cagdas Ozgenc: для обсуждения, почему ваш аргумент неверен, смотрите stats.stackexchange.com/questions/94402/…
kjetil b halvorsen

Ответы:

23

Среднее распределение определяется в терминах интеграла (я напишу его так, как будто для непрерывного распределения - скажем, как интеграл Римана - но проблема применима в более общем смысле; мы можем перейти к интеграции Стилтьеса или Лебега, чтобы разобраться с это правильно и все сразу)

E(X)=xf(x)dx

Но что это значит? Это фактически сокращение для

a,бИт-aбИксе(Икс)dИкс

или

aИт-a0Иксе(Икс)dИкс+бИт0бИксе(Икс)dИкс

(хотя вы можете сломать его где угодно, а не только в 0)

Проблема возникает, когда пределы этих интегралов не являются конечными.

Так, например, рассмотрим стандартную плотность Коши, которая пропорциональна ... обратите внимание, что11+Икс2

бИт0бИкс1+Икс2dИкс

пусть , поэтому d u = 2 xu=1+x2du=2xdx

=blim1211+b21udu

=blim12ln(u)|11+b2

=blim12ln(1+b2)

что не конечно. Предел в нижней половине также не конечен; ожидание, таким образом, не определено.

Или, если бы мы имели в качестве нашей случайной величины абсолютное значение стандартного Коши, все его ожидание было бы пропорционально тому пределу, который мы только что рассмотрели (т.е. ).blim12ln(1+b2)

С другой стороны, некоторые другие плотности продолжаются "до бесконечности", но их интеграл имеет предел.

Glen_b - Восстановить Монику
источник
1
Вы можете (конечно) также увидеть то же самое в подобных дискретных распределениях вероятностей. Возьмем распределение, в котором вероятность появления для целого числа n > 0 пропорциональнаnn>0 . Сумма вероятностей конечна (что также хорошо, так как она должна иметь предел 1: фактически наша константа должна быть61n2 или что-то еще), но так как сумма16π2 расходятся, это не имеет значения. Принимая во внимание, что если мы выбираем вероятность, пропорциональную11n то среднее включает в себя сумму11n3 и мы в порядке, это «достаточно мало», что сходится. 1n2
Стив Джессоп
1
Да - это масштабная константа для этого (чтобы сделать ее равной 1). 6π2
Glen_b
8

Другие ответы хороши, но могут не убедить всех, особенно людей, которые смотрят на распределение Коши ) и говорят, что все еще интуитивно очевидно, что среднее значение должно быть нулевым.x0=0

Причина, по которой интуитивный ответ неверен с математической точки зрения, связана с теоремой Римана о перестановке (видео) .

Эффективно то, что вы делаете, когда смотрите на Коши и говорите, что среднее «должно быть равно нулю» - это то, что вы разделяете «центр» на ноль, а затем утверждаете моменты баланса двух размеров. Или, другими словами, вы неявно делаете бесконечную сумму с «половиной» слагаемых, положительных (моменты в каждой точке справа) и «половиной» слагаемых, отрицательных (моменты в каждой точке слева), и утверждаете это суммы до нуля. (Для технически мыслящих: )0f(x0+r)rdr0f(x0r)rdr=0

Теорема Римана о перестановке гласит, что этот тип бесконечной суммы (один с положительными и отрицательными членами) является непротиворечивым только в том случае, если два ряда (только положительные и только отрицательные) сходятся, когда взяты независимо. Если обе стороны (положительная и отрицательная) расходятся сами по себе, вы можете придумать порядок суммирования терминов так, чтобы он суммировался с любым числом. (Видео выше, начиная с 6:50)

Итак, да, если вы выполните суммирование сбалансированным образом от 0 до, первые моменты из распределения Коши аннулируются. Однако (стандартное) определение среднего не обеспечивает такой порядок суммирования. Вы должны быть в состоянии суммировать моменты в любом порядке и иметь одинаковую силу. Следовательно, среднее значение распределения Коши не определено - разумно выбирая, как вы суммируете моменты, вы можете сделать их «сбалансированными» (или нет) практически в любой точке.

Таким образом, чтобы определить среднее для распределения, каждый из двух моментных интегралов должен быть независимо сходящимся (конечным) вокруг предложенного среднего (что, когда вы делаете математику, на самом деле является просто еще одним способом сказать, что полный интеграл ( ) должен быть сходящимся). Если хвосты "толстые" достаточно, чтобы момент на одной стороне стал бесконечным, все готово. Вы не можете уравновесить это с бесконечным моментом на другой стороне.f(x)xdx


Я должен упомянуть, что «противоинтуитивное» поведение таких вещей, как распределение Коши, полностью связано с проблемами, когда мы думаем о бесконечности. Возьмите распределение Коши и отрежьте хвосты - даже произвольно далеко, как в плюс / минус число xkcd - и (после повторной нормализации) вы внезапно получите что-то, что ведет себя хорошо и имеет определенное среднее значение. Проблема не в самих жирных хвостах, а в том, как эти хвосты ведут себя при приближении к бесконечности.

RM
источник
Ницца. Интересно, возможно ли дать явный «порядок суммирования», который приводит, скажем, к двум.
Мэтью Друри
@MatthewDrury: p_i и n_i обозначают положительные и отрицательные числа. Последовательно найдите p_i и n_i, чтобы интеграл по [n_i, p_i] был 2+ (1 / i), а интеграл по [n_ {i + 1}, p_i] - 2- (1 / i). Можно сделать это явно, используя R, matlab или mathematica, но только для конечного числа членов.
Дэвид Эпштейн
7

У генерала Абриала и Глен_б были прекрасные ответы. Я просто хочу добавить небольшую демонстрацию, чтобы показать вам, что среднее распределение Коши не существует / не сходится.

В следующем эксперименте вы увидите, что даже если вы получите большую выборку и вычислите эмпирическое среднее значение из выборки, цифры сильно отличаются от эксперимента к эксперименту.

set.seed(0)
par(mfrow=c(1,2))
experiments=rep(1e5,100)
mean_list_cauchy=sapply(experiments, function(n) mean(rcauchy(n)))
mean_list_normal=sapply(experiments, function(n) mean(rnorm(n)))
plot(mean_list_cauchy,ylim=c(-10,10))
plot(mean_list_normal,ylim=c(-10,10))

enter image description here

1001×105

РЕДАКТИРОВАТЬ:

Как упоминалось в чате @ mark999, мы должны утверждать, что два используемых в эксперименте распределения имеют схожую «дисперсию» (я использую цитату потому, что дисперсия распределения Коши также не определена). Вот оправдание: их PDF похожи.

0

curve(dnorm, -8,8)
curve(dcauchy, -8,8)

enter image description here

Haitao Du
источник
4
Я не думаю, что это показывает, что распределение Коши не имеет значения. Вы можете получить аналогичные результаты, если заменить распределение Коши на нормальное распределение с достаточно большой дисперсией.
mark999
Хороший вопрос @ mark999, я отредактирую свой ответ для решения этой проблемы.
Haitao Du
Можно ли выяснить из PDF дистрибутива Коши, что он ничего не значит, вероятно, посмотрев на его толстые хвосты?
ks1322
Возможно, вы имели в виду нечто подобное? stats.stackexchange.com/questions/90531/...
Sycorax says Reinstate Monica
2

Распределение Коши является замаскированной формой очень фундаментального распределения, а именно равномерного распределения по кругу. В формулах бесконечно малая вероятностьdθ/2π, где θэто угловая координата. Вероятность (или мера) дугиAS1 является LеNграммTчас(A)/2π, Это отличается от равномерного распределенияU(-π,π), though measures are indeed the same for arcs not containing π. For example, on the arc from πε counter-clockwise to π+ε (=π+εmod2π), the mean of the distribution on the circle is π. But the mean of the uniform distribution U(π,π) on the corresponding union of two disjoint intervals, each of length ε/2π, is zero.

Since the distribution on the circle is rotationally symmetric, there cannot be a mean, median or mode on the circle. Similarly, higher moments, such as variance, cannot make sense. This distribution arises naturally in many contexts. For example, my current project involves microscope images of cancerous tissue. The very numerous objects in the image are not symmetric and a "direction" can be assigned to each. The obvious null hypothesis is that these directions are uniformly distributed.

To disguise the simplicity, let S1 be the standard unit circle, and let p=(0,1)S1. We define x as a function of θ by stereographical projection of the circle from p onto the x-axis. The formula is x=tan(θ/2). Differentiating, we find dθ/2=dx/(1+x2). The infinitesimal probability is therefore dθπ(1+x2), the usual form of the Cauchy distribution, and "Hey, presto!", simplicity becomes a headache, requiring treatment by the subtleties of integration theory.

In S1{p}, we can ignore the absence of p (in other words, reinstate pS1) for any consideration such as mean or higher order moment, because the probability of p (its measure) is zero. So therefore the non-existence of mean and of higher moments carries over to the real line. However, there is now a special point, namely p=(0,1), which maps to 0R under stereographic projection and this becomes the median and mode of the Cauchy distribution.

David Epstein
источник
2
The Cauchy distribution has a median and mode.
jkabrg
quite right. I got a bit carried away. But the argument for the non-existence of the mean is correct.. I will edit my answer.
David Epstein
Why is it that "there cannot be a mean because there isn't one on the circle"? There's a lot missing in your argument. I'm assuming what you mean by it being the uniform distribution "on the circle" is that θU(π,π) and X=tan(θ/2), but then E[θ]=0 so I don't understand what you're talking about.
jkabrg
@jkabrg: I hope the new edits make this more comprehensible
David Epstein