Сходимость по вероятности против почти уверенной сходимости

67

Я никогда не замечал разницу между этими двумя показателями конвергенции. (Или, по сути, любой из различных типов сходимости, но я упоминаю эти два, в частности, из-за слабых и строгих законов больших чисел.)

Конечно, я могу процитировать определение каждого и привести пример, где они различаются, но я все еще не совсем понял.

Какой хороший способ понять разницу? Почему разница важна? Есть ли особенно запоминающийся пример, где они отличаются?

raegtin
источник
Также ответ на этот вопрос: stats.stackexchange.com/questions/72859/…
kjetil b halvorsen

Ответы:

67

С моей точки зрения, разница важна, но в основном по философским причинам. Предположим, у вас есть какое-то устройство, которое со временем улучшается. Таким образом, каждый раз, когда вы используете устройство, вероятность его отказа ниже, чем раньше.

Сходимость в вероятности говорит о том, что вероятность отказа сводится к нулю, а количество использований уходит в бесконечность. Таким образом, после использования устройства большое количество раз вы можете быть уверены, что оно работает правильно, оно все равно может выйти из строя, просто очень маловероятно.

Конвергенция почти наверняка немного сильнее. Это говорит о том, что общее количество отказов конечно . То есть, если вы посчитаете количество отказов по мере того, как количество использований переходит в бесконечность, вы получите конечное число. Влияние этого заключается в следующем: По мере того, как вы используете устройство все больше и больше, вы, после некоторого конечного числа использований, исчерпаете все сбои. С этого момента устройство будет работать отлично .

Как указывает Срикант, вы на самом деле не знаете, когда исчерпали все неудачи, поэтому с чисто практической точки зрения между этими двумя способами конвергенции нет большой разницы.

Однако лично я очень рад, что, например, существует сильный закон больших чисел, а не только слабый закон. Потому что теперь научный эксперимент по получению, скажем, скорости света оправдан для усреднения. По крайней мере, теоретически, после получения достаточного количества данных, вы можете получить сколь угодно близко к истинной скорости света. В процессе усреднения не будет никаких сбоев (хотя и маловероятных).

Позвольте мне уточнить, что я имею в виду под «неудачами (хотя и маловероятными) в процессе усреднения». Выберите сколь угодно малым. Вы получаете оценок скорости света (или некоторой другой величины), которая имеет некоторое «истинное» значение, скажем . Вы вычисляете среднее значение Поскольку мы получаем больше данных ( увеличивается ), мы можем вычислить для каждого . Слабый закон гласит (при некоторых предположениях о ), что вероятность при переходит вδ>0nX1,X2,,Xnμ

Sn=1nk=1nXk.
nSnn=1,2,Xn
P(|Snμ|>δ)0
n, Сильный закон гласит, что сколько разбольше, чем , конечно (с вероятностью 1). То есть, если мы определим индикаторную функцию которая возвращает одну, когда и ноль в противном случае, тогда сходится. Это дает вам значительную уверенность в значении , поскольку гарантирует (т.е. с вероятностью 1) существование некоторого конечного такого, что для всех (т. е. среднее значение никогда не дает сбой при|Snμ|δI(|Snμ|>δ)|Snμ|>δ
n=1I(|Snμ|>δ)
Snn0n > n 0 n > n 0|Snμ|<δn>n0n>n0). Обратите внимание, что слабый закон не дает такой гарантии.
Робби МакКиллиам
источник
1
Спасибо, мне нравится сходимость бесконечной серии точек зрения!
Рэгтин
1
Я думаю, что вы имели в виду исчисляемый и не обязательно конечный, я не прав? Или я смешиваю с интегралами.
Рой
Чтобы быть более точным, множество событий, которые это происходит (или нет), имеет меру ноль -> вероятность того, что произойдет ноль.
Рой
Я не уверен, что понимаю аргумент, который почти наверняка дает вам «значительную уверенность». То, что существует, не говорит вам, достигли ли вы этого. Конечный не обязательно означает маленький или практически достижимый. Сам по себе строгий закон не говорит вам, когда вы достигли или когда вы достигнете . n0n0
Джозеф Гарвин
33

Я знаю , что этот вопрос уже был дан ответ (и очень хорошо, на мой взгляд), но там был другой вопрос здесь , который был комментарий @NRH , что упомянутое графическое объяснение, и вместо того , поместить фотографии там , казалось бы , более уместно положи их сюда.

Итак, здесь идет. Это не так круто, как пакет R. Но он самодостаточен и не требует подписки на JSTOR.

Далее мы говорим о простом случайном блуждании, с равной вероятностью, и вычисляем скользящие средние, S nXi=±1

Snn=1ni=1nXi,n=1,2,.

Сильный закон больших чисел

SLLN (сходимость почти наверняка) говорит, что мы можем быть на 100% уверены, что эта кривая, растягивающаяся вправо, в конечном итоге, в какое-то конечное время, полностью попадет в полосы навсегда (справа).

Код R, использованный для создания этого графика, приведен ниже (для краткости обозначения на графиках опущены).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

Слабый закон больших чисел

WLLN (сходимость по вероятности) говорит о том, что большая часть траекторий выборки будет находиться в полосах с правой стороны в момент времени (для приведенного выше она выглядит примерно как 48 или 9 из 50). Мы никогда не можем быть уверены, что какая-то конкретная кривая будет внутри в любое конечное время, но смотреть на массу лапши над ней было бы довольно безопасной ставкой. WLLN также говорит, что мы можем сделать пропорцию лапши внутри как можно ближе к 1, сделав сюжет достаточно широким.n

Код R для графика следует (опять же, пропуская метки).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)
Сообщество
источник
6

Я понимаю это следующим образом,

Сходимость по вероятности

Вероятность того, что последовательность случайных величин равна целевому значению, асимптотически уменьшается и приближается к 0, но никогда фактически не достигает 0.

Почти верная сходимость

Последовательность случайных переменных будет асимптотически равняться целевому значению, но вы не можете предсказать, в какой момент это произойдет.

Почти уверенная сходимость является более сильным условием поведения последовательности случайных величин, потому что она утверждает, что «что-то обязательно произойдет» (мы просто не знаем, когда). Напротив, сходимость по вероятности гласит, что «в то время как что-то, вероятно, случается», вероятность «чего-то не происходит» асимптотически уменьшается, но никогда фактически не достигает 0. (что-то равно последовательности случайных величин, сходящихся к определенному значению).

В вики есть несколько примеров того и другого, которые должны помочь прояснить вышесказанное (в частности, см. Пример лучника в контексте конвергенции в prob и пример благотворительности в контексте почти уверенной конвергенции).

С практической точки зрения сходимости по вероятности достаточно, так как мы не особенно заботимся об очень маловероятных событиях. В качестве примера, согласованность оценки по существу является сходимостью по вероятности. Таким образом, при использовании непротиворечивой оценки мы косвенно признаем тот факт, что в больших выборках существует очень малая вероятность того, что наша оценка далека от истинного значения. Мы живем с этим «дефектом» сходимости по вероятности, поскольку знаем, что асимптотически вероятность того, что оценщик далек от истины, исчезающе мала.

Gung - Восстановить Монику
источник
Попытка редактора утверждает, что это должно гласить: «Вероятность того, что последовательность случайных величин не равна целевому значению ...».
gung - Восстановить Монику
«Вероятность того, что последовательность случайных величин равна целевому значению, асимптотически уменьшается и приближается к 0, но никогда фактически не достигает 0». Не должно ли быть, что МОЖЕТ никогда не достигать 0?
Джотиш Робин
@gung Вероятность того, что оно равно целевому значению, приближается к 1, или вероятность того, что оно не равно целевым значениям, приближается к 0. Текущее определение неверно.
Undertherainbow
5

Если вам нравятся наглядные объяснения, в «Американской статистике» была хорошая статья «Уголок учителя» на эту тему (цитируйте ниже). В качестве бонуса авторы включили пакет R для облегчения обучения.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}
Кингсфорд Джонс
источник
1

Этот последний парень объясняет это очень хорошо. Если вы берете последовательность случайных величин Xn = 1 с вероятностью 1 / n и ноль в противном случае. Легко видеть, что, принимая ограничения, оно сходится к нулю по вероятности, но не сходится почти наверняка. По его словам, вероятность не волнует, что мы могли бы получить один в будущем. Почти наверняка.

Почти наверняка подразумевает сближение по вероятности, но не наоборот?

Тим Браун
источник
5
Добро пожаловать на сайт, @ Тим-Браун, мы ценим вашу помощь, отвечая на вопросы здесь. Следует отметить, что лучше всего определять другие ответы по имени пользователя, отвечающему на ответ, «этот последний парень» не будет очень эффективным. Например, список будет переупорядочен по мере того, как люди будут голосовать. Вы можете прочитать наш FAQ .
gung - Восстановить Монику
0

Одна вещь, которая помогла мне понять разницу - следующая эквивалентность

∀ & epsi ; > 0P(limn|XnX|=0)=1⇐⇒limn(supm>=n|XmX|>ϵ)=0 ϵ>0

В сравнении стохастическая сходимость:

ϵ > 0limnP(|XnX|>ϵ)=0 ϵ>0

Сравнивая правую часть верхней эквивалентности со стохастической сходимостью, я думаю, что разница становится более ясной.

Себастьян
источник