Интуиция условного ожидания

20

Пусть - вероятностное пространство, заданное случайной величиной и -algebra мы можем построить новую случайную величину , которая является условным ожиданием.(Ω,F,μ)ξ:ΩRσGFE[ξ|G]


Что такое интуиция для размышления об ? Я понимаю интуицию для следующего:E[ξ|G]

(i) где - событие (с положительной вероятностью).E[ξ|A]A

(ii) где - дискретная случайная величина.E[ξ|η]η

Но я не могу визуализировать . Я понимаю ее математику и понимаю, что она определена таким образом, чтобы обобщать более простые случаи, которые мы можем визуализировать. Но тем не менее я не считаю такой способ мышления полезным. Это остается загадочным объектом для меня.E[ξ|G]


Например, пусть A будет событием с μ(A)>0 . Сформировать σ - алгебра G={,A,Ac,Ω} , один порожденный A . Тогда E[ξ|G](ω) будет равно 1μ(A)AξеслиωAи равно1μ(Ac)AcξеслиωA. Другими словами,E[ξ|G](ω)=E[ξ|A]еслиωAиE[ξ|G](ω)=E[ξ|Ac]еслиωAc.

Заблуждение состоит в том, что ωΩ , так почему мы не просто пишем E[ξ|G](ω)=E[ξ|Ω]=E[ξ] ? Почему мы заменяем E[ξ|G] по E[ξ|A or Ac] зависимости от того, действительно ли ωA , но не разрешено заменять E[ξ|G] наE[ξ] ?


Заметка. Отвечая на этот вопрос, не объясняйте это с помощью строгого определения условного ожидания. Я это понимаю. Что я хочу понять, так это то, что условное ожидание должно рассчитывать и почему мы отвергаем одно вместо другого.

Николас Бурбаки
источник

Ответы:

16

Один из способов думать об условном представлении как проекции на - алгебре G .σG

введите описание изображения здесь( из Викисклада )

Это действительно строго верно, когда речь идет о квадратично интегрируемых случайных переменных; в этом случае на самом деле ортогональная проекция случайной величины £ , на подпространство L 2 ( Ом ) , состоящее из случайных величин , измеримых относительно G . И в действительности это даже оказывается в некотором смысле истинным для случайных величин L 1 посредством аппроксимации случайными величинами L 2 .E[ξ|G]ξL2(Ω)GL1L2

(См комментарии для ссылок.)

Если учесть , алгебры как представление , сколько информации мы имеем в наличии (толкование , которое этикет в теории случайных процессов), то больше сга - алгебры означают более возможные события и , следовательно , более подробную информацию о возможных результатах, в то время как меньшие сга - алгебры означают меньше возможных событий и, следовательно, меньше информации о возможных результатах.σσσ

Поэтому, проектируя измеримого случайной величины £ , на меньший сг - алгебра G означает принимать наше лучшее предположение для значения £ , учитывая более ограниченную информацию , доступную из G .FξσGξG

Другими словами, учитывая только информацию из , а не всю информацию из F , E [ ξ | G ] в строгом смысле наша лучшая догадка о том, что случайная величина ξ .GFE[ξ|G]ξ


Что касается вашего примера, я думаю, вы можете путать случайные переменные и их значения. Случайная переменная - это функция , домен которой является пространством событий; это не число. Другими словами, X : Ω R , X { f | F : Ом R } , тогда как для со П , X ( ω ) R .XX:ΩRX{f | f:ΩR}ωΩX(ω)R

Обозначение условного ожидания, на мой взгляд, действительно плохое, потому что оно само является случайной величиной, то есть также функцией . Напротив, (регулярное) ожидание случайной величины является числом . Условное ожидание случайной величины является величиной, совершенно отличной от ожидания той же случайной величины, т. даже не «проверяет тип» с помощью E [ ξ ] .E[ξ|G]E[ξ]

Другими словами, использование символа для обозначения как регулярного, так и условного ожидания является очень серьезным злоупотреблением нотацией, что приводит к ненужной путанице.E

При всем этом отметим, что представляет собой число (значение случайной величины E [ ξ | G ], оцененное по значению ω ), но E [ ξ | Ω ] является случайной величиной, но она оказывается постоянной случайной величиной (т. Е. Тривиальным вырождением), поскольку σ -алгебра, порожденная Ω , { , Ω }E[ξ|G](ω)E[ξ|G]ωE[ξ|Ω]σΩ{,Ω}является тривиальным / вырожденным, и с технической точки зрения постоянное значение этой постоянной случайной величины равно , где здесь E обозначает регулярное ожидание и, следовательно, число, а не условное ожидание и, следовательно, не случайную величину.E[ξ]E

Также вас, похоже, смущает то, что обозначение означает; технически это возможно только условие на сг - алгебры, а не на отдельных событиях, так как вероятностные меры определены только на полной сг - алгебры, а не на отдельных событиях. Таким образом, E [ ξ | A ] - просто (ленивый) сокращение для E [ ξ | σ ( A ) ] , где σ ( A ) обозначает σ -E[ξ|A]σσE[ξ|A]E[ξ|σ(A)]σ(A)σалгебра, порожденная событием , которое является { , A , A c , Ω } . Отметим, что σ ( A ) = G = σ ( A c ) ; другими словами, E [ ξ | A ] , E [ ξ | G ] и E [ ξ | A c ] - это разные способы обозначения одного и того же объекта .A{,A,Ac,Ω}σ(A)=G=σ(Ac)E[ξ|A]E[ξ|G]E[ξ|Ac]

Наконец, я просто хочу добавить, что интуитивное объяснение, которое я дал выше, объясняет, почему постоянное значение случайной величины - это просто число E [ ξ ] - σ - алгебра { , Ω }E[ξ|Ω]=E[ξ|σ(Ω)]=E[ξ|{,Ω}]E[ξ]σ{,Ω}представляет наименьшее возможное количество информации, которое у нас могло бы быть, фактически по существу никакой информации, поэтому в этом экстремальном случае наилучшее возможное предположение, которое мы могли бы иметь, для которого случайная переменная является постоянной случайной величиной, постоянное значение которой E [ ξ ] .ξE[ξ]

Заметим, что все постоянные случайные величины являются случайными переменными, и все они измеримы относительно тривиальной σ -алгебры { , Ω } , поэтому действительно мы имеем, что постоянная случайная величина E [ ξ ] является ортогональной проекцией ξ на подпространство L 2 ( Ω ), состоящее из случайных величин, измеримых по { , Ω } , как было заявлено.L2σ{,Ω}E[ξ]ξL2(Ω){,Ω}

Chill2Macht
источник
2
@William Я не согласен с вами по поводу использования как побежал вар. Многие книги определяют E [ ξ | A ] быть числом, а не беглым вар. Это наилучшая возможная оценка ξ | . Это полезное и интуитивно понятное понятие. Пренебрегая им полностью, просто потому, что у вас есть обобщенное понятие cond exp как ran var, неправильно с педагогической точки зрения. Меня не смущает, что такое Р.В., и я не вижу, как все, что я написал, привело бы вас к такому мышлению. E[ξ|A]E[ξ|A]ξ|A
Николас Бурбаки
1
@William Думая о cond expe как оценке ранга var с представляющим информацию, я уже говорил об этом раньше, но я никогда не задумывался об этом и пытался найти другой способ визуализации cond expec. Используя ваше предложение, я напишу простой пример и опубликую его как ответ для себя и других людей. Возможно, кто-то может потом уточнить мой пример и привести более экзотический. G
Николас Бурбаки
1
@NicolasBourbaki Я рекомендую вам взглянуть на стр.221 4-го издания вероятности Дарретта - теория и примеры . Я могу также отослать вас к другим источникам, обсуждающим это. В любом случае, это на самом деле не зависит от точки зрения - в самом общем случае, условное математическое ожидание является случайной величиной, и кондиционирование производится только в отношении алгебры; Кондиционирование относительно события является кондиционирование относительно сг - алгебра , порожденная событием, и кондиционирование воздуха по отношению к случайной переменной кондиционирования WRT на сг - алгебры , порожденный RVσσσ
Chill2Macht
3
@William И я могу отослать вас к источникам, которые определяют условия. exep. события, чтобы быть реальным числом. Я не знаю, почему вы так застряли в этом вопросе. Можно определить это любым способом, пока понятия не перепутаны. По педагогическим соображениям преподаю класс на проб. Теория, и мгновенно переходящая к самому общему определению, не освещает. В любом случае, это действительно не имеет значения в этом обсуждении, и ваша жалоба касается обозначений / семантики.
Николас Бурбаки
1
@NicolasBourbaki Глава 5 « Вероятность Уиттла через ожидание» дает очень хорошее представление (на мой взгляд) об обеих характеристиках условного ожидания и хорошо объясняет, как каждое определение связано и мотивируется другим определением. Вы правы в том, что это различие - еще одна семантика. Мой энтузиазм по поводу более общего определения проистекает (я думаю) из прочтения этой главы (5 из вероятности Уиттла через ожидание ), которая дала (я считаю) хорошие аргументы о том, как более общее определение в некоторых отношениях легче понять.
Chill2Macht
3

Я попытаюсь уточнить, что предложил Уильям.

Пусть будет пробным пространством бросания монеты дважды. Определите пробег. вар. ξ быть числом. голов, которые встречаются в эксперименте. Ясно, что E [ ξ ] = 1 . Один способ думать о том , что 1 , как EXPEC. Значение представляет собой как можно лучшую оценку для ξ . Если бы нам нужно было угадать, какое значение примет ξ , мы бы предположили 1 . Это потому, что E [ ( ξ - 1 ) 2 ] E [ ( ξ - a ) 2ΩξE[ξ]=11ξξ1 для любого действительного числа а .E[(ξ1)2]E[(ξa)2]a

Обозначим через событие, когда первым результатом является голова. Пусть G = { , A , A c , Ω } - σ- алгебра. поколения. на A . Мы думаем о G как о представлении того, что мы знаем после первого броска. После первого броска либо головы возникли, либо головы не произошло. Следовательно, мы находимся в событии A или A c после первого броска.A={HT,HH}G={,A,Ac,Ω}σAGAAc

Если мы находимся в событии , то наилучшей из возможных оценок для ξ будет E [ ξ | A ] = 1,5 , и если мы находимся в случае A c , то наилучшей из возможных оценок для ξ будет E [ ξ | А с ] = 0,5 .AξE[ξ|A]=1.5AcξE[ξ|Ac]=0.5

Теперь определите пробег. вар. должно быть либо 1,5, либо 0,5, в зависимости от того, ω A или нет . Это побежал. вар. η является лучшим приближением, чем 1 = E [ ξ ], поскольку E [ ( ξ - η ) 2 ] E [ ( ξ - 1 ) 2 ] .η(ω)1.50.5ωAη1=E[ξ]E[(ξη)2]E[(ξ1)2]

Что делает , так это дает ответ на вопрос: какова лучшая оценка ξ после первого броска? Так как мы не знаем , информацию после первого броске, η будет зависеть от А . После того, как событие G обнаружено нам, после первого броска определяется значение η, которое дает наилучшую возможную оценку для ξ . ηξηAGηξ

Проблема использования качестве собственной оценки, т. Е. 0 = E [ ( ξ - ξ ) 2 ] E [ ( ξ - η ) 2 ], заключается в следующем. ξ не является четко определенным после первого броска. Скажем, результатом эксперимента является ω с первым результатом, являющимся главой, мы находимся в событии A , но что такое ξ ( ω ) = ? Мы не знаем только с первого броска, что значение для нас неоднозначно, и поэтому ξξ0=E[(ξξ)2]E[(ξη)2]ξωAξ(ω)=?ξне является четко определенным. Более формально, мы говорим, что не G- измерим, т. Е. Его значение не определено после первого броска. Таким образом, η является наилучшей из возможных оценок ξ после первого броска.ξGηξ

Возможно, кто-то здесь может придумать более сложный пример, используя образец пространства , где ξ ( ω ) = ω , а G - некоторая нетривиальная σ- алгебра.[0,1]ξ(ω)=ωGσ

Николас Бурбаки
источник
1

Хотя вы просите не использовать формальное определение, я думаю, что формальное определение, вероятно, является лучшим способом объяснить его.

Википедия - условное ожидание :

Тогда условное ожидание X, заданное , обозначаемое как E ( X H ) , является любой H -измеримой функцией ( Ω R n ), которая удовлетворяет:HE(XH)HΩRn

HE(XH)dP=HXdPfor eachHH

Во-первых, это измеримая функция. Во- вторых, должен соответствовать ожиданиям по каждой измеримой (суб) множества в H . Таким образом, для события A сигма-алгебра имеет вид { A , A C , , Ω } , поэтому ясно, что она задана так, как вы указали в своем вопросе для ω A / A c . Точно так же для любой дискретной случайной величины (и их комбинаций) мы перечисляем все примитивные события и назначаем ожидание, данное этому примитивному событию.HH{A,AC,,Ω}ωA/Ac

Теперь рассмотрим подбрасывание монеты бесконечное число раз, где на каждом броске я, вы получите , если ваша монета хвостами , то ваш общий выигрыш X = Е я = 1 11/2iгдеci= 1 для хвостов и 0 для голов. Тогда X - вещественная случайная величина на[0,1]. После п бросков монеты, вы знаетезначение X в точности1/2п, напримерпосле2 монеты подбрасывает она находится в [0,1 / 4], [1 / 4,1 / 2], [1 / 2,3 / 4] или [3 / 4,1] - после каждого броска монеты ваша ассоциированная сигма-алгебра становится все более и более точной, и аналогично условное ожидание X становится все более и более точным.X=i=112icici[0,1]1/2n

Надеемся, что этот пример вещественной случайной величины с последовательностью сигма-алгебр, становящейся все лучше и лучше (Фильтрация), отвлекает вас от чисто интуиции, основанной на событиях, к которой вы привыкли, и разъясняет ее назначение.

seanv507
источник
Я прошу прощения, но я снизил этот вопрос. Это не отвечает на то, что я первоначально спросил. И при этом это не предоставляет никакой новой информации, которую я не знал прежде.
Николас Бурбаки
То, что я пытаюсь вам предложить, это то, что вы не понимаете формальное определение так же хорошо, как вы думаете (как и предполагал другой ответ), поэтому, если вы не проработаете то, что не является интуитивным с формальным определением, вы не будете прогрессировать.
seanv507
Я прекрасно понимаю формальное определение. На вопросы, которые я задавал, я знаю, как на них отвечать при работе с формальными определениями. «Другой ответ», пытался объяснить мой вопрос, не используя определение con. эксп.
Николя Бурбаки