Справедлива ли теорема Байеса для ожиданий?

18

Правда ли, что для двух случайных величин и , $A$ $B$

E (A ∣ B) = E (B ∣ A) \frac{E (A)}{E (B)} ?

$E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?$

bayesian mathematical-statistics Томка
источник

3

Хм ... я не думаю, что эти две стороны эквивалентны

Jon

6

Как указано в ответах, вопрос является вероятностно бессмысленным из-за интеграции случайных величин на одной стороне, которые являются кондиционирующими переменными на другой стороне.

Сиань

25

\begin{matrix} (1) & E [A ∣ B] \overset{?}{=} E [B ∣ A] \frac{E [A]}{E [B]} \end{matrix}

$E[A\mid B] \stackrel{?}= E[B\mid A]\frac{E[A]}{E[B]} \tag 1$ Предполагаемый результат тривиально верен для независимых случайных величин и с ненулевым средним.

(1)

$(1)$

A

$A$

B

$B$

Если , то правая часть включает в себя деление на поэтому имеет смысла. Обратите внимание, что независимо от того, являются ли и независимыми, не имеет значения $E[B]=0$ $(1)$ $0$ $(1)$ $A$ $B$

В целом , не выполняются для зависимых случайных величин , но конкретных примеров зависимых и , удовлетворяющих может быть найдено. Обратите внимание, что мы должны продолжать настаивать на том, что , иначе правая часть имеет смысла. Имейте в виду , что является случайной величиной , что происходит , чтобы быть функцией от случайной величины , скажем , а является случайной величиной , которая является функцией из случайная величина , скажем $(1)$ $A$ $B$ $(1)$ $E[B]\neq 0$ $(1)$ $E[A\mid B]$ $B$ $g(B)$ $E[B\mid A]$ $A$ $h(A)$ . Итак, похоже на вопрос $(1)$

\begin{matrix} (2) & g (B) \overset{?}{=} h (A) \frac{E [A]}{E [B]} \end{matrix}

$g(B)\stackrel{?}= h(A)\frac{E[A]}{E[B]} \tag 2$ может быть истинным утверждением, и, очевидно, ответ таков: не может быть кратный в целом.

g (B)

$g(B)$

h (A)

$h(A)$

Насколько мне известно, есть только два особых случая, когда может иметь место. $(1)$

Как было отмечено выше, для независимых случайных величин и , и являются вырожденными случайными величинами ( так называемый постоянной статистически-неграмотными людьми) , что равные и , соответственно, и поэтому , если , мы имеем равенство в . $A$ $B$ $g(B)$ $h(A)$ $E[A]$ $E[B]$ $E[B]\neq 0$ $(1)$
На другом конце спектра от независимости предположим, что где - обратимая функция и, следовательно, и полностью зависимые случайные величины. В этом случае и поэтому становится который в точности выполняется, когда где может быть любым ненулевое действительное число. Таким образом, выполняется всякий раз, когда является скалярным кратным , и, конечно, $A=g(B)$ $g(\cdot)$ $A=g(B)$ $B=g^{-1}(A)$
$E [A ∣ B] = g (B), E [B ∣ A] = g^{- 1} (A) = g^{- 1} (g (B)) = B$ $E[A\mid B] = g(B), \quad E[B\mid A] = g^{-1}(A) = g^{-1}(g(B)) = B$ $(1)$ $g (B) \overset{?}{=} B \frac{E [A]}{E [B]}$ $g(B)\stackrel{?}= B\frac{E[A]}{E[B]}$ $g(x) = \alpha x$ $\alpha$ $(1)$ $A$ $B$ $E[B]$ должно быть ненулевым (см . ответ Майкла Харди ). Вышеуказанное развитие показывает, что должна быть линейной функцией и что не может выполняться для аффинных функций с . Однако обратите внимание, что Алекос Пападополус в своем ответе и своих комментариях после этого утверждает, что если - нормальная случайная величина с ненулевым средним, то для конкретных значений и которые он предоставляет, и удовлетворяют $g(x)$ $(1)$ $g(x) = \alpha x + \beta$ $\beta \neq 0$ $B$ $\alpha$ $\beta\neq 0$ $A=\alpha B+\beta$ $B$ $(1)$ . На мой взгляд, его пример неверен.

В комментарии к этому ответу Хубер предложил рассмотреть симметричное предполагаемое равенство какой из Конечно , всегда имеет место для независимых случайных величин , независимо от значений и и для скалярных кратных также. Конечно, более тривиально, выполняется для любых случайных величин и нулевым средним (независимых или зависимых, скалярных кратных или нет; это не имеет значения!): достаточно для равенства в . Таким образом, может быть не так интересно, как

\begin{matrix} (3) & E [A ∣ B] E [B] \overset{?}{=} E [B ∣ A] E [A] \end{matrix}

$E[A\mid B]E[B] \stackrel{?}=E[B\mid A]E[A]\tag{3}$

E [A]

$E[A]$

E [B]

$E[B]$

A = α B

$A = \alpha B$

(3)

$(3)$

A

$A$

B

$B$

E [A] = E [B] = 0

$E[A]=E[B]=0$

(3)

$(3)$

(3)

$(3)$

(1)

$(1)$ как тема для обсуждения.

Дилип Сарватэ
источник

9

+1. Чтобы быть щедрым, вопрос может быть истолкован как вопрос, является ли , где вопрос о делении на ноль исчезает.

E (A | B) E (B) = E (B | A) E (A)

$E(A|B)E(B)=E(B|A)E(A)$

whuber

1

@whuber Спасибо. Мое редактирование обращается к более общему вопросу о том, возможно ли иметь .

E [A ∣ B] E [B] = E [B ∣ A] E [A]

$E[A\mid B]E[B]=E[B\mid A]E[A]$

Дилип

11

Результат не соответствует действительности, давайте посмотрим на это на простом примере. Пусть имеет биномиальное распределение с параметрами и имеют бета-распределение с параметрами , то есть байесовскую модель с сопряженным априором. Теперь просто вычислите две стороны вашей формулы, левая часть - это , а правая часть - и те, конечно, не равны. $X \mid P=p$ $n,p$ $P$ $(\alpha, \beta)$ $\DeclareMathOperator{\E}{\mathbb{E}} \E X \mid P = nP$

E (P ∣ X) \frac{E X}{E P} = \frac{α + X}{n + α + β} \frac{α / (α + β)}{n α / (α + β)}

$\E( P\mid X) \frac{\E X}{\E P} = \frac{\alpha+X}{n+\alpha+\beta} \frac{\alpha/(\alpha+\beta)}{n\alpha/(\alpha+\beta)}$

Къетил б Халворсен
источник

2

Условное ожидаемое значение случайной величины для события, когда является числом, которое зависит от того, какое число . Назовите этоТогда условное ожидаемое значение является случайная величина, значение которой полностью определяется значением случайной величины . Таким образом является функцией и является функцией . $A$ $B=b$ $b$ $h(b).$ $\operatorname{E}(A\mid B)$ $h(B),$ $B$ $\operatorname{E}(A\mid B)$ $B$ $\operatorname{E}(B\mid A)$ $A$

Частное является просто числом. $\operatorname{E}(A)/\operatorname{E}(B)$

Таким образом, одна сторона предложенного вами равенства определяется а другая - , поэтому они обычно не могут быть равны. $A$ $B$

(Возможно, я должен добавить, что они могут быть равны в тривиальном случае, когда значения и определяют друг друга, как, например, когда и , когда Но функции, равные друг другу только в нескольких точках, не равны.) $A$ $B$ $A = \alpha B, \alpha \neq 0$ $E[B]\neq 0$

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

Майкл Харди
источник

Вы имеете в виду, что они не обязательно равны? Я имею в виду, они могут быть равны?

BCLC

1

@BCLC: они равны только в тривиальных случаях. И две функции, равные друг другу в одних точках, а не в других, не равны.

Майкл Харди

2

«Но только в этом тривиальном случае они могут быть равны» (выделение добавлено) не совсем правильно. Рассмотрим независимые и с . Тогда а и т. Д.

A

$A$

B

$B$

E [B] \neq 0

$E[B]\neq 0$

E [A ∣ B] = E [A]

$E[A\mid B] = E[A]$

E [B ∣ A] = E [B]

$E[B\mid A] = E[B]$

E [B ∣ A] \frac{E [A]}{E [B]} = E [B] \frac{E [A]}{E [B]} = E [A] = E [A ∣ B] .

$E[B\mid A] \frac{E[A]}{E[B]} = E[B]\frac{E[A]}{E[B]} = E[A] = E[A\mid B].$

Дилип Сарвате

@DilipSarwate Я собирался сказать это, ха-ха!

BCLC

Я отредактировал ваш ответ, добавив несколько деталей для указанного вами случая. Пожалуйста, откат, если вам не нравятся изменения.

Дилип Сарвате

-1

Выражение, конечно, не имеет места вообще. Для забавы ниже я покажу, что если и совместно следуют двумерному нормальному распределению и имеют ненулевое среднее значение, результат будет иметь место, если две переменные являются линейными функциями друг от друга и имеют одинаковый коэффициент вариации ( отношение стандартного отклонения к среднему) в абсолютном выражении. $A$ $B$

Для совместно нормалей имеем

E (A ∣ B) = μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B})

$\operatorname{E}(A \mid B) = \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B)$

и мы хотим навязать

μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = [μ_{B} + ρ \frac{σ_{B}}{σ_{A}} (A - μ_{A})] \frac{μ_{A}}{μ_{B}}

$\mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \left[\mu_B + \rho \frac{\sigma_B}{\sigma_A}(A - \mu_A)\right]\frac{\mu_A}{\mu_B}$

⟹ μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = μ_{A} + ρ \frac{σ_{B}}{σ_{A}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$\implies \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \mu_A + \rho \frac{\sigma_B}{\sigma_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

Упростите а затем и чтобы получить $\mu_A$ $\rho$

B = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$B = \mu_B +\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

Таким образом, это линейная зависимость, которая должна сохраняться между двумя переменными (поэтому они, безусловно, являются зависимыми, с коэффициентом корреляции, равным единице в абсолютном выражении), чтобы получить желаемое равенство. Что это значит?

Во-первых, необходимо также убедиться, что

E (B) \equiv μ_{B} = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (E (A) - μ_{A}) ⟹ μ_{B} = μ_{B}

$E(B) \equiv \mu_B = \mu_B+\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(E(A) - \mu_A) \implies \mu_B = \mu_B$

поэтому никакое другое ограничение не накладывается на среднее значение (или ), за исключением того, что они ненулевые. Также отношение для дисперсии должно быть удовлетворено, $B$ $A$

Var (B) \equiv σ_{B}^{2} = {(\frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}})}^{2} Var (A)

$\operatorname{Var}(B) \equiv \sigma^2_B = \left(\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}\right)^2\operatorname{Var}(A)$

⟹ {(σ_{A}^{2})}^{2} σ_{B}^{2} = {(σ_{B}^{2})}^{2} σ_{A}^{2} {(\frac{μ_{A}}{μ_{B}})}^{2}

$\implies \left(\sigma^2_A\right)^2\sigma^2_B = \left(\sigma^2_B\right)^2\sigma^2_A\left(\frac{\mu_A}{\mu_B}\right)^2$

⟹ {(\frac{σ_{A}}{μ_{A}})}^{2} = {(\frac{σ_{B}}{μ_{B}})}^{2} ⟹ ({cv}_{A})^{2} = ({cv}_{B})^{2}

$\implies \left(\frac{\sigma_A}{\mu_A}\right)^2 = \left(\frac{\sigma_B}{\mu_B}\right)^2 \implies (\text{cv}_A)^2 = (\text{cv}_B)^2$

⟹ | {cv}_{A} | = | {cv}_{B} |

$\implies |\text{cv}_A| = |\text{cv}_B|$

который должен был быть показан.

Обратите внимание, что равенство коэффициента вариации в абсолютном выражении позволяет переменным иметь различную дисперсию, а также, одна из которых имеет положительное среднее, а другая отрицательная.

Алекос Пападопулос
источник

1

Разве это не запутанный путь к где - скаляр?

A = α B

$A = \alpha B$

α

$\alpha$

Мэтью Ганн

1

@MatthewGunn Ваш комментарий точно в цель. Нормальность не имеет ничего общего с вопросом. Для случайных величин и такие , что , и аналогично, . Следовательно, предполагая, что ,Нет нормальности, нети т.д., и на самом деле просто повторение комментария в ответе Майкла Харди.

A

$A$

B

$B$

A = α B

$A = \alpha B$

E [A ∣ B] = α B = A

$E[A\mid B] = \alpha B = A$

E [B ∣ A] = B

$E[B\mid A] = B$

E [B] \neq 0

$E[B]\neq 0$

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

| c v_{A} | = | c v_{B} |

$|cv_A|=|cv_B|$

Дилип Сарвате,

Если вы напишите \ text {Var} вместо \ operatorname {Var}, вы увидите и вместо иВот почему последнее стандартное использование.

a Var X

$a\text{Var}X$

a Var (X)

$a\text{Var}(X)$

a Var X

$a\operatorname{Var}X$

a Var (X) .

$a\operatorname{Var}(X).$

Майкл Харди

@ MatthewGun Мне кажется, что предоставление ответов, содержащих конкретные примеры, считается ценным содержанием на этом сайте. Так что да, когда случайная переменная является аффинной функцией другого, и они совместно нормальны с ненулевыми средними, тогда нужно иметь равные коэффициенты вариации, в то время как также нет ограничений на средства этих rv. С другой стороны, когда случайная переменная является просто линейной функцией другой, отношение выполняется всегда. Так что нет, мой ответ не является запутанным способом сказать . (cc: @DilipSarwate)

A = a B

$A=aB$

Алекос Пападопулос

2

Если является ненормальной случайной величиной с и (и так ), тоТеперь, если мы хотим, чтобы равнялось , должно быть, что и поэтому . Таким образом, для ненормального предполагаемый результат OP имеет место, если но не если

B

$B$

E [B] = μ_{B} \neq 0

$E[B]=\mu_B\neq 0$

A = c B + d

$A=c B+d$

B = \frac{A - d}{c}

$B=\frac{A-d}{c}$

E [A ∣ B] = c B + d = A, E [B ∣ A] = \frac{A - d}{c} = B .

$E[A\mid B]=cB+d=A, E[B\mid A]=\frac{A-d}{c}=B.$

E [A ∣ B] = c B + d

$E[A\mid B]=cB+d$

E [B ∣ A] \cdot \frac{μ_{A}}{μ_{B}} = B \cdot \frac{μ_{A}}{μ_{B}}

$E[B\mid A]\cdot\frac{\mu_A}{\mu_B} =B\cdot\frac{\mu_A}{\mu_B}$

c B + d = B \cdot \frac{μ_{A}}{μ_{B}} ⟹ d = 0, c = \frac{μ_{A}}{μ_{B}}

$cB+d=B\cdot\frac{\mu_A}{\mu_B}\implies d=0,c=\frac{\mu_A}{\mu_B}$

A = c B = \frac{μ_{A}}{μ_{B}} B

$A=cB=\frac{\mu_A}{\mu_B}B$

B

$B$

A = c B

$A=cB$

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .Как конечно, как вы доказали, результат справедлив для нормальных случайных величин, если .

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$

Дилип

Справедлива ли теорема Байеса для ожиданий?

Ответы: