Какова максимальная оценка вероятности ковариации двумерных нормальных данных, когда известны среднее значение и дисперсия?

Предположим, у нас есть случайная выборка из двумерного нормального распределения, которая имеет нули в качестве средних значений и единицы в качестве дисперсий, поэтому единственным неизвестным параметром является ковариация. Что такое MLE ковариации? Я знаю, что это должно быть что-то вроде но откуда мы это знаем? $\frac{1}{n} \sum_{j=1}^{n}x_j y_j$

normal-distribution mathematical-statistics maximum-likelihood bivariate Stacy
источник

Для начала, разве вы не думаете, что немного глупо оценивать средние значения с помощью и когда на самом деле мы знаем, что они равны 0 и 0?

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

Вольфганг

Очень недоверчивый, исправил это. До сих пор не понимаю, как это может легко последовать. Это похоже на выборочную дисперсию, но почему это MLE (если это не так, и я сделал еще одну ошибку)

Стейси

Вы удалили ? Принятие этой формулы не означает, что вы рассматриваете и как оценки средних значений.

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

\bar{x}

$\bar x$

\bar{y}

$\bar y$

Стефан Лоран

@ StéphaneLaurent Да, в первом посте формула была дана так, как вы ее написали.

Вольфганг

Оценочный коэффициент для коэффициента корреляции (который в случае двумерного стандартного нормаля равен ковариации)

\tilde{r} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

метод оценки моментов, ковариация образца. Давайте посмотрим, совпадает ли это с оценкой максимального правдоподобия, . $\hat \rho$

Совместная плотность стандартного двухмерного нормальна коэффициент корреляции İŞ $\rho$

f (x, y) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp {- \frac{x^{2} + y^{2} - 2 ρ x y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

и таким образом, логарифмическая функция правдоподобия из н.о.р. выборки размера является $n$

\ln L = - n \ln (2 π) - \frac{n}{2} \ln (1 - ρ^{2}) - \frac{1}{2 (1 - ρ^{2})} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2} - 2 ρ x_{i} y_{i})

$\ln L = -n\ln(2\pi) -\frac n2\ln(1-\rho^2) - \frac 1{2(1-\rho^2)}\sum_{i=1}^n(x_i^2 +y_i^2 -2\rho x_iy_i)$

(здесь предположение iid, конечно же, относится к каждому тиражу из двумерной популяции)

Взяв производную по и установив ее равной нулю, получим полином 3d-степени по : $\rho$ $\rho$

\hat{ρ} : n {\hat{ρ}}^{3} - (\sum_{i = 1}^{n} x_{i} y_{i}) {\hat{ρ}}^{2} - (1 - \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2})) n \hat{ρ} - \sum_{i = 1}^{n} x_{i} y_{i} = 0

$\hat \rho: n\hat \rho^3 -\left(\sum_{i=1}^nx_iy_i\right)\hat\rho^2 -\left(1- \frac 1n\sum_{i=1}^n(x_i^2 +y_i^2) \right)n\hat \rho - \sum_{i=1}^nx_iy_i =0$

То , что вычисления правильны можно проверить , если один имеет ожидаемое значение производной оценивается в истинном коэффициенте -это будет равен нуль. $\rho$

Для компактности, записи , который является суммой образца дисперсии и . Если мы разделим выражение 1-й производной на , появится оценка MoM, а именно $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ $X$ $Y$ $n$

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

Делая алгебру, нетрудно заключить, что мы получим тогда и только тогда, когда , т.е. только если так получится, что сумма выборочных дисперсий равна сумма истинных отклонений. Так в общем $\hat \rho = \tilde r$ $(1/n)S_2 =2$

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

Так что здесь происходит? Кто-нибудь умнее объяснит это, на данный момент давайте попробуем симуляцию: я сгенерировал iid выборку из двух стандартных нормалей с коэффициентом корреляции . Размер выборки был . Значения выборки были $\rho=0.6$ $n=1.000$

\sum_{i = 1}^{n} x_{i} y_{i} = 522.05, S_{2} = 1913.28

$\sum_{i=1}^nx_iy_i = 522.05,\;\;S_2 = 1913.28$

Метод Метода Моментов дает нам

\tilde{r} = \frac{522.05}{1000} = 0.522

$\tilde r = \frac {522.05}{1000} = 0.522$

Что происходит с логарифмической вероятностью? Визуально у нас есть

введите описание изображения здесь

Численно мы имеем

\begin{array}{rrr} ρ & 1st deriv & lnL \\ 0.5 & - 70.92 & - 783.65 \\ 0.51 & - 59.41 & - 782.47 \\ 0.52 & - 47.7 & - 781.48 \\ 0.53 & - 35.78 & - 780.68 \\ 0.54 & - 23.64 & - 780.1 \\ 0.55 & - 11.29 & - 779.75 \\ 0.56 & 1.29 & - 779.64 \\ 0.57 & 14.1 & - 779.81 \\ 0.58 & 27.15 & - 780.27 \\ 0.59 & 40.44 & - 781.05 \\ 0.6 & 53.98 & - 782.18 \end{array}

$\begin{array}{| r | r | r |} \hline \hline ρ&\text{1st deriv}&\text{lnL}\\ \hline 0.5&-70.92&-783.65\\ 0.51&-59.41&-782.47\\ 0.52&-47.7&-781.48\\ 0.53&-35.78&-780.68\\ 0.54&-23.64&-780.1\\ 0.55&-11.29&-779.75\\ 0.56&1.29&-779.64\\ 0.57&14.1&-779.81\\ 0.58&27.15&-780.27\\ 0.59&40.44&-781.05\\ 0.6&53.98&-782.18\\ \hline \end{array}$

и мы видим, что логарифмическое правдоподобие имеет максимум a tad до где также 1-я производная становится равной нулю . Никаких сюрпризов для значений не показано. Также 1-я производная не имеет другого корня. $\rho=0.56$ $(\hat \rho = 0.558985)$ $\rho$

Таким образом, это моделирование согласуется с результатом, что оценка максимального правдоподобия не равна методу оценки моментов (который является выборочной ковариацией между двумя rv).

Но похоже, что «все» говорят, что это должно … так что кто-то должен придумать объяснение.

ОБНОВИТЬ

Ссылка, которая доказывает, что MLE является оценкой Метода Моментов: Anderson, TW, & Olkin, I. (1985). Оценка максимального правдоподобия параметров многомерного нормального распределения. Линейная алгебра и ее приложения, 70, 147-171.
Имеет ли значение, что здесь все средства и различия могут свободно изменяться и не фиксироваться?

... Вероятно, да, потому что комментарий @ guy в другом (теперь удаленном) ответе говорит о том, что при заданных параметрах среднего и дисперсии двумерная нормаль становится членом изогнутого экспоненциального семейства (и поэтому некоторые результаты и свойства изменяются) ... который кажется единственным способом, который может согласовать два результата.

Алекос Пападопулос
источник

Это немного удивительно, но после некоторых размышлений этого следовало ожидать. Проблему можно перефразировать как оценку коэффициента регрессии в модели где . Это не линейная модель, поэтому нет оснований ожидать, что MLE будет простым точечным произведением. Та же логика показывает (я думаю!) , Что если мы знаем только , то ОМП является и если мы знаем только . Если мы не знаем ни того, ни другого, мы получаем оценку вашего MOM.

ρ

$\rho$

Y = ρ X + ϵ

$Y = \rho X + \epsilon$

ϵ \sim N (0, {\sqrt{1 - ρ^{2}}}^{2})

$\epsilon \sim \mathcal N(0, \sqrt{1 - \rho^2}^2)$

Var (X)

$\mbox{Var}(X)$

x^{'} y / x^{'} x

$x'y / x'x$

x^{'} y / y^{'} y

$x'y / y'y$

Var (Y)

$\mbox{Var}(Y)$

парень

@ Гай: Очень интересно. Я думаю, что эти аргументы, если их немного расширить, вполне заслуживают публикации в качестве отдельного ответа!

амеба

@ парень, я не думаю, что эта формулировка эквивалентна, потому что логарифмическая правдоподобие в настройке регрессии содержит квадрат . Коэффициент связанный с отсутствует в формулировке двумерной плотности.

ϵ^{2} = (y - ρ x)^{2} = y^{2} - 2 ρ x y + ρ^{2} x^{2}

$\epsilon^2=(y-\rho x)^2 = y^2 -2\rho xy + \rho^2 x^2$

ρ^{2}

$\rho^2$

x^{2}

$x^2$

Алекос Пападопулос

Я предполагаю, что . Представьте, что и , тогда ожидается оценка .

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

n = 2

$n=2$

y_{1} = y_{2}

$y_1=y_2$

0

$0$

Стефан Лоран

@AlecosPapadopoulos . Термин отменяется знаменателем , поэтому единственный термин из данных, который вносит свой вклад в исходное логарифмическое правдоподобие: . Но это также непосредственно из хорошо известной факторизации , . Другие мои утверждения неверны, поскольку я не включил в них термин .

x^{2} + y^{2} - 2 ρ x y = (1 - ρ^{2}) x^{2} + (y - ρ x)^{2}

$x^2 + y^2 - 2\rho x y = (1 - \rho^2) x^2 + (y - \rho x)^2$

(1 - ρ^{2}) x^{2}

$(1 - \rho^2) x^2$

(1 - ρ^{2})

$(1 - \rho^2)$

(y - ρ x)^{2} / (1 - ρ^{2})

$(y - \rho x)^2 / (1 - \rho^2)$

X \sim N (μ_{X}, σ_{X}^{2})

$X \sim N(\mu_X, \sigma^2_X)$

[Y | X] \sim N (μ_{Y} + ρ_{X} \frac{σ_{Y}}{σ_{X}} (X - μ_{X}), σ_{Y | X}^{2} {\sqrt{1 - ρ^{2}}}^{2})

$[Y|X] \sim N(\mu_Y + \rho_X \frac{\sigma_Y}{\sigma_X} (X - \mu_X), \sigma^2_{Y|X} \sqrt{1 - \rho^2}^2)$

σ_{Y} / σ_{X}

$\sigma_Y/\sigma_X$

парень

Какова максимальная оценка вероятности ковариации двумерных нормальных данных, когда известны среднее значение и дисперсия?

Ответы: