АМС асимптотически эффективен при гетероскедастичности

Я знаю, что МНК беспристрастна, но не эффективна при гетероскедастичности в условиях линейной регрессии.

В википедии

http://en.wikipedia.org/wiki/Minimum_mean_square_error

Оценщик MMSE асимптотически несмещен и сходится по распределению к нормальному распределению: $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$ , где (х) информация Фишера х. Таким образом, оценщик MMSE асимптотически эффективен.

MMSE считается асимптотически эффективным. Я немного запутался здесь.

Означает ли это, что МНК не эффективна в конечной выборке, но асимптотически эффективна при гетероскедастичности?

Критика текущих ответов: пока предлагаемые ответы не касаются ограничивающего распределения.

заранее спасибо

least-squares heteroscedasticity efficiency Кагдас Озгенц
источник

Это довольно длинная статья в Википедии. Поскольку, кроме того, они могут быть изменены, не могли бы вы привести цитату, вызывающую путаницу?

хейзеб

Информация Фишера получена из функции правдоподобия. Таким образом, это подразумевает, что вероятность была указана правильно. То есть утверждение, на которое вы ссылаетесь, предполагает, что если есть какая-либо гетероскедастичность, регрессия была взвешена таким образом, чтобы гетероскедастичность была правильно задана. См. En.wikipedia.org/wiki/Least_squares#Weighted_least_squares . На практике мы часто не знаем формы гетероскедастичности, поэтому мы иногда принимаем неэффективность, а не рискуем смещать регрессию, не уточняя схемы взвешивания.

Захари Блюменфельд

@ZacharyBlumenfeld В статье не было предположения о распределении x. Как мы получили информацию о Фишере?

Кагдас Озгенц

См. En.wikipedia.org/wiki/Fisher_information. В статье подразумевается распределение по

когда оно принимает ожидания в разделе определения. Обратите внимание, что гомоскедастичность там никогда не предполагалась. В контексте МНК гомоскедактичность предполагала

единичная матрица. Гетероскедактичность учитывает

, любую диагональную положительную полуопределенность

Использование

приведет к другой информации о Фишере, чем использование

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

Захари Блюменфельд

где я могу увидеть доказательство этого факта, что «MMSE сходится в распределении к нормальному распределению?»

Хаджир

Ответы:

Статья никогда не предполагала гомоскадастичность в определении. Для того, чтобы поместить его в контексте статьи, гомоскедастичности бы говоря : , где

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

это

единичная матрицаа

является скаляром положительное число. Гетероскадастичность позволяет

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Любой диаганол положительно определен. В статье ковариационная матрица определяется наиболее общим из возможных способов, как центрированный второй момент некоторого неявного многовариантного распределения. мы должны знать , многомерное распределение получить асимптотический эффективную и последовательную оценку . Это будет происходить из функции правдоподобия (которая является обязательным компонентом апостериорного значения). Например, предположим , (т.е. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ является многомерной нормальной PDF. . Затем подразумеваемая функция правдоподобия , где $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

Информационная матрица Фишера может быть записана как см. en.wikipedia.org/wiki/Fisher_information для получения дополнительной информации. Отсюда мы можем вывести

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

$y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

$\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

Захари Блюменфельд
источник

Спасибо за все время, которое вы провели. Тем не менее, я думаю, что запись в вики - полная чушь. MMSE не даст эффективности, и нигде не указано, что образцы взвешены надлежащим образом. Более того, даже если мы предположим, что выборки взвешены, это все равно не эффективная оценка, если распределение не является гауссовым, что также не указано.

Кагдас Озгенц

@CagdasOzgenc Я с уважением не согласен. Статья сформулирована общим байесовским способом, который может включать в себя регрессию, но также и многие другие модели (кажется, что она больше нацелена на фильтр Калмана). Вероятность является наиболее эффективной оценщиком, когда она известна, это базовое свойство вероятности. То, что вы говорите, относится строго к подмножеству регрессионных моделей (хотя и среди наиболее широко применяемых моделей), где предполагается нормальность при выводе условий первого порядка.

Захари Блюменфельд

Вы сказали это сами. К сожалению, статья не об оценке вероятности. Это минимальная среднеквадратичная оценка, которая эффективна, когда выполняются определенные условия.

Кагдас Озгенц

Хорошо, я согласен не согласиться :) Возможно, существует конфликт с определением MMSE между тем, как он используется в наиболее частой регрессии и как он применяется здесь в более байесовской обстановке. Возможно, они должны изобрести новое имя для этого. Тем не менее, вероятности (или, возможно, другие непараметрические оценки) подразумеваются при принятии независимых ожиданий для каждого квадрата остатка. особенно в байесовской обстановке (иначе как бы мы оценили это?). После поиска в Google я нашел много похожих результатов, чем в Википедии. В любом случае я согласен с тем, что терминологией злоупотребляют.

Захари Блюменфельд

Нет, OLS не эффективен при гетероскедастичности. Эффективность оценки получается, если оценка имеет наименьшую дисперсию среди других возможных оценок. Утверждения об эффективности в МНК делаются независимо от предельного распределения оценки.

случайный парень
источник