Несмещенная оценка для модели AR ( )

Рассмотрим модель AR ( ) (предполагая нулевое среднее значение для простоты): $p$

{Икс}_{T} знак равно φ_{1} {Икс}_{T - 1} + ... + φ_{п} {Икс}_{T - п} + ε_{T}

$x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t$

Оценщик OLS (эквивалентный условному максимального правдоподобия) для является предвзятым, как отмечалось в недавнем потоке . $\mathbf{\varphi} := (\varphi_1,\dotsc,\varphi_p)$

(Любопытно, что я не смог найти ни предвзятости, упомянутой в «Анализе временных рядов» Гамильтона, ни в нескольких других учебниках по временным рядам. Однако его можно найти в различных заметках к лекциям и академических статьях, например, в этом ).

Я не смог выяснить, является ли точная оценка максимального правдоподобия AR ( ) смещенной или нет; отсюда мой первый вопрос. $p$

Вопрос 1: Является ли точная оценка максимального правдоподобия параметров авторегрессии модели AR ( ) смещенной? (Предположим, что процесс AR ( ) является стационарным. В противном случае оценка даже не является последовательной, поскольку она ограничена в стационарной области; см., Например, Hamilton «Анализ временных рядов» , стр. 123.) $p$ $\varphi_1,\dotsc,\varphi_p$ $p$

Также,

Вопрос 2: Есть ли достаточно простые объективные оценки?

time-series maximum-likelihood autoregressive unbiased-estimator Ричард Харди
источник

Я вполне уверен, что оценка ML в AR (p) смещена (существование границы стационарности предполагает, что она будет смещена), но у меня нет для вас доказательства прямо сейчас (большинство оценок ML смещено в любом случай, но у нас есть немного больше, чтобы продолжить здесь). [Лично я не считаю беспристрастность особенно полезным свойством, по крайней мере в целом, - это похоже на старую шутку о том, что статистики охотятся на уток. При прочих равных условиях, конечно , иметь его лучше, чем нет, но на практике при прочих равных условиях они никогда не бывают . Это важная концепция, хотя. ]

Glen_b

Я думал, что непредвзятость была бы желательна при работе с небольшими образцами, и я только что столкнулся с таким примером . Насколько я понимаю, в этом случае беспристрастность была более желательной, чем, скажем, эффективность, если ее можно было бы количественно оценить.

Ричард Харди

Там, где смещение не может быть маленьким (как в маленьких выборках), я действительно склонен искать что-то более похожее на минимальную среднеквадратичную ошибку. Какой смысл в том, что ваша оценка в среднем может быть неверной, когда на самом деле ваша альтернативная оценка может быть гораздо более ошибочной, потому что она имеет высокую дисперсию? например, если мое смещение при этом размере выборки для этого составляет 0,1, что может быть тревожно большим, так что вы скажете: «давайте использовать непредвзятую оценку» ... но если стандартная ошибка достаточно велика, чтобы моя оценка обычно была даже дальше от правильное значение ... мне лучше? ... ctd

ϕ

$\phi$

Восстановить Монику

ОТД. ... Я так не думаю (по крайней мере, не для моих обычных целей, и я почти никогда не видел хорошего аргумента для беспристрастности в практической ситуации, для которой не было бы лучше что-то вроде MMSE). Меня волнует, насколько неверна эта оценка - насколько далеко я могу оказаться от истинного значения, - а не насколько велик сдвиг в среднем, если я в этой ситуации еще миллион раз. Основная практическая ценность при определении смещения имеет тенденцию видеть, можете ли вы легко уменьшить его, не оказывая большого влияния на дисперсию.

Glen_b

Хороший аргумент, спасибо. Я буду думать больше об этом.

Ричард Харди

Это, конечно, не точный ответ на ваш вопрос 1, но, поскольку вы задали вопрос в целом, доказательства контрпримеров уже указывают на то, что ответ отрицательный.

Итак, вот небольшое исследование с использованием точной оценки ML, arima0чтобы доказать, что есть хотя бы один случай смещения:

reps <- 10000
n <- 30
true.ar1.coef <- 0.9

ar1.coefs <- rep(NA, reps)
for (i in 1:reps){
  y <- arima.sim(list(ar=true.ar1.coef), n)
  ar1.coefs[i] <- arima0(y, order=c(1,0,0), include.mean = F)$coef
}
mean(ar1.coefs) - true.ar1.coef

Кристоф Ханк
источник

Несмещенная оценка для модели AR ( )

Ответы: