Пример последовательной и предвзятой оценки?

13

Действительно озадачен этим. Мне бы очень хотелось, чтобы пример или ситуация, когда оценка B была бы последовательной и предвзятой.

mathematical-statistics estimation econometrics Джимми Уигглз
источник

3

Это для класса?

Glen_b

5

Я думаю, что поздняя спецификация, которую вы ищете для примера временного ряда, преобразует это в другой вопрос, поскольку это лишит законной силы уже предоставленные превосходные ответы. Но это нормально - Вы можете задать новый вопрос.

Sycorax говорит восстановить Монику

6

Я вижу, вы изменили свой вопрос. Учитывая, что несколько ответов уже касались вашего предыдущего вопроса, я советую вам поменять его обратно и опубликовать новый вопрос специально для моделей временных рядов.

JohnK

3

Удивительно, что даже если вы запрашиваете оценку, связанную с временными рядами, никто не упомянул OLS для AR (1). Оценка является предвзятой, но последовательной, и ее довольно легко показать (и поиск в Google даст вам много материала по этому вопросу). Редактировать: похоже, что запрос временного ряда был поздним дополнением, что объясняло бы отсутствие таких ответов ...

hejseb

2

Вот довольно тривиальный пример: , .

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$

ϵ \neq 0

$\epsilon \neq 0$

dsaxton

23

Самый простой пример, который я могу вспомнить, - это выборочная дисперсия, которая интуитивно понятна большинству из нас, а именно сумма квадратов отклонений, деленная на вместо : $n$ $n-1$

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

Нетрудно показать, что и поэтому оценка смещена. Но, предполагая конечную дисперсию , обратите внимание, что смещение стремится к нулю при потому что $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ $\sigma^2$ $n \to \infty$

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

Также можно показать, что дисперсия оценки стремится к нулю, и поэтому оценка сходится в среднеквадратичном . Следовательно, оно также сходится по вероятности .

JohnK
источник

1

Это полезный пример, хотя здесь может применяться довольно слабая интерпретация «предвзятости» (которая используется несколько двусмысленно в самом вопросе). Можно также попросить что-то более сильное, например, последовательность оценки, которая является последовательной, но с уклоном, который не исчезает даже асимптотически.

кардинал

@cardinal Смещение должно асимптотически исчезать, чтобы оценка была последовательной, не так ли?

JohnK

3

Нет. (См поток комментариев для более подробной информации.)

кардинал

Я думаю , что было бы полезно вызов вашей оценки

, а не

, а

наиболее обычно относится к несмещенной оценки, в то время как

часто относится к ОМП.

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

Клифф AB

@CliffAB Да, это то, что обозначает индекс

, сумма квадратов отклонений делится на

вместо обычных

.

n

$n$

n

$n$

n - 1

$n-1$

JohnK

9

Простой пример будет оценка параметра & данного IID наблюдения $\theta > 0$ $n$ . $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

$\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$

Адриан
источник

6

Рассмотрим любой несмещенный и непротиворечивый оценщик и последовательность сходящуюся к 1 ( не должен быть случайным), и сформируйте . Он смещен, но непротиворечив, поскольку сходится к 1. $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

Из википедии:

Грубо говоря, оценщик параметра называется непротиворечивым, если он сходится по вероятности к истинному значению параметра: $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

Теперь напомним, что смещение оценки определяется как:

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

Смещение действительно ненулевое, и сходимость по вероятности остается верной.

RUser4512
источник

Я ценю ответ и объяснение. Теперь у меня есть лучшее понимание. Спасибо

Джимми Вигглз

Этот ответ вначале нуждается в небольшом исправлении, чтобы прояснить, что не любой непредвзятый подойдет. Сама исходная последовательность оценки должна быть последовательной.

T_{n}

$T_n$

кардинал

2

В настройке временного ряда с отстающей зависимой переменной, включенной в качестве регрессора, оценка OLS будет согласованной, но смещенной. Причина этого заключается в том, что для того, чтобы показать объективность оценки OLS, нам нужна строгая экзогенность, , т. е. член ошибки в период не связан со всеми регрессорами во все периоды времени. Тем не менее, чтобы показать непротиворечивость оценки OLS, нам нужна только одновременная экзогенность, , то есть термин ошибки, , в период не связан с регрессорами, $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ в период . Рассмотрим модель AR (1): с отныне. $t$ $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

Сначала я покажу, что строгая экзогенность не имеет места в модели с лаговой зависимой переменной, включенной в качестве регрессора. Давайте посмотрим на соотношение между и $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

Если предположить последовательную экзогенность, то , то есть термин ошибки, , в период не связан со всеми регрессорами в предыдущих периодах времени и текущим, то есть первым слагаемым выше, , исчезнет. Из вышесказанного ясно, что если у нас нет строгой экзогенности, ожидание . Однако должно быть ясно, что современная экзогенность, , имеет место. $E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

Теперь давайте посмотрим на смещение оценки OLS при оценке модели AR (1), указанной выше. Оценка OLS для , имеет вид: $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

Затем возьмите условное ожидание для всех предыдущих, текущих и будущих значений: , : $E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Тем не менее, мы знаем из что , что означает, что и, следовательно, но смещено: $Eq. (1)$ $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

Все, что я предполагаю, чтобы показать непротиворечивость оценки OLS в модели AR (1), это одновременная экзогенность, что приводит к условию момента, с . Как и прежде, мы имеем, что оценка OLS для , задается как: $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ $E\left[\varepsilon_{t}x_{t}\right]=0$ $x_{t}=y_{t-1}$ $\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Теперь предположим, что и является положительным и конечным, . $plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ $\sigma_{y}^{2}$ $0<\sigma_{y}^{2}<\infty$

Тогда, когда и пока действует закон больших чисел (LLN), мы имеем . Используя этот результат, мы имеем: $T\rightarrow\infty$ $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

Тем самым было показано, что оценка OLS для , в модели AR (1) является предвзятой, но непротиворечивой. Обратите внимание, что этот результат справедлив для всех регрессий, в которых в качестве регрессора включена отстающая зависимая переменная. $p$ $\hat{\rho}$

Plissken
источник

Пример последовательной и предвзятой оценки?

Ответы: