Правильно ли использовать закон больших чисел?

Обычная ЗБЧ я видел, теорема утверждает , что $1/n \sum u_t \rightarrow^p E(u_t)=\mu$ , где ожидаемая величина не зависит от т. Однако я не могу применить это к упражнению ниже.

$\displaystyle \frac{1}{n} \sum u_t \rightarrow^p \lim_{n \rightarrow \infty}\frac{1}{n} \sum E(u_t)$

Результат (3.44): , и это также результат, который они называют «в предыдущем упражнении», и (3.46) - это только первое уравнение без плимов.$Var(\hat u_t^2)=E(\hat u_t^2)=(1-h_t)\sigma^2$

Итак, какой LLN я могу применить?

Любая помощь будет оценена.

Являются ли независимыми? Если да, то результат действительно является версией закона больших чисел Колмогорова, который касается независимых (но не обязательно одинаково распределенных) процессов.$\hat{u}_t^2$

Вот формальное утверждение. Предположим, что - это последовательность независимых вещественных случайных величин, которая удовлетворяет $\{u_t\}_{t=1}^{\infty}$

$$\begin{equation*} \sum_{t=1}^{\infty}{\dfrac{Var(u_t)}{t^2}}<\infty \end{equation*}$$

Тогда случайная величина сходится 0 почти наверняка.

$$\begin{equation*} \dfrac{1}{n} \sum_{t=1}^{n}{[u_t-\mathbb{E}(u_t)]} \end{equation*}$$

Изменить: предположение о независимости кажется сильнее, чем необходимо, и следующий результат (адаптированная версия закона больших чисел для не независимых процессов) может быть полезным. Если существует и если существует и такие, что для всех , затем для любой .$\sigma_{n,m}=Cov(u_n,u_m)$$0< \alpha <1$$M \in \mathbb{R}$$\sigma_{n,m} < M \alpha^{|n-m|}$$(n,m)$

$$\begin{equation*} \mathbb{P}(|\dfrac{1}{n}\sum_{t=1}^{n}u_t- \dfrac{1}{n}\sum_{t=1}^{n}\mathbb{E}(u_t)|>\epsilon] < \dfrac{M}{n \epsilon^2} \end{equation*}$$ $\epsilon$

Немного более интуитивно понятная формулировка достаточного условия для соблюдения (слабого) закона больших чисел (который связан со свойством согласованности), для среднего значения из набора независимых, неидентично распределенных случайных величин с Конечные дисперсии и ковариации следующие («условие Маркова»):

$$\text {Var}\left (\frac 1{n}\sum_{t=1}^n x_t\right) \rightarrow 0$$

Это просто говорит о том, что достаточно того, что дисперсия среднего значения стремится к нулю, что имеет интуицию. Разобрать,

$$\text {Var}\left (\frac 1{n}\sum_{t=1}^n x_t\right) = \frac 1{n^2}\sum_{t=1}^n \text {Var}(x_t) +\frac 1{n^2}\sum_{t\neq s} \text {Cov}(x_t,x_s) \rightarrow 0$$

Поскольку все дисперсии конечны, первая сумма стремится к нулю. Что касается второй суммы, то если каждый элемент соотносится со всеми остальными, независимо от того, сколько их, то эта (двойная) сумма имеет строго ненулевых элементов, то есть порядка . Если это так, то он не обнуляется и достаточное условие не выполняется.$n^2-n$$O(n^2)$

Самый простой способ убедиться в этом - предположить, что все rv одинаково связаны: если

$$\text {Cov}(x_t,x_s) = c\;\forall t,s \implies \text {Var}\left (\frac 1{n}\sum_{t=1}^n x_t\right) = \frac 1{n^2}\sum_{t=1}^n \text {Var}(x_t) +\left(1-\frac 1n\right) c\rightarrow c$$

Кстати, именно так можно понять, почему при корреляции «все со всеми» среднее значение выборки остается случайной величиной независимо от размера выборки.

Так что же нужно для получения слабого ? $\text{LLN}$

Мы можем предположить зависимость, а именно, что каждый rv коррелируется только с другими, причем является фиксированным числом. Это отправит дисперсию среднего значения в ноль.$m-$$m$$m$

Можно предположить, что с увеличением размера выборки число ненулевых ковариаций увеличивается с ней, но не с той же скоростью: .$m(n)/n \rightarrow 0$

Если мы хотим утверждать, что каждый rv коррелируется с любым другим (что является случаем OP, поскольку он имеет дело с остатками оценки), то мы приходим к условию, указанному в ответе @ Oliv: оно имеет интуитивное значение (и обоснование) как «ковариация уменьшается с увеличением расстояния», только когда существует естественное упорядочение выборки (временное или пространственное). Когда образец является истинным поперечным сечением, и можно изменить порядок rv по желанию, условие является просто математическим.