Задний план
Предположим, у нас есть модель Обыкновенных наименьших квадратов, в которой у нас есть коэффициентов в нашей регрессионной модели,
где - вектор коэффициентов, - матрица проектирования, определяемая как
Мы минимизируем сумму-на-квадратным ошибок, установив наши оценки для , чтобы быть & beta ; = ( Х Т Х ) - 1 х Т у
Необъективная оценка : где \ mathbf {\ hat {y}} \ equ \ mathbf {X} \ mathbf {\ hat {\ beta}} ( ссылка ).у ≡Х β
Ковариация определяется как
Вопрос
Как я могу доказать, что для ,
Мои попытки
Я знаю, что для случайных величин, выбранных из , вы можете показать, что , переписав LHS как и понимая, что нумертор является стандартным нормальным распределением, а знаменатель является квадратным корнем распределения хи-квадрат с df = (n-1) и делится на (n- 1) ( ссылка ) И поэтому оно следует t-распределению с df = (n-1) ( ref ).x ∼ N ( μ , σ 2 ) ˉ x - μ( ˉ x -μ
Я не смог распространить это доказательство на мой вопрос ...
Любые идеи? Я знаю об этом вопросе , но они явно не доказывают это, они просто дают эмпирическое правило, говорящее «каждый предиктор стоит вам степени свободы».
Ответы:
Поскольку мы знаем, что и, таким образом, мы знаем, что для каждого компонента из , где - это диагональный элемент . Таким образом, мы знаем, что & beta ; -& beta~N(0,σ2(ХТХ)-1)к & beta ; & beta ; к-& betaк~N(0,σ2Sкk)Skkkth(XTX
Обратите внимание на утверждение теоремы о распределении идемпотентной квадратичной формы в стандартном нормальном векторе (теорема B.8 по Грин):
Пусть обозначает остаточный вектор регрессии, и пусть который является матрицей остаточных создателей (т.е. ) , Легко проверить, что симметрично и идемпотентно . М=Iп-Х(ХТХ)-1хТ,Му= ε Мε^
Пусть будет оценкой для .
Затем нам нужно сделать некоторую линейную алгебру. Обратите внимание на эти три свойства линейной алгебры:
Поэтому
Тогда
Применяя теорему о распределении идемпотентной квадратичной формы в стандартном нормальном векторе (изложенную выше), мы знаем, что .V∼χ2n−p
Поскольку вы предполагали, что нормально распределен, то не зависит от , а поскольку является функцией , то также не зависит от . Таким образом, и не зависят друг от друга.ε β^ ε^ s2 ε^ s2 β^ zk V
Тогда - это отношение стандартного нормального распределения к квадратному корню из распределения Хи-квадрат с такими же степенями свободы (т.е. ), который является характеристикой распределения . Следовательно, статистика имеет распределение с степенями свободы.
Затем его можно алгебраически манипулировать в более знакомой форме.
источник
Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector
разве нам не нужно, чтобы был симметричным? К сожалению, у меня нет Грина, поэтому я не вижу доказательств, хотя я видел, что Википедия имела ту же форму, что и вы . Однако встречным примером, по-видимому, является идемпотентная матрица которая приводит к который не является хи-квадрат, поскольку он может принимать отрицательные значения. ..