Многомерное нормальное распределение коэффициента регрессии?

Читая учебник по регрессии, я обнаружил следующий абзац:

Наименьших квадратов оценка вектора коэффициентов линейной регрессии ( ) $\beta$

$\hat{β} знак равно ({Икс}^{T} Икс)^{- 1} {Икс}^{T} Y$ $\hat{\beta} = (X^{t}X)^{-1}{X^t}y$
которая, если рассматривать ее как функцию данных (рассматривая предикторы как константы), является линейной комбинацией данных. Используя центральную предельную теорему, можно показать, что распределение будет приблизительно многомерным нормальным, если размер выборки велик. $y$ $X$ $\beta$

Я определенно что-то упускаю из текста, но я не понимаю, как у одного значения быть распределение? Как генерируются множественные значения для получения распределения, указанного в тексте? $\beta$ $\beta$

multiple-regression вышеперечисленное
источник

- вектор коэффициентов регрессии - проясняет ли это путаницу?

β

$\beta$

Макрос

β

$\beta$

\hat{β}

$\hat{\beta}$

Может помочь заметить, что

считается постоянной матрицей в настройке регрессии и что

является реализацией (векторной) случайной величины. Этот бит о CLT, тем не менее, не совсем корректен: он полагается либо на

имеющий определенную структуру, которая иногда фактически не происходит даже с огромными наборами данных, либо насам

, являющийся многомерным нормальным (но тогда нет необходимости вызвать CLT).

H = (X^{t} X)^{- 1} X^{t}

$H = (X^tX)^{-1}X^t$

y

$y$

H

$H$

y

$y$

whuber

@Taylor Но как вы узнаете распределение B, если единственное, что я знаю, это то, что «размер выборки велик»?

выше

@Taylor Отдельный компонент бета-фактора будет иметь при распределении, только если компонент ошибки в регрессионной модели является гауссовым с 0 средним и постоянной дисперсией. В ненормальном случае вы не обязательно знаете его распределение при нулевой гипотезе, но оно все равно может быть асимптотически нормальным. Однако, как говорится в wuber, центральная предельная теорема может не выполняться, потому что это средневзвешенное значение, и мы должны знать, что веса не меняются с размером выборки таким образом, который позволяет нескольким членам доминировать в сумме.

Майкл Р. Черник

Многомерное нормальное распределение коэффициента регрессии?

Ответы: