Разница между t-тестом и ANOVA в линейной регрессии

Интересно, чем отличаются t-тест и ANOVA в линейной регрессии?

1. Является ли t-тест для проверки того, имеет ли какой-либо из уклонов и пересечений среднее значение «ноль», а ANOVA для проверки того, имеет ли все уклоны среднее значение «ноль»? Это единственная разница между ними?
2. В простой линейной регрессии, т. Е. Там, где есть только одна переменная-предиктор, существует только один наклон для оценки. Итак, эквивалентны ли t-тест и ANOVA, и если да, то как, учитывая, что они используют разные статистические данные (t-тест использует t-статистику, а ANOVA использует F-статистику)?

Общая линейная модель позволяет нам написать модель ANOVA в качестве модели регрессии. Предположим, у нас есть две группы с двумя наблюдениями в каждой, то есть четыре наблюдения в векторе . Тогда исходная сверхпараметризованная модель имеет вид , где - матрица предикторов, т. Е. Фиктивные переменные индикатора: E ( y ) = X ⋆ β ⋆ X ⋆ ( μ 1 μ 1 μ 2 μ 2 ) = ( 1 1 0 1 1 0 1 0 1 1 0 1 ) ( β ⋆ 0 β ⋆ 1 β ⋆ 2$y$$E(y) = X^{\star} \beta^{\star}$$X^{\star}$

$$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$$

Параметры не могут быть идентифицированы как потому что имеет ранг 2 ( не является обратимым). Чтобы изменить это, мы вводим ограничение (контрасты лечения), что дает нам новую модель : X ⋆ ( X ⋆ ) ′ X ⋆ β ⋆ 1 = 0 E ( y ) = X β ( μ 1 μ 1 μ 2 μ 2 ) = ( 1 0 1 0 1 1 1 $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$$X^{\star}$$(X^{\star})'X^{\star}$$\beta_{1}^{\star} = 0$$E(y) = X \beta$

$$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$$

Итак, , т. принимает значение ожидаемого значения из нашей справочной категории (группа 1). , т. е. принимает значение различия для справочной категории. Поскольку с двумя группами есть только один параметр, связанный с групповым эффектом, нулевая гипотеза ANOVA (все параметры группового эффекта равны 0) совпадает с нулевой гипотезой регрессионного веса (параметр наклона равен 0).$\mu_{1} = \beta_{0}$$\beta_{0}$$\mu_{2} = \beta_{0} + \beta_{2}$$\beta_{2}$$\mu_{2} - \mu_{1}$

-test в общей линейной модели проверяет линейную комбинацию параметров против гипотетического значения при нулевой гипотезы. Выбрав , мы можем проверить гипотезу, что (обычный тест для параметра наклона), то есть здесь , Оценщик: , где - это МНК оценки для параметров. Общий тест статистики для такого составляет: $t$$\psi = \sum c_{j} \beta_{j}$$\psi_{0}$$c = (0, 1)'$$\beta_{2} = 0$$\mu_{2} - \mu_{1} = 0$$\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$$\hat{\beta} = (X'X)^{-1} X' y$$\psi$

$$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$$

| | е | | 2 R п к ( Х ) = 2 ( Х ' х ) - 1 х ' = ( 0,5 0,5 0 0 - 0,5 - 0,5 0,5 0,5 ) β 0 = $\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ - объективная оценка дисперсии ошибок, где - сумма квадратов невязок. В случае двух групп , , и , таким образом , являются оценками и . С 1 в нашем случае, статистика теста становится такой: $\|e\|^{2}$$\mathrm{Rank}(X) = 2$$(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$$\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$$\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$$c' (X'X)^{-1} c$

$$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$$

$t$ есть -distributed с ДФ (здесь ). Когда квадрат , вы получаете , тестовая статистика из ANOVA -test для двух групп ( для между ними, для внутри групп) , которые следует за - распределение с 1 и df.$t$$n - \mathrm{Rank}(X)$$n-2$$t$FbwFn-Rank(X$\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$$F$$b$$w$$F$$n - \mathrm{Rank}(X)$

С более чем двумя группами гипотеза ANOVA (все равны 0, с ) относится к более чем одному параметру и не может быть выражена как линейная комбинация , поэтому тесты не эквивалентны , 1 ≤ j $\beta_{j}$$1 \leq j$$\psi$

В 1 ANOVA обычно проверяет факторные переменные и то, является ли разница между группами значимой. Вы четко увидите разницу, если ваше программное обеспечение разрешает использовать переменные индикатора в регрессии: для каждого манекена вы получите значение ap, указывающее, значительно ли отличается оценка этой группы от 0, и, как следствие, значительно отличается от применяемой контрольной группы или контрольного значения. , Обычно вы не увидите, насколько важен сам индикатор, пока не пройдете тест ANOVA.

F-тест - это квадрат-критерий Стьюдента. Поэтому в 2-х то же самое.