Как обосновать погрешность термина в факториальном ANOVA?

Вероятно, очень простой вопрос о многофакторной ANOVA. Предположим, что существует двусторонняя схема, в которой мы тестируем как основные эффекты A, B, так и взаимодействие A: B. При тестировании основного эффекта для A с SS типа I эффект SS рассчитывается как разность , где R S S ( 1 ) - сумма квадратов остаточной ошибки для модель только с пересечением, и R S S ( A ) RSS для модели с добавленным фактором А. Мой вопрос касается выбора на срок ошибки:$RSS(1) - RSS(A)$$RSS(1)$$RSS(A)$

Как вы можете обосновать, что термин ошибки для этого теста обычно рассчитывается из RSS полной модели A + B + A: B, которая включает как основные эффекты, так и взаимодействие?

... в отличие от взятия условия ошибки из неограниченной модели из фактического сравнения (RSS из основного эффекта A в приведенном выше случае):

Это имеет значение, так как член ошибки из полной модели, вероятно, часто (не всегда) меньше, чем член ошибки из неограниченной модели в сравнении. Кажется, что выбор для термина ошибки является несколько произвольным, создавая пространство для желаемых изменений p-значения, просто добавляя / удаляя факторы, которые на самом деле не представляют интереса, но изменяют термин ошибки в любом случае.

В следующем примере значение F для A значительно изменяется в зависимости от выбора полной модели, даже если фактическое сравнение для эффекта SS остается неизменным.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

Тот же вопрос относится к SS типа II и в целом к ​​общей линейной гипотезе, т. Е. К сравнению модели с ограниченной и неограниченной моделью в рамках полной модели. (Для SS типа III неограниченная модель всегда является полной моделью, поэтому здесь не возникает вопроса)

Это очень старый вопрос, и я считаю, что ответ @ gung очень хороший (+1). Но так как это не совсем убедительно для @caracal, и так как я не в полной мере понимаю все его тонкости, я хотел бы привести простую цифру, иллюстрирующую, как я понимаю проблему.

Рассмотрим двустороннюю ANOVA (фактор A имеет три уровня, фактор B имеет два уровня), причем оба фактора, очевидно, очень значимы:

СС для фактора А огромен. SS для фактора B намного меньше, но из верхней фигуры видно, что фактор B, тем не менее, также очень важен.

Ошибка SS для модели, содержащей оба фактора, представлена ​​одним из шести гауссианов, и при сравнении SS для фактора B с этой ошибкой SS, тест заключит, что фактор B является значимым.

Ошибка SS для модели, содержащей только фактор B, однако, огромна! Сравнение SS для фактора B с этой огромной ошибкой SS определенно приведет к тому, что B будет казаться несущественным. Что явно не так.

Именно поэтому имеет смысл использовать ошибку SS из полной модели.

Обновление: чтобы прояснить некоторые моменты, которые я здесь подчеркиваю, я добавил несколько ссылок на места, где я более подробно обсуждаю соответствующие идеи.

F-тест проверяет, существует ли больше изменчивости (в частности, средних квадратов), связанной с фактором, чем можно было бы ожидать случайно Сколько различий мы можем ожидать случайно, оценивается из суммы квадратов ошибок, то есть, насколько изменчивость обусловлена ​​(связана с) неизвестным фактором. Это ваши остатки, что осталось после учета всего, о чем вы знаете. В вашем примере$RSS_{A}$содержит не только остаточную ошибку, но и изменчивость из-за известных факторов. В то время как$SS_{A}$теоретически, чтобы отскочить до некоторой степени случайно, это количество не теоретизируется, чтобы быть вызванным другими известными факторами ¹ . Таким образом, было бы нецелесообразно использовать$MS_{A}$как знаменатель в вашем F-тесте. Кроме того, используя$MS_{A+B+A*B}$ дает вам больше возможностей, уменьшая вероятность ошибки типа II и не должна увеличивать ошибку типа I.

В вашем вопросе есть еще несколько вопросов. Вы упоминаете, что$RSS_{full}$ не всегда самый низкий, и в вашем примере $MS_{A+B+A*B} > MS_{A+B}$, Это потому, что взаимодействие на самом деле не связано с какой-либо собственной изменчивостью. Тот$SS_{A*B} = 14.19$кажется, из-за не более чем случайности. Существует точная, но несколько сложная формула, которая определяет, как власть изменится, если различные факторы будут включены или исключены из модели. У меня его нет под рукой, но суть его проста: когда вы включаете другой фактор, RSS уменьшается (дает вам больше возможностей), но$df_{R}$также понижается (дает меньше энергии). Баланс этого компромисса в основном определяется тем, являются ли СС, связанные с этим фактором, реальными или только случайными, что на практике слабо обозначено тем, является ли этот фактор значимым ² . Однако исключение из модели факторов, несущественных для получения правильного термина ошибки, логически эквивалентно процедуре автоматического поиска модели, даже если у вас нет программного обеспечения, делающего это автоматически для вас. Вы должны знать, что с этим много проблем. Эти проблемы и альтернативные процедуры обсуждаются в другом месте в резюме ³ .

Последняя тема касается различных типов СС. Во-первых, использование разных типов SS не освобождает вас от необходимости логического обоснования вашего анализа. Но более того, СС типа I - III связаны с другой проблемой. В вашем примере я полагаю, что ваши факторы ортогональны, то есть вы провели эксперимент, в котором вы назначили равным n для каждой комбинации уровней факторов. Однако, если вы проводите обсервационное исследование или у вас есть проблемы с отсевом, ваши факторы будут коррелировать. Следствием этого является то, что не существует уникального способа разделения SS, и поэтому нет уникального ответа для вашего анализа. Другими словами, различные типы СС имеют отношение к различным возможным числителям для вашего F-теста, когда ваши факторы коррелированы ⁴ .

<sub>1. Обратите внимание, что в многоуровневых моделях фактор может быть теоретизирован для включения изменчивости от других факторов в зависимости от того, как указана модель. Я обсуждаю обычную ANOVA здесь, о чем вы, кажется, спрашиваете.
2. См .: Как добавление 2-го IV может сделать 1-й IV значимым?
3. См .: Алгоритмы автоматического выбора модели .
4. См .: Как интерпретировать ANOVA типа I (последовательный) и MANOVA?</sub>

Обоснование состоит в том, что фактор A объясняет больший процент необъяснимых изменений в модели A + B по сравнению с моделью A, поскольку фактор B объясняет значительную часть (и, таким образом, «удаляет» его из анализа).