ANOVA полагается на метод моментов, а не на максимальную вероятность?

13

Я вижу упомянутое в разных местах, что ANOVA делает оценку, используя метод моментов.

Меня смущает это утверждение, потому что, хотя я не знаком с методом моментов, я понимаю, что это нечто отличное от метода максимальной вероятности и не эквивалентное ему; с другой стороны, ANOVA можно рассматривать как линейную регрессию с категориальными предикторами и OLS-оценкой параметров регрессии является максимальной вероятностью.

Так:

  1. Что квалифицирует процедуры ANOVA как метод моментов?

  2. Учитывая, что ANOVA эквивалентен OLS с категориальными предикторами, разве это не максимальная вероятность?

  3. Если эти два метода каким-то образом оказываются эквивалентными в особом случае обычной ANOVA, существуют ли какие-либо конкретные ситуации ANOVA, когда разница становится важной? Несбалансированный дизайн? Повторные меры? Смешанный (между предметами + внутри предметов) дизайн?

амеба говорит восстановить монику
источник
4
В простой настройке, и под простой я имею в виду одно- и двусторонний ANOVA, ANOVA получается из LRT при нормальных распределениях с равными дисперсиями, поэтому используется максимальная вероятность. Конечно, для нормального случая оценки mle и mom совпадают, поэтому различие не имеет большого значения. Однако в более сложных настройках, вместо получения LRT, мы полагаемся на регрессию OLS. OLS - это только mle при нормальном распределении и является оценкой мамы в более общем контексте, если мы навязываем ортогональность с остатками, которые есть.
JohnK
1
@JohnK, большое спасибо за ваш комментарий, но мне трудно понять некоторые его части, в частности, вторую: что такое «более сложные настройки», в которых ANOVA полагается на OLS вместо LRT (и почему)? Почему OLS не является MLE в этой «более общей установке» - я думал, что нормальные ошибки всегда допускаются в любом сценарии ANOVA? Какое отношение имеет ортогональность к остаткам? Я буду очень признателен, если вы расширите свой комментарий в ответ.
говорит амеба: восстанови Монику
2
@amoeba. Я отредактировал свой ответ, чтобы ответить на ваш первый вопрос о том, что ANOVA - это метод оценки моментов. Это верно только для случайных эффектов.
Плацидия

Ответы:

12

Впервые я столкнулся с ANOVA, когда я был студентом магистратуры в Оксфорде в 1978 году. Современные подходы, объединяя непрерывные и категориальные переменные в модели множественной регрессии, затрудняют для молодых статистиков понимание того, что происходит. Так что может быть полезно вернуться к более простым временам.

В своей первоначальной форме ANOVA представляет собой упражнение по арифметике, в соответствии с которым вы разбиваете общую сумму квадратов на части, связанные с обработками, блоками, взаимодействиями, чем угодно. В сбалансированном режиме суммы квадратов с интуитивным значением (например, SSB и SST) складываются в скорректированную общую сумму квадратов. Все это работает благодаря теореме Кохрана . Используя Cochran, вы можете рассчитать ожидаемые значения этих терминов в соответствии с обычными нулевыми гипотезами, и F-статистика оттуда вытекает.

В качестве бонуса, как только вы начнете думать о Кокране и суммах квадратов, имеет смысл продолжить нарезать и нарезать кубиками суммы ваших лечений, используя ортогональные контрасты. Каждая запись в таблице ANOVA должна иметь интерпретацию, представляющую интерес для статистики, и давать проверяемую гипотезу.

Я недавно написал ответ, где возникла разница между методами MOM и ML. Вопрос включал оценку моделей случайных эффектов. На этом этапе традиционный подход ANOVA полностью разделяет компанию с максимальной оценкой правдоподобия, и оценки эффектов уже не совпадают. Когда дизайн неуравновешен, вы также не получите ту же F статистику.

σп2σ2σ2+Nσп2Nσб2^, ANOVA дает метод оценки моментов для случайной дисперсии эффекта. Теперь мы склонны решать такие проблемы с помощью моделей со смешанными эффектами, а компоненты дисперсии получают с помощью оценки максимального правдоподобия или REML.

ANOVA как таковой не является методом обработки моментов. Он включает разделение суммы квадратов (или, в более общем смысле, квадратичной формы ответа) на компоненты, которые дают значимые гипотезы. Это сильно зависит от нормальности, так как мы хотим, чтобы суммы квадратов имели распределения хи-квадрат для F-тестов.

Структура максимального правдоподобия носит более общий характер и применяется к ситуациям, таким как обобщенные линейные модели, где суммы квадратов не применяются. Некоторое программное обеспечение (например, R) вызывает путаницу, указывая методы anova к тестам отношения правдоподобия с асимптотическим распределением хи-квадрат. Можно оправдать использование термина «анова», но, строго говоря, теория, стоящая за ним, иная.

Placidia
источник
2
F-тест одностороннего и двустороннего ANOVA является тестом отношения правдоподобия, и вы можете обратиться к Hogg and Craig, Введение в математическую статистику, глава 9, если вы мне не верите. Кроме того, F-тест, используемый в нормальной регрессии, также является LRT, многочисленные ссылки на это там.
JohnK
1
Я проверю. На данный момент я удалил этот абзац.
Плацидия
1
+1, большое спасибо за ответ. Кстати, именно ваш связанный ответ вызвал мой вопрос. Есть много вещей, которые я не совсем понимаю в том, что вы написали. Я буду путешествовать в течение Нового года, и у меня не будет времени думать об этом, но я вернусь к этой теме, как только вернусь в январе. В то же время я хотел бы еще раз призвать @JohnK опубликовать ответ, в котором он подробно остановится на замечаниях, которые он высказал в комментариях. Я был бы особенно признателен за более техническое объяснение, возможно, с конкретным примером. Счастливого Рождества и счастливого Нового года всем вам!
говорит амеба: восстанови Монику
1
Счастливого Рождества вам тоже. В моем связанном посте я просто размышлял об оценке случайной дисперсии эффекта, которая является MOM в традиционном подходе. Извините, если мое замечание прозвучало более обобщенно, чем я хотел.
Плацидия
2
Спустя 1,5 года я перечитал ваш ответ и понял, что он довольно понятен, поэтому я, наконец, отметил его как принятый :-) Ура.
говорит амеба, восстанови Монику