Если t-критерий и ANOVA для двух групп эквивалентны, почему их предположения не эквивалентны?

47

Я уверен, что у меня это полностью обернуто вокруг моей головы, но я просто не могу понять это.

T-критерий сравнивает два нормальных распределения, используя Z-распределение. Вот почему в ДАННЫХ есть предположение о нормальности.

ANOVA эквивалентен линейной регрессии с фиктивными переменными и использует суммы квадратов, как и OLS. Вот почему существует предположение о нормальных остатках.

Это заняло у меня несколько лет, но я думаю, что наконец понял эти основные факты. Так почему же t-критерий эквивалентен ANOVA с двумя группами? Как они могут быть эквивалентны, если они даже не принимают те же данные о данных?

Крис Били
источник
15
Одно замечание: в t-тестах используется распределение t, а не распределение Z
Jeromy Anglim
1
Даже если вопрос не правильный, он очень полезен. Кроме того, я думаю, что упоминание где-то двухстороннего t-теста сделает вопросы / ответы более полными.
Гаурав Сингхал

Ответы:

29

T-критерий с двумя группами предполагает, что каждая группа обычно распределена с одинаковой дисперсией (хотя средние значения могут отличаться в соответствии с альтернативной гипотезой). Это эквивалентно регрессии с фиктивной переменной, поскольку регрессия позволяет среднему значению каждой группы различаться, но не дисперсию. Следовательно, остатки (равные данным с вычтенными значениями групп) имеют одинаковое распределение, то есть они обычно распределяются с нулевым средним.

T-критерий с неравными отклонениями не эквивалентен одностороннему ANOVA.

Роб Хиндман
источник
3
Я могу посмотреть цитату, но это достаточно легко проверить эмпирически. F из ANOVA с двумя группами в точности равен t ^ 2, и значения p будут точно такими же. Единственная причина, по которой он не будет эквивалентен в случае неравных отклонений, заключается в том, что вы применяете коррекцию. В остальном они одинаковые.
Бретт
3
F-тест является обобщением t-теста. t-критерий предназначен для сравнения двух процедур, а критерий F - для нескольких процедур. Вывод приведен в Статистическом расчете Каселлы, главы 3 и 4. Однако, как отмечает профессор Хиндман, с неравными отклонениями, это уже не t-критерий. Это проблема Фишера Берена. Обычно мы не используем решение Фишера, вместо этого используем тест Уэлча или байесовский подход.
Suncoolsu
T-критерий с двумя выборками с неравными отклонениями действительно равен одностороннему ANOVA с двумя группами. Возможно, вы имели в виду, что t-критерий, использующий поправку на неравные отклонения (т. Е. Уэлча), отличается от одностороннего ANOVA, который не исправлен (хотя почему бы и нет)?
Бретт
20

T-критерий просто частный случай F-критерия, где сравниваются только две группы. Результат любого из них будет точно таким же с точки зрения p-значения, и между F и t-статистикой также есть простая связь. F = t ^ 2. Два теста алгебраически эквивалентны, и их предположения совпадают.

Фактически, эти эквивалентности распространяются на весь класс ANOVA, t-тестов и моделей линейной регрессии. Т-тест является частным случаем ANOVA. ANOVA - это особый случай регрессии. Все эти процедуры включены в общую линейную модель и основаны на одних и тех же допущениях.

  1. Независимость наблюдений.
  2. Нормальность остатков = нормальность в каждой группе в особом случае.
  3. Равные дисперсии невязок = равные дисперсии между группами в частном случае.

Вы можете думать об этом как о нормальности в данных, но вы проверяете нормальность в каждой группе - что фактически совпадает с проверкой на нормальность в остатках, когда единственным предиктором в модели является индикатор группы. Аналогично с равными дисперсиями.

Кроме того, R не имеет отдельных процедур для ANOVA. Функции anova в R являются просто обертками для функции lm () - то же самое, что используется для подгонки моделей линейной регрессии - упакованы немного по-другому, чтобы обеспечить то, что обычно находится в сводке ANOVA, а не в сводке регрессии.

Brett
источник
Было бы интересно узнать, как подгонять модели ANOVA с повторными измерениями, используя lm.
AndyF
1
Вопросы кодирования категориальных переменных, эквивалентности регрессии и моделей ANOVA и регрессионного кодирования для повторных измерений описаны в этой статье. dionysus.psych.wisc.edu/Lit/Topics/Statistics/Contrasts/… Вот цитата ... Вендорф, Калифорния (2004). Учебник по множественному регрессионному кодированию: общие формы и дополнительный случай повторных контрастов. Понимание статистики 3, 47-57.
Бретт
4
@AndyF Нет lm(), если вы не перейдете к смешанным моделям с пакетом nlmeили lme4, но есть удобный способ обработки повторных измерений посредством соответствующей спецификации Errorтермина в aov(), см. Более подробную информацию в учебнике Baron & Li, §6.9, j.mp/ c5ME4u
chl
@AndyF aov()построен поверх lm()функции, но содержит дополнительный аргумент, называемый специальными терминами, например Error.
хл
aov () - это просто оболочка для lm (). Это делает некоторое контрастное кодирование за кулисами и упаковывает результат в стиле ANOVA. Все это моделируется с помощью lm (). В статье, на которую я ссылался выше, рассказывается, как настроить кодирование для повторения контрастов в регрессионных моделях, включая lm ().
Бретт
17

Я полностью согласен с ответом Роба, но позвольте мне сказать по-другому (используя википедию):

Предположения ANOVA :

  • Независимость случаев - это предположение модели, которая упрощает статистический анализ.
  • Нормальность - распределение остатков нормальное.
  • Равенство (или «однородность») дисперсий, называемых гомоскедастичностью

Допущения t-критерия :

  • Каждая из двух сравниваемых популяций должна соответствовать нормальному распределению ...
  • ... сравниваемые две популяции должны иметь одинаковую дисперсию ...
  • Данные, используемые для проведения теста, должны отбираться независимо от сравниваемых двух популяций.

Следовательно, я бы опроверг вопрос, поскольку они, очевидно, имеют одни и те же предположения (хотя и в другом порядке :-)).

Хенрик
источник
Смотрите комментарий к Робу.
Алексис
@Alexis Я не уверен, что понимаю твои отрицательные голоса. Забота, чтобы разработать.
Хенрик,
Второе допущение t- теста неверно. В оригинальной работе студента это предполагалось, но «неравные отклонения» являются достаточно распространенным допущением при последующем лечении тестом.
Алексис
5

Один очевидный момент, который все упускают из виду: с помощью ANOVA вы проверяете нулевое значение, что среднее значение одинаково независимо от значений ваших объясняющих переменных. С помощью T-критерия вы также можете проверить односторонний случай, когда среднее значение определенно больше при одном значении вашей объясняющей переменной, чем при другом.

dsimcha
источник
1
Если я не ошибаюсь, это не разница. Если вы делаете ANOVA для двух групп, то вы можете выполнить «односторонний тест», как и в t-тесте. Я поставил «односторонний тест» в кавычках, потому что на самом деле нет разницы в «тесте» между «односторонним тестом» и «двусторонним тестом». Разница лишь в том, как вы интерпретируете статистическую значимость р-значений. Таким образом, односторонние и двусторонние «тесты» - это в точности один и тот же «тест». Только способ правильно интерпретировать результаты отличается.
Трипартио
-3

Я предпочитаю использовать t-критерий для сравнения двух групп и по разным причинам буду использовать ANOVA для более чем двух групп. Важной причиной является предположение о равных отклонениях.

Сайед
источник
5
Добро пожаловать на сайт, @syed. Не могли бы вы расширить свой ответ? Например, на какие «причины» вы ссылаетесь? Обратите внимание, что и t-тест, и ANOVA допускают одинаковые отклонения.
gung - Восстановить Монику