Как интерпретировать и сообщать, что эта квадрат / частичная эта квадрат в статистически значимых и несущественных анализах?

39

У меня есть данные, которые имеют значения квадрата eta и значения квадрата eta, рассчитанные как мера величины эффекта для средних групповых различий.

  • В чем разница между Eta-квадратом и частичным Eta-квадратом? Могут ли они оба интерпретироваться с использованием одних и тех же рекомендаций Коэна (1988 год, я думаю: 0,01 = маленький, 0,06 = средний, 0,13 = большой)?

  • Кроме того, используется ли в отчете величина эффекта, если сравнительный тест (т. Е. T-критерий или односторонний ANOVA) несущественен? В моей голове это все равно, что сказать «средняя разница не достигла статистической значимости, но все еще имеет особое значение, поскольку величина эффекта, указанная в квадрате eta, является средней». Или, является ли размер эффекта заменяющим значением для проверки значимости, а не дополнительным?

Короткая Элизабет
источник
Фактически SPSS вычисляет частичный квадрат ETA для всех ANOVA. Это даст то же значение, что и в квадрате eta в единичных IV независимых схемах, но другое значение в единичных IV повторных измерениях. Это не вызывает никаких проблем у моих учеников.

Ответы:

43

Размеры эффекта для средних групповых различий

  • В целом, я считаю, что стандартизированные средние различия по группам (например, d Коэна) являются более значимым показателем размера эффекта в контексте групповых различий. На такие меры, как эта-квадрат, влияет то, равны ли размеры групповых выборок, а у Коэна - нет. Я также думаю, что значение мер на основе d более интуитивно понятно, когда то, что вы пытаетесь измерить, является различием между групповыми средствами.
  • Вышеуказанный пункт особенно силен для случая, когда у вас есть только две группы (например, эффект лечения в сравнении с контролем). Если у вас более двух групп, то ситуация немного сложнее. Я вижу аргумент в пользу объяснения дисперсии в этом случае. Кроме того, Коэне2 является еще одним вариантом.
  • Третий вариант заключается в том, что в контексте экспериментальных эффектов, даже когда имеется более двух групп, концепция эффекта лучше всего концептуализируется как бинарное сравнение (т. Е. Влияние одного условия относительно другого). В этом случае вы можете снова вернуться к измерениям на основе d. Измерение на основе d - это не показатель величины эффекта для фактора, а скорее одна группа относительно контрольной группы. Ключ должен определить значимую референтную группу.
  • Наконец, важно помнить о более широкой цели включения мер величины эффекта. Это дать читателю ощущение размера эффекта интереса. Любая стандартизированная мера воздействия должна помочь читателю в решении этой задачи. Если зависимая переменная имеет по своей сути значимый масштаб, не стесняйтесь интерпретировать величину эффекта в терминах этого масштаба. Например, такие масштабы, как время реакции, зарплата, рост, вес и т. Д. По своей сути имеют значение. Если вы находите, как и я, эта ETA в некоторой степени неинтуитивной в контексте экспериментальных эффектов, то, возможно, выберите другой индекс.

Eta в квадрате против частичного Eta в квадрате

  • Частичное значение ETA в квадрате является показателем величины эффекта по умолчанию, сообщаемым в нескольких процедурах ANOVA в SPSS. Я предполагаю, что именно поэтому я часто получаю вопросы об этом.
  • Если у вас есть только одна переменная предиктора, то частичный квадрат ETA эквивалентен квадрату ETA.
  • Эта статья объясняет разницу между Eta- квадратом и частичным Eta- квадратом (Levine и Hullett Eta Squared, Partial Eta Squared ... ).
  • Таким образом, если у вас есть более одного предиктора, частичное значение Eta в квадрате - это дисперсия, объясняемая данной переменной дисперсии, остающейся после исключения дисперсии, объясненной другими предикторами.

Эмпирические правила для Eta в квадрате и частичной Eta в квадрате

  • Если у вас есть только один предиктор, то Eta-квадрат и частичный Eta-квадрат одинаковы и, следовательно, будут применяться те же практические правила.
  • Если у вас есть более одного предиктора, то я думаю, что общие эмпирические правила для квадрата эта будут применяться в большей степени к частичному квадрату эта, чем к квадрату эта. Это связано с тем, что частичный квадрат ETA в факториальном ANOVA, возможно, более близко приближается к тому, каким был бы квадрат Eta для фактора, если бы это был односторонний ANOVA; и это, по-видимому, односторонняя ANOVA, которая дала начало правилам Коэна. Как правило, включение других факторов в экспериментальный план должно, как правило, приводить к уменьшению эта-квадрата, но не обязательно частичного эта-квадрата, поскольку второй фактор, если он оказывает влияние, увеличивает изменчивость зависимой переменной.
  • Несмотря на то, что я говорю о эмпирических правилах для этого квадрата и частичного эта квадрата, я повторяю, что я не являюсь поклонником дисперсии объясненных мер размера эффекта в контексте интерпретации размера и значения экспериментальных эффектов. Точно так же эмпирические правила являются лишь грубыми, зависящими от контекста, и к ним нельзя относиться слишком серьезно.

Отчетность о величине эффекта в контексте значимых и несущественных результатов

  • В некотором смысле цель вашего исследования состоит в том, чтобы оценить различные количественные оценки воздействия ваших переменных, представляющих интерес для населения.
  • Размеры эффекта являются одним из количественных показателей точечной оценки этого эффекта. Чем больше размер вашей выборки, тем ближе, в общем, ваша оценка точки выборки будет к действительному эффекту населения.
  • В широком смысле, тестирование значимости имеет целью исключить случайность как объяснение ваших результатов. Таким образом, значение p говорит вам о вероятности наблюдения величины эффекта как более или более экстремальной при условии, что нулевая гипотеза верна.
  • В конечном счете, вы хотите исключить эффект и хотите сказать что-то о величине истинного эффекта населения. Доверительные интервалы и доверительные интервалы вокруг размеров эффекта - это два подхода, которые решают эту проблему более непосредственно. Тем не менее, отчетность по p-значениям и точечным оценкам величины эффекта довольно распространена и намного лучше, чем отчетность только по p-значениям или только измерениям размера эффекта.
  • Что касается вашего конкретного вопроса, если у вас есть незначительные результаты, вы сами решаете, сообщать ли вам о показателях размера эффекта. Я думаю, что если у вас есть таблица с большим количеством результатов, то имеет смысл иметь столбец с размером эффекта, который используется независимо от значимости. Даже в несущественных контекстах величины эффекта с доверительными интервалами могут быть информативными, указывая, могут ли незначимые результаты быть следствием неадекватного размера выборки.
Джером англим
источник
1
Привет, Джереми. Я не согласен с тобой, когда ты говоришь: «Частичное значение квадрата eta в факториальном ANOVA, возможно, более близко соответствует тому, что было бы в квадрате eta для фактора, если бы это было одностороннее ANOVA». На самом деле, квадрат Eta, если предиктор использовался один, может быть намного больше, чем его частный квадрат ETA в компании других предикторов. В последнем случае общая разница, объясненная в результате, не зачисляется на прогнозируемый фактор; в первом случае не существует «конкуренции» за объясненную дисперсию, поэтому предиктор получает кредит за любое совпадение с результатом.
rolando2
3
@ rolando2 Возможно, моя точка зрения была неоднозначной. Я имею в виду разработанные эксперименты. Скажем, эксперимент 1 манипулирует фактором A, а эксперимент 2 A и B. Принимая сбалансированный дизайн, оба фактора являются ортогональными. Предполагая, что оба фактора объясняют дисперсию, дисперсия, объясняемая фактором A в эксперименте 2, будет меньше, чем в эксперименте 1, где уровень фактора B поддерживается постоянным. Таким образом, сравнивая факторные эксперименты с однофакторными экспериментами, я думаю, что частичный eta квадрат больше похож на факторные и однофакторные эксперименты, особенно если эффект взаимодействия отсутствует.
Jeromy Anglim