Последующие действия: На смешанном графике ANOVA предполагаемые SE или фактические SE?

В настоящее время я заканчиваю работу и со вчерашнего дня наткнулся на этот вопрос, который заставил меня задать тот же вопрос самому себе. Лучше ли предоставить моему графику фактическую стандартную ошибку из данных или оценку, рассчитанную по моей ANOVA?
Поскольку вчерашний вопрос был довольно неопределенным, а мой - довольно конкретным, я подумал, что было бы целесообразно задать этот дополнительный вопрос.

Детали:
я провел эксперимент в некоторой области когнитивной психологии (условное мышление), сравнивая две группы (индуктивные и дедуктивные инструкции, т.е. манипуляции между субъектами) с двумя манипуляциями внутри субъектов (тип проблемы и содержание проблемы, каждая из которых два факторных уровня).

Результаты выглядят следующим образом (левая панель с оценками SE по выходу ANOVA, правая панель с оценками SE по данным):
обратите внимание, что разные линии представляют две разные группы (то есть манипуляции между субъектами) и Манипуляции с субъектами наносятся на ось X (т.е. уровни факторов 2x2).

В тексте я приведу соответствующие результаты ANOVA и даже запланированные сравнения для критического перекрестного взаимодействия в середине. SE существуют для того, чтобы дать читателю намек на изменчивость данных. Я предпочитаю SE по сравнению со стандартными отклонениями и доверительными интервалами, так как это не характерно для построения SD, и существуют серьезные проблемы при сравнении CI внутри и между субъектами (как то же самое относится и к SE, это не так часто ложно выводить существенные различия от них).

Повторяю мой вопрос: лучше ли строить графики SE, оцененные по ANOVA, или мне следует построить SE, оцененные по необработанным данным?

Обновление:
я думаю, что я должен быть немного более ясным в том, каковы предполагаемые SE. Выход ANOVA в SPSS дает мне estimated marginal meansсоответствующие SE и CI. Это то, что изображено на левом графике. Насколько я понимаю, они должны быть SD остатков. Но при сохранении остатков их SD не так близки к оценочным SE. Поэтому второстепенный (потенциально специфичный для SPSS) вопрос будет:
что это за SE?

ОБНОВЛЕНИЕ 2: Мне наконец-то удалось написать R-функцию, которая должна была бы быть способной составить сюжет, так как он мне наконец понравился (см. Мой принятый ответ) сам по себе. Если у кого-то есть время, я был бы очень признателен, если бы вы взглянули на него. Вот.

В результате вдохновляющих ответов и обсуждения моего вопроса я построил следующие графики, которые не зависят от каких-либо параметров, основанных на модели, но представляют базовые данные.

Причины состоят в том, что независимо от того, какую стандартную ошибку я могу выбрать, стандартная ошибка является параметром, основанным на модели. Итак, почему бы не представить базовые данные и тем самым передать больше информации?

Кроме того, при выборе SE из ANOVA, две проблемы возникают для моих конкретных проблем.
Во-первых (по крайней мере, для меня), как-то неясно, что на SPSSсамом деле представляют SE от выхода ANOVA ( см. Также это обсуждение в комментариях ). Они как-то связаны с MSE, но как именно я не знаю.
Во-вторых, они разумны только тогда, когда основные предположения выполнены. Однако, как показывают следующие графики, предположения об однородности дисперсии явно нарушаются.

Участки с коробками:

Участки со всеми точками данных:

Обратите внимание, что две группы смещены немного влево или вправо: дедуктивный слева, индуктивный справа. Средние значения по-прежнему изображены черным, а данные или прямоугольники на заднем плане - серым. Различия между графиками слева и справа заключаются в том, что средства расположены так же, как точки или коробочные графики, или если они представлены централизованно.
Извините за неоптимальное качество графиков и отсутствующие метки оси X.

Остается вопрос, какой из приведенных выше графиков выбрать сейчас. Я должен подумать об этом и спросить другого автора нашей статьи. Но сейчас я предпочитаю «очки со смещенными средствами». И я все еще был бы очень заинтересован в комментариях.

Обновление: после некоторого программирования мне наконец-то удалось написать R-функцию для автоматического создания графика, подобного точкам со смещенными средствами. Проверьте это (и пришлите мне комментарии) !

Вы не найдете ни одной разумной панели ошибок для логических целей с этим типом экспериментального дизайна. Это старая проблема без четкого решения.

Кажется невозможным иметь оценку SE, которую вы имеете здесь. В такой конструкции есть два основных вида ошибок: между и внутри S-ошибки. Они обычно сильно отличаются друг от друга и не сопоставимы. Там просто действительно нет хорошей единой панели ошибок для представления ваших данных.

Можно утверждать, что необработанные SE или SD из данных наиболее важны в описательном, а не в логическом смысле. Они либо говорят о качестве оценки центральной тенденции (SE), либо о вариабельности данных (SD). Тем не менее, даже тогда это несколько неискренне, потому что то, что вы тестируете и измеряете в S, это не то необработанное значение, а эффект переменной S. Следовательно, сообщать об изменчивости необработанных значений либо бессмысленно, либо вводить в заблуждение относительно внутренних эффектов.

Я, как правило, не одобрял никаких погрешностей на таких графиках и графиках соседних эффектов, указывающих на изменчивость эффектов. На этом графике могут быть КИ, которые вполне разумны. См. Masson & Loftus (2003) для примеров графиков эффектов. Просто удалите их ((почти полностью бесполезные) панели ошибок вокруг средних значений, которые они показывают, и просто используйте эффектные панели ошибок.

Для вашего исследования я сначала воспроизведу данные в виде 2х2х2 (2 панели 2х2), а затем нанесу график непосредственно рядом с графиком с доверительными интервалами достоверности, правдоподобности, инструкций и эффектов взаимодействия. Положите SD и SE для групп инструкций в таблицу или в текст.

(ожидание ожидаемого ответа анализа смешанных эффектов;))

ОБНОВЛЕНИЕ: ОК, после редактирования ясно, что единственное, что вам нужно, это SE, который будет использоваться для отображения качества оценки значения. В этом случае используйте значения вашей модели. Оба значения основаны на модели, и в вашем образце нет «истинного» значения. Используйте те из модели, которую вы применили к своим данным. НО, убедитесь, что вы предупреждаете читателей в подписи к рисунку, что эти SE не имеют никакого косвенного значения для ваших внутриэффектных эффектов или взаимодействий.

ОБНОВЛЕНИЕ 2: Оглядываясь назад на данные, которые вы представили ... это выглядит подозрительно, как проценты, которые не должны были быть проанализированы с помощью ANOVA в первую очередь. Независимо от того, есть это или нет, эта переменная имеет максимальное значение 100 и уменьшает отклонения в крайних значениях, поэтому ее все равно не следует анализировать с помощью ANOVA. Мне очень нравятся твои сюжеты rm.plot. Я все еще испытывал бы желание сделать отдельные графики между условиями, показывая необработанные данные, и в условиях, показывая данные с удаленной изменчивостью между S.

Это выглядит как очень хороший эксперимент, так что поздравляю!

Я согласен с Джоном Кристи, это смешанная модель, но при условии, что она может быть точно определена в дизайне ANOVA (и сбалансирована), я не понимаю, почему она не может быть так сформулирована. Два фактора внутри и 1-фактор между субъектами, но фактор между субъектами (индуктивный / дедуктивный) явно взаимодействует (модифицирует) эффекты внутри субъектов. Я предполагаю, что нанесенные средние значения взяты из модели ANOVA (LHS), и поэтому модель указана правильно. Молодцы - это нетривиально!

Некоторые моменты: 1) «Предполагаемый» против «фактической» «ошибки» является ложной дихотомией. Оба предполагают базовую модель и делают оценки на этой основе. Если модель является разумной, я бы сказал, что лучше использовать основанные на модели оценки (они основаны на объединении более крупных выборок). Но, как упоминает Джеймс, ошибки различаются в зависимости от того, какое сравнение вы проводите, поэтому простое представление невозможно.

2) Я бы предпочел видеть графические диаграммы или отдельные точки данных (если их не слишком много), возможно, с некоторым боковым джиттером, чтобы можно было различить точки с одинаковым значением.

http://en.wikipedia.org/wiki/Box_plot

3) Если вы должны построить оценку ошибки среднего значения, никогда не наносите на график SD - они являются оценкой стандартного отклонения выборки и связаны с изменчивостью популяции, а не статистическим сравнением средних значений. Обычно предпочтительнее построить 95% доверительные интервалы, а не SE, но не в этом случае (см. 1 и точку зрения Джона)

4) Единственная проблема, связанная с этими данными, которая касается меня, заключается в том, что предположение о равномерной дисперсии, вероятно, нарушается, поскольку данные «Допустимые и достоверные значения MP» явно ограничены пределом в 100%, особенно для дедуктивных людей. Я думаю, насколько важен этот вопрос. Переход к логиту со смешанными эффектами (биномиальная вероятность), вероятно, является идеальным решением, но это сложная задача. Возможно, лучше дать другим ответить.

В последнее время я использую анализ смешанных эффектов, и в попытке разработать сопутствующий подход к визуальному анализу данных я использовал начальную загрузку ( см. Мое описание здесь ), которая дает доверительные интервалы, которые не восприимчивы к проблемам между и между ними. обычных КИ.

Кроме того, я бы не стал отображать несколько переменных в одну визуальную эстетику, как вы сделали на графике выше; у вас есть 3 переменные (MP / AC, действительные / недействительные, правдоподобные / неправдоподобные), сопоставленные с осью X, что затрудняет анализ дизайна и шаблонов. Я бы предложил вместо этого сопоставить, скажем, MP / AC с осью X, действительный / недействительный для столбцов фасет и вероятный / неправдоподобный для рядов фасет. Проверьте ggplot2 в R, чтобы легко достичь этого, например:

library(ggplot2)
ggplot(
    data = my_data
    , mapping = aes(
        y = mean_endorsement
        , x = mp_ac
        , linetype = deductive_inductive
        , shape = deductive_inductive
)+
geom_point()+
geom_line()+
facet_grid(
    plausible_implausible ~ valid_invalid
)