Является ли отображение размера биномиального эффекта (BESD) вводящим в заблуждение представлением размера эффекта?

Мне трудно принять, что Дональд Рубин когда-либо придумал настоящий лимон техники. Тем не менее, это мое восприятие BESD [ 1 , 2 , 3 ].

В оригинальной статье Розенталя и Рубина (1982) утверждается, что было полезно показать, «как преобразовать любую корреляцию момента продукта в такой дисплей [2x2], являются ли исходные данные непрерывными или категоричными».

Таблица ниже от p. 451 2-й ссылки выше:

Эта техника, кажется, преувеличивает величину почти любого размера эффекта. Здесь из исходных данных = 0,01, но когда «переведено» в таблицу непредвиденных обстоятельств 2x2, мы, похоже, столкнулись с гораздо более сильным эффектом. Я не отрицаю, что когда данные таким образом преобразуются в категориальный формат, действительно = .1, но я чувствую, что в переводе что-то было сильно искажено.$R^2$$\phi$

Я скучаю по чему-то действительно ценному здесь? Кроме того, у меня сложилось впечатление, что за последние 10 или около того лет статистическое сообщество в целом отвергло это как законный метод - я ошибаюсь в этом?

Уравнение для расчета экспериментальных ( ) и контрольных ( ) показателей успешности ( ), соответственно, просто:$E$$C$$sr$

$E_{sr} = .50 + r/2$

а также

$C_{sr} = .50 - r/2$

Ссылка:

Розенталь Р. и Рубин Д.Б. (1982). Простое универсальное отображение величины экспериментального эффекта. Журнал педагогической психологии, 74 , 166–169.

Я могу продемонстрировать, что это предвзято (я думаю), но я не могу объяснить, почему. Я надеюсь, что кто-то может увидеть мой ответ и помочь объяснить его больше.

Как и во многих метаанализах и размещенном вами изображении, многие люди интерпретируют BESD как: если бы вы делили медиану на две переменные, вы бы точно поместили людей в «правильные» ячейки таблицы непредвиденных обстоятельств 2 x 2 с заданным процентом время.

Поэтому, если , люди могут сказать: «Учитывая это наблюдаемое , вы можете думать об этом так: люди, находящиеся выше медианы в X, также будут выше медианы в Y в 70% случаев. " Вот как Краус (1995, стр. 69) интерпретирует это (он полагается на гипотетическую ситуацию, когда одна переменная действительно дихотомична, а другая - медиана):$.50 + r/2 = .70$$r$

Люди часто используют медицинские метафоры, тоже: «Эта соответствует разнице в 40 процентных пункта между людьми в контроле и экспериментальных условиях.»$r$

Чтобы увидеть, является ли предвзятая интерпретация медиана-расщепления предвзятой, я смоделировал популяцию в 1 000 000 случаев, где истинная популяция . Затем я собрал 100 человек из этой популяции, рассчитал «правильный показатель» BESD (т. Е., ), а затем вычислил фактические медианные доли клеток для таблицы непредвиденных обстоятельств 2 × 2, как описано выше для классификации по категориям. люди "правильно". Я сделал это 10000 раз.$r = .38$$.50 + r/2$

Затем я взял среднее и стандартное отклонение каждого из этих векторов длиной 10000. Код:

library(MASS)
# set population params
mu <- rep(0,2)
Sigma <- matrix(.38, nrow=2, ncol=2) + diag(2)*.62
# set seed
set.seed(1839)
# generate population
pop <- as.data.frame(mvrnorm(n=1000000, mu=mu, Sigma=Sigma))
# initialize vectors
besd_correct <- c()
actual_correct <- c()
# actually break up raw data by median split, see how it works
for (i in 1:10000) {
  samp <- pop[sample(1:1000000, 100),]
  besd_correct[i] <- round(100*(.50 + cor(samp)[1,2]/2),0)
  samp$V1_split <- ifelse(samp$V1 > median(samp$V1), 1, 0)
  samp$V2_split <- ifelse(samp$V2 > median(samp$V2), 1, 0)
  actual_correct[i] <- with(samp, table(V1_split==V2_split))[[2]]
}
# cells for BESD
mean(besd_correct)
100 - mean(besd_correct)
# cells for actual 2 x 2 table with median split
mean(actual_correct)
100 - mean(actual_correct)

Основываясь на BESD, мы получаем эту таблицу, где v1и v2ссылаемся на переменные и lowи highссылаемся ниже и выше медианы соответственно:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 69     | 31      |
+---------+--------+---------+
| v1 high | 31     | 69      |
+---------+--------+---------+

Основываясь на фактическом выполнении медианного разделения с необработанными данными, мы получаем следующую таблицу:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 62     | 38      |
+---------+--------+---------+
| v1 high | 38     | 62      |
+---------+--------+---------+

Таким образом, хотя кто-то может утверждать, используя BESD, что существует «разница в 38 процентных пунктов в контрольной и экспериментальной», фактическое медианное разделение имеет это число в 24.

Я не уверен, почему это происходит, или если это зависит от размера выборки и корреляции (можно легко сделать больше симуляций, чтобы выяснить это), я думаю, это показывает, что это предвзято. Я был бы рад, если бы кто-то мог дать математическое, а не вычислительное объяснение.

Интуиция Марка Уайта неверна. BESD на самом деле не моделирует медианный сплит. Медианный раскол связан с реальной потерей статистической информации - он систематически ослабляет отношения (см. Http://psycnet.apa.org/record/1990-24322-001), поэтому медианные значения разделения показывают меньшую точность, чем BESD. BESD демонстрирует точность классификации, как если бы переменные были действительно дихотомическими, а не искусственно дихотомизированными посредством медианного разделения. Чтобы увидеть это, вычислите корреляцию по медианным данным разделения. Вы увидите, что оно меньше, чем корреляция для исходных переменных. Если бы переменные изначально были бинарными, оба метода были бы согласны. По своей природе BESD отображает переменные, как будто они действительно двоичные. Когда он используется для непрерывных переменных, это обязательно представляет абстракцию - на самом деле нет групп «успех» и «неудача» или «лечение» и «контроль»,

BESD не предвзятый. Он точно отражает влияние конкретной обработки на точность классификации, если мы работали с двумя двоичными переменными. Это полезная демонстрация для демонстрации потенциальной практической ценности меры или лечения, и, да, она действительно демонстрирует, что даже эффекты с небольшой дисперсией, учитываемой статистикой, могут быть значимо важными. BESD широко используется в прикладной психологической и организационной практике, и он полностью согласуется с другими практическими проявлениями величины эффекта (например, что выбор группы сверху вниз с использованием меры с корреляцией достоверности r = .25 приведет к .25 SD повышение эффективности результатов среди выбранной группы по сравнению с невыбранной группой).

Дисперсия, учитываемая статистикой, постоянно приводит к недопониманию и недооценке размера переменных отношений, поскольку операция возведения в квадрат является нелинейной. Многие прикладные методологи (например, https://us.sagepub.com/en-us/nam/methods-of-meta-analysis/book240589 ) настоятельно не рекомендуют использовать их в пользу своих квадратных корней (которые более точно отражают размер последствия).