Значение «положительной зависимости» как условия использования обычного метода контроля FDR

36

Бенджамини и Хохберг разработали первый (и, я думаю, до сих пор наиболее широко используемый) метод контроля частоты ложных обнаружений (FDR).

Я хочу начать с набора значений P, каждое для отдельного сравнения, и решить, какие из них являются достаточно низкими, чтобы их можно было назвать «открытием», контролируя FDR до указанного значения (скажем, 10%). Одно из предположений обычного метода состоит в том, что набор сравнений либо независим, либо имеет «положительную зависимость», но я не могу понять, что именно означает эта фраза в контексте анализа набора значений P.

Харви Мотульский
источник
1
Спасибо за награду за мой ответ, Харви! Вы сказали бы, что это решает эту проблему для вас, или вы ищете более подробную экспозицию? Я заметил, что вы еще не приняли никакого ответа, поэтому я хотел бы уточнить. Спасибо. Возможно, вы можете прокомментировать или отредактировать свой вопрос, чтобы уточнить, что вы хотели бы уточнить.
говорит амеба: восстанови
2
@amoeba. Срок для щедрости был на мне, и ваш ответ был безусловно лучшим. Честно говоря, в тот момент мне никогда не приходило в голову, что предоставление награды также не принимает ответ. Но я знаю, что они различны (я буду винить смену часовых поясов). Но полный ответ действительно должен включать реалистичные примеры, где множество значений P имеет и не имеет положительной зависимости. Я не буду принимать ответ в течение недели в надежде, что кто-то может привести оба вида примеров, поэтому смысл понятен.
Харви Мотульский
Это, вероятно, не совсем удовлетворительный пример, но действительно легко придумать p-значения с положительной зависимостью и без нее, если мы думаем о выполнении односторонних тестов для коррелированных переменных. Представьте, что я проверяю, является ли A = 0, а также B = 0 по отношению к односторонним альтернативам (A> 0 и B> 0). Далее представьте, что B зависит от A. Например, представьте, что я хочу знать, содержит ли население больше женщин, чем мужчин, а также, содержит ли население больше яичников, чем яичек. Ясно, что значение p первого вопроса меняет наше ожидание значения p для второго
Джейкоб Соколар,
Спасибо, Харви. Надеюсь, было ясно, что я не пытался заставить вас принять мой ответ (!!), а скорее уточнить, какой ответ вы ищете в этой теме, и что вы все еще хотели бы уточнить. Я не очень разбираюсь в этой теме, просто пытаюсь разобраться в этом.
говорит амеба: восстанови Монику
Оба значения p изменяются в одном и том же направлении, и это PRD. Но если я вместо этого проверю вторую гипотезу о том, что в популяции 2 больше яичек, чем в яичниках, наше ожидание для второго значения p уменьшается с увеличением первого значения p. Это не PRD.
Джейкоб Соколар

Ответы:

20

Из Вашего вопроса и , в частности , ваши комментарии к другим ответам, мне кажется , что вы в основном путать о «большой картине» здесь: а именно то , что делает «положительная зависимость» относится в данном контексте вообще - в отличие от того, что это технический смысл условия PRDS. Так что я буду говорить о большой картине.

Большая картина

Представьте, что вы проверяете нулевых гипотез, и представьте, что все они верны. Каждое из значений является случайной величиной; Повторяя эксперимент снова и снова, каждый раз получал бы difnet, поэтому можно говорить о распределении значений (под нулем). Хорошо известно, что для любого теста распределение значений под нулем должно быть равномерным; поэтому в случае многократного тестирования все предельных распределений значений будут одинаковыми.Н р п р п н п рNN ppppNp

Если все данные и все тесты не зависят друг от друга, то совместное мерное распределение значений также будет равномерным. Это будет верно, например, в классической ситуации «желе», когда тестируется множество независимых вещей:N pNNp

зеленые желейные бобы

Тем не менее, это не должно быть так. Любая пара значений в принципе может быть коррелирована как положительно, так и отрицательно, или зависеть более сложным образом. Рассмотрите возможность тестирования всех парных различий в средних показателях между четырьмя группами это тестов. Каждое из шести значений равномерно распределено. Но все они положительно коррелируют: если (при данной попытке) группа A случайно имеет особенно низкое среднее значение, то сравнение A-vs-B может привести к низкому значению (это будет ложноположительным). Но в этой ситуации вполне вероятно, что A-vs-C, также как и A-vs-D, также приведут к низким значениям . Итак,Н = 4 3 / 2 = 6 р р р рpN=43/2=6pppp-значения, очевидно, не являются независимыми и, кроме того, они положительно коррелируют между собой.

Это, неофициально, то, что относится к «положительной зависимости».

Кажется, это обычная ситуация при множественном тестировании. Другим примером будет проверка на различия в нескольких переменных, которые коррелируют между собой. Получение значительной разницы в одном из них увеличивает шансы получения существенного различия в другом.

Сложно придумать естественный пример, когда были бы «отрицательно зависимыми». @ user43849 отметил в комментариях выше, что для односторонних тестов это легко:p

Представьте, что я проверяю, является ли A = 0, а также B = 0 по отношению к односторонним альтернативам (A> 0 и B> 0). Далее представьте, что B зависит от A. Например, представьте, что я хочу знать, содержит ли население больше женщин, чем мужчин, а также, содержит ли население больше яичников, чем яичек. Ясно, что значение p первого вопроса меняет наше ожидание значения p для второго. Оба значения p изменяются в одном и том же направлении, и это PRD. Но если я вместо этого проверю вторую гипотезу о том, что в популяции 2 больше яичек, чем в яичниках, наше ожидание для второго значения p уменьшается с увеличением первого значения p. Это не PRD.

Но я до сих пор не смог придумать естественный пример с точечными нулями.


Теперь точная математическая формулировка «положительной зависимости», которая гарантирует справедливость процедуры Бенджамини-Хохберга, довольно сложна. Как уже упоминалось в других ответах, основной ссылкой является Benjamini & Yekutieli 2001 ; они показывают, что свойство PRDS («зависимость положительной регрессии от каждого из подмножества») влечет за собой процедуру Бенджамини-Хохберга. Это смягченная форма свойства PRD («положительная регрессионная зависимость»), означающая, что PRD подразумевает PRDS и, следовательно, также влечет за собой процедуру Бенджамини-Хохберга.

Для определения PRD / PRDS см. @ User43849's answer (+1) и документ Benjamini & Yekutieli. Определения довольно технические, и у меня нет хорошего интуитивного понимания их. Фактически, B & Y также упоминают несколько других связанных понятий: многомерная полная положительность второго порядка (MTP2) и положительная связь. Согласно B & Y, они связаны следующим образом (диаграмма моя):

PRD, PRDS, MTP2 и PA

MTP2 подразумевает PRD, что подразумевает PRDS, который гарантирует правильность процедуры BH. PRD также подразумевает PA, но PA PRDS.

амеба говорит восстановить монику
источник
Примером отрицательной зависимости могут служить специальные парные тесты, например, с помощью одностороннего ANOVA из трех групп, где , но , а и , поэтому пока является менее вероятно, отвергнет (потому что под ), но из - за зависимости является более вероятно , отказаться? ˉ x B < μ B ˉ x Aμ A ˉ x Cμ C p A  и  B H 0 | ˉ x A - ˉ x B | < | ˉ x B - ˉ x C | р B  против  CμA<μB<μCx¯B<μBx¯AμAx¯CμCpA vs. BH0 |x¯Ax¯B|<|x¯Bx¯C|pB vs. C
Алексис
1
@Alexis Я сам думал в этом направлении, но не думаю, что это работает, потому что мы должны рассмотреть, что происходит при нулевом значении . В этом случае нулем является то, что , и поэтому ваши рассуждения ломаются. μA=μB=μC
говорит амеба: восстанови Монику
Таким образом, если трудно представить себе ситуацию с отрицательной зависимостью, то процедура Бенджамини-Хохберга действительна для таких ситуаций, как попарные специальные тесты, после отклонения всепоглощающей нулевой гипотезы относительно независимых групп (например, односторонняя неблокируемая ANOVA, Q Кокрана, Крускал- Уоллис и т. Д.)
Алексис
@ Алексис Я верю, что это правильно, да. Я все еще пытаюсь найти естественный пример с отрицательной зависимостью ...
говорит амеба. Восстановите Монику
КАМЕНЬ! Иди, девочка! :) (Для бесполого значения слова "девушка";).
Алексис
18

Отличный вопрос! Давайте сделаем шаг назад и поймем, что сделал Бонферрони, и почему Бенджамини и Хохбергу было необходимо разработать альтернативу.

В последние годы стало необходимым и обязательным выполнять процедуру, называемую множественной коррекцией тестирования. Это связано с увеличением числа тестов, выполняемых одновременно с науками с высокой пропускной способностью, особенно в области генетики, с появлением исследований по изучению ассоциаций всего генома (GWAS). Извините за мою ссылку на генетику, так как это моя сфера деятельности. Если мы выполняем 1 000 000 тестов одновременно при , мы ожидаем ложных срабатываний. Это нелепо велико, и поэтому мы должны контролировать уровень, на котором оценивается значимость. Поправка Бонферрони, то есть деление порога принятия (0,05) на количество независимых тестов корректирует частоту ошибок по семье ( ).P=0.0550,000(0.05/M)FWER

Это справедливо потому , что FWER связан с тестом-накрест частот ошибок ( ) уравнение . То есть, 100 процентов минус 1 вычитают частоту ошибочных проверок, повышенную до степени числа независимых проведенных испытаний. Делая предположение, что дает , что является значением P, скорректированным для M, полностью независимым тесты.TWERFWER=1(1TWER)M(10.05)1/M=10.05MTWER0.05M

Проблема, с которой мы сталкиваемся сейчас, как и Бенджамини и Хохберг, заключается в том, что не все тесты полностью независимы. Таким образом, поправка Бонферрони, хотя и является надежной и гибкой, является чрезмерной коррекцией . Рассмотрим случай в генетике, где два гена связаны в случае, называемом неравновесным сцеплением; то есть, когда один ген имеет мутацию, другой с большей вероятностью будет экспрессироваться. Это явно не независимые тесты, хотя в поправке Бонферрони они предполагаются . Именно здесь мы начинаем видеть, что деление значения P на M создает порог, который является искусственно низким из-за предполагаемых независимых тестов, которые действительно влияют друг на друга, поэтому мы создаем M, которое слишком велико для нашей реальной ситуации, где ничего не происходит. не независим.

Процедура, предложенная Бенджамини и Хохбергом и дополненная Екутиели (и многими другими), более либеральна, чем Бонферрони, и на самом деле коррекция Бонферрони используется только в самых крупных исследованиях в настоящее время. Это связано с тем, что в FDR мы предполагаем некоторую взаимозависимость со стороны тестов и, следовательно, слишком большой и нереалистичный M, который избавляет от результатов, о которых мы в действительности заботимся. Поэтому в случае 1000 тестов, которые не являются независимыми, истинное значение M будет не 1000, а чем-то меньшим из-за зависимостей. Таким образом, когда мы делим 0,05 на 1000, порог становится слишком строгим и избегает некоторых тестов, которые могут представлять интерес.

Я не уверен, что вам небезразлична механика контроля за зависимостью, хотя если вы это сделаете, я привел для справки статью Йекутили. Я также приложу несколько других вещей для вашей информации и любопытства.

Надеюсь, это каким-то образом помогло, если я что-то исказил, пожалуйста, дайте мне знать.

~ ~ ~

Ссылки

Екутиелийская статья о положительных зависимостях - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(см. 1.3 - Проблема.)

Объяснение Бонферрони и других интересных вещей - обзоры Nature Genetics. Статистическая сила и значимость тестирования в крупномасштабных генетических исследованиях - Pak C Sham и Shaun M Purcell

(см. вставку 3.)

http://en.wikipedia.org/wiki/Familywise_error_rate

РЕДАКТИРОВАТЬ:

В моем предыдущем ответе я непосредственно не определял положительную зависимость, о чем и спрашивали. В газете Yekutieli раздел 2.2называется «Позитивная зависимость», и я предлагаю это, поскольку он очень подробный. Тем не менее, я считаю, что мы можем сделать это немного более кратким.

Вначале статья начинается с разговора о положительной зависимости, используя его как неопределенный термин, который можно интерпретировать, но не конкретизировать. Если вы читаете доказательства, то, что упоминается как положительная зависимость, называется PRSD, которое ранее определялось как «положительная регрессионная зависимость от каждого из подмножества ». - это подмножество тестов, которые правильно поддерживают нулевую гипотезу (0). PRDS затем определяется следующим образом.I0I0

PRDS

X - это весь наш набор тестовой статистики, а - наш набор тестовой статистики, которая правильно поддерживает нуль. Таким образом, для того, чтобы был PRDS (положительно зависимым) от , вероятность того, что является элементом ( ), увеличивается в неубывающем наборе тестовых статистических данных (элементов ).I0XI0XI0xX

Интерпретируя это, мы упорядочиваем наши от минимального к максимальному, вероятность быть частью нулевого набора тестовых статистических данных является самой низкой при наименьшем P-значении и оттуда увеличивается. FDR устанавливает границу в этом списке тестовой статистики так, чтобы вероятность быть частью нулевого набора составляла 0,05. Это то, что мы делаем при контроле за FDR.P

В итоге, свойство положительной зависимости действительно является свойством положительной регрессионной зависимости всего нашего набора тестовых статистик от нашего набора истинных нулевых тестовых статистик, и мы контролируем FDR 0,05; таким образом, по мере того, как значения P идут снизу вверх (процедура повышения), они увеличивают вероятность быть частью нулевого набора.

Мой предыдущий ответ в комментариях о ковариационной матрице был неверным, только немного расплывчатым. Я надеюсь, что это поможет немного больше.

Крис С
источник
6
Спасибо. Вы предоставляете четкий обзор контроля частоты семейных ошибок (Bonferroni и т. Д.) Против контроля FDR, но я до сих пор не понимаю, что означает «положительная зависимость». Предположим, что у меня есть 1000 значений P, я тестирую экспрессию 1000 различных генов, сравнивая людей с некоторыми заболеваниями и без них. Я использую метод ЧД, чтобы решить, какие из этих сравнений являются «открытиями». Что означает «положительная зависимость» в этом контексте?
Харви Мотульский
9
Небольшое, но важное замечание: Бонферрони не делает абсолютно никаких предположений относительно независимости. На самом деле, это будет правильно охватывать во взаимоисключающем случае, который, в некотором смысле, настолько далек от независимости, насколько вы можете получить. Там является процедура коррекции (Sidak) , что делает предположит независимость и более сильно контролировать FWER при этом предположении. Несколько других аспектов этого ответа могли бы также использовать некоторую легкую подправку.
кардинал
2
@ChrisC Я до сих пор не понимаю. "Ковариационная матрица между элементами"? Я начну со списка значений P и хочу решить, какие из них достаточно низки, чтобы их можно было назвать «открытиями», за которыми стоит следить (с контролем FDR). Каковы элементы ковариационной матрицы? Скажем, каждое значение Р сравнивает экспрессию определенного гена между группами, и таких генов много. Для каждого гена при тестировании сравниваются группы, приводящие к значению P. Что это означает в этой ситуации для «элементов, которые могут изменяться вместе» или наличия «положительных корреляций между собой»?
Харви Мотульский
2
@ChrisC Спасибо. Это становится более понятным, но я все еще не совсем понимаю, что означает это предположение. Весь смысл знания предположения, лежащего в основе метода, состоит в том, чтобы знать, когда вы, вероятно, будете его нарушать. Поэтому было бы полезно перечислить некоторые сценарии, в которых предположение не соответствует действительности. Когда более низкое значение P не будет связано с более высокой вероятностью того, что нулевая гипотеза будет ложной?
Харви Мотульский
1
Это не отвечает на вопрос.
Алексис
10

Я нашел этот препринт полезным для понимания смысла. Следует сказать, что я предлагаю этот ответ не как эксперт в данной теме, а как попытку понимания, которое будет проверено и подтверждено сообществом.

Спасибо Amoeba за очень полезные наблюдения о разнице между PRD и PRDS, см. Комментарии

Позитивная регрессионная зависимость (PRD) означает следующее: Рассмотрим подмножество p-значений (или, что то же самое, тестовую статистику), которые соответствуют истинным нулевым гипотезам. Назовем вектор этих р-значений . Пусть - множество векторов с длиной, равной длине и пусть обладает следующим свойством:pCpC

  1. Если некоторый вектор находится в , иqC
  2. Построим некоторый вектор такой же длины, что и чтобы все элементы были меньше, чем соответствующие элементы ( для всех ), тогдаrqrqri<qii
  3. r также вC

(Это означает, что является «убывающим множеством».)C

Предположим, мы знаем кое-что о значениях некоторых элементов . А именно, . PRD означает, что вероятность того, что находится в никогда не увеличивается при увеличении .pp1...pn<B1...BnpCB1...Bn

Проще говоря, обратите внимание, что мы можем сформулировать ожидание для любого элемента . Поскольку соответствует истинному нулю, его безусловное ожидание должно быть равномерным распределением от 0 до 1. Но если p-значения не являются независимыми, то наше условное ожидание для учитывая некоторые другие элементы возможно, не будет равномерная. PRD означает, что увеличение значения никогда не может увеличить вероятность того, что другой элемент имеет меньшее значение.p i p i p 1 . , , р н р 1 . , , p n p ipipipip1...pnp1...pnpi

Benjamini и Yekutieli (2001) показывают, что процедура Бенджамини и Хохберга для контроля FDR требует условия, которое они называют положительной регрессионной зависимостью от подмножества (PRDS). PRDS похож и подразумевается под PRD. Тем не менее, это более слабое условие, потому что это только условия одного из одновременно.p1...pn

Перефразируя простым языком: снова рассмотрим набор p-значений, которые соответствуют истинным нулевым гипотезам. Для любого из этих p-значений (назовите его ), представьте, что мы знаем , где - некоторая константа. Тогда мы можем сформулировать условное ожидание для оставшихся p-значений, учитывая, что . Если p-значения независимы, то наше ожидание для остальных p-значений является равномерным распределением от 0 до 1. Но если p-значения не являются независимыми, то знание может изменить наше ожидание для оставшихся p- значения. PRDS говорит, что увеличение значенияp n < B B p n < B p n < B Bpnpn<BBpn<Bpn<BB не должны уменьшать наше ожидание для любого из оставшихся p-значений, соответствующих истинным нулевым гипотезам.

Отредактировано, чтобы добавить:

Вот предполагаемый пример системы, которая не является PRDS (код R ниже). Логика заключается в том, что когда образцы a и b очень похожи, более вероятно, что их произведение будет нетипичным. Я подозреваю, что этот эффект (а не неравномерность p-значений при нулевом значении для (a*b), (c*d)сравнения) ведет к отрицательной корреляции p-значений, но я не уверен. Тот же эффект появляется, если мы проводим t-тест для второго сравнения (а не по критерию Уилкоксона), но распределение значений p все еще не является равномерным, предположительно из-за нарушений предположения о нормальности.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)
Джейкоб Соколар
источник
Извините, но я на самом деле не понимаю этого.
Харви Мотульский
Новый заключительный параграф проясняет это вообще?
Джейкоб Соколар
@ Амеба, да, я думаю, ты прав. Бумаги Yekutieli, связанные предыдущими плакатами, являются обработкой PRDS. Насколько я могу судить, PRD - это то же свойство, но для всей статистики теста (или p-значений), а не только для подмножества, соответствующего истинным нулям.
Джейкоб Соколар
1
Да, ты абсолютно прав. Редактирование сейчас.
Джейкоб Соколар
1
Интересный пример, но эффект очень слабый: я получаю коэффициент корреляции (между ab и abcd) около -0.03 ... Но я не понимаю: почему вы так говорите, когда выборки a и b очень похожи , более вероятно, что их продукт будет нетипичным »?
говорит амеба: восстанови Монику
4

В своей статье Бенджамини и Екутиели приводят некоторые примеры того, как положительная регрессионная зависимость (PRD) отличается от просто положительной связи. Процедура контроля FDR опирается на более слабую форму PRD, которую они называют PRDS (то есть PRD для каждой из поднабора переменных).

Первоначально положительная зависимость была предложена в двумерной установке Леманом , но многовариантная версия этой концепции, известная как положительная регрессионная зависимость, является тем, что имеет отношение к множественному тестированию.

Вот соответствующий отрывок из ст.6

Тем не менее, PRDS и позитивные ассоциации не подразумевают друг друга, и разница имеет некоторое значение. Например, многомерное нормальное распределение положительно связано, если все корреляции неотрицательны. Не все корреляции должны быть неотрицательными, чтобы свойство PRDS сохранялось (см. Раздел 3.1, пример 1 ниже). С другой стороны, двумерное распределение может быть положительно связанным, но не зависящим от положительной регрессии [Lehmann (1966)], и, следовательно, также не PRDS в любом подмножестве. Более строгого понятия положительной ассоциации, условной (положительной) ассоциации Розенбаума (1984), достаточно, чтобы подразумевать PRDS: является условно связанным, если для любого раздела из ( Х 1 , Х 2 ) Х ч ( Х 1 ) Х 2 ч ( Х 1 )X(X1,X2)Xи любая функция , заданная является положительно связанной. h(X1)X2h(X1) Важно отметить, что все вышеперечисленные свойства, включая PRDS, остаются неизменными для получения комонотонных преобразований в каждой из координат [Eaton (1986)]. Справочная информация об этих концепциях четко представлена ​​в Eaton (1986), дополненной Holland and Rosenbaum (1986).

user3303
источник
2

Положительная зависимость в этом случае означает, что набор тестов положительно коррелирует. Идея заключается в том, что если переменные в наборе тестов, для которых у вас есть P-значения, имеют положительную корреляцию, то каждая из переменных не является независимой .

Если вы вспомните, например, о коррекции p-значения по Бонферрони, вы можете гарантировать, что коэффициент ошибок типа 1 составляет менее 10% по сравнению со 100 статистически независимыми тестами, установив порог значимости 0,1 / 100 = 0,001. Но что, если каждый из этих 100 тестов каким-то образом коррелирует? Тогда вы на самом деле не провели 100 отдельных тестов.

В FDR идея немного отличается от коррекции Бонферрони. Идея состоит в том, чтобы гарантировать, что только определенный процент (скажем, 10%) вещей, которые вы объявляете значительными, ложно объявляются значимыми. Если у вас есть коррелированные маркеры (положительная зависимость) в наборе данных, значение FDR выбирается на основе общего количества тестов, которые вы выполняете (но фактическое количество статистически независимых тестов меньше). Таким образом, более безопасно сделать вывод, что частота ложных обнаружений ложно заявляет о значительных 10% или менее тестов в вашем наборе P-значений.

Пожалуйста, смотрите эту главу книги для обсуждения положительной зависимости.

Деррек
источник
2
Вы объясняете FDR против Bonferroni, но не определяете «положительную зависимость», а просто перефразируете ее как «положительно коррелированную», но я не понимаю. Предположим, что у меня есть 1000 значений P, я тестирую экспрессию 1000 различных генов, сравнивая людей с некоторыми заболеваниями и без них. Я использую метод ЧД, чтобы решить, какие из этих сравнений являются «открытиями». Что означает «положительная зависимость» в этом контексте?
Харви Мотульский
5
Этот ответ совершенно неверный. Положительная регрессия Зависимость и положительная связь отличаются друг от друга. В статье Бенджамини Екутиели это объясняется и даются ссылки. «Тем не менее, PRDS и положительная связь не подразумевают друг друга, и различие имеет некоторое значение. Например, многомерное нормальное распределение положительно связано, если все корреляции неотрицательны. Не все корреляции должны быть неотрицательными, чтобы свойство PRDS сохранялось ( см. раздел 3.1, случай 1 ниже). " Смотрите стр. 6 из бумаги.
user3303